论文首页原版截图｜标题、作者、单位与效果概览；采用用户提供的开头图片。

MagicBokeh：统一超分与虚化，改善高倍率变焦画质

手机数码变焦后的照片常伴随细节缺失、噪声和边界模糊。MagicBokeh 将真实图像超分与可控景深渲染放入单步扩散框架，尝试同时改善焦内主体与焦外背景。

文章信息与阅读大纲

论文：Towards Photorealistic and Efficient Bokeh Rendering via Diffusion Framework
团队：中国科学院深圳先进技术研究院、vivo BlueImage Lab、深圳理工大学
版本：arXiv:2605.07429v1，2026 年 5 月 8 日

阅读顺序：研究问题 → 核心框架 → 交替训练与焦点注意力 → 深度估计 → 实验与局限 → 移动影像研发启示。

研究背景与问题提出

先超分，再虚化的局限

高质量输入上的虚化方案，面对退化图像时未必依然有效。直接虚化无法补足主体细节；串联超分与虚化则需要两阶段推理，恢复伪影也可能传播到景深渲染阶段。

关键矛盾：超分希望恢复细节，虚化希望抑制焦外细节。统一模型不能只把两项损失叠加，还需要明确不同区域、不同任务的优化职责。

详细方案与核心架构

图 3｜论文核心框架原图。全宽居中展示，点击可查看原始大图。

整体思路：恢复能力与景深控制共同建模

低质量图像进入高质量特征提取模块，经轻量化 U-Net 处理，再由解码器生成结果。另一条路径估计视差，并结合用户指定焦点与虚化强度生成离焦图，由 ControlNet 提供结构控制。

d 表示像素视差，d_f 表示焦点视差，K 控制模糊强度。离焦图规定不同位置的虚化程度；它并不意味着整个生成过程已经成为严格的物理光学仿真。

交替训练：缓解两类任务的冲突

模型先做超分预训练，再循环切换两个训练阶段：

• 虚化阶段：固定原始扩散模型和已训练的高质量特征提取部分，更新 ControlNet 与虚化 LoRA，学习受离焦图控制的渲染。
• 超分阶段：输入全零离焦图，表示全清晰条件，仅优化 U-Net 中的超分 LoRA，维持细节恢复能力。

这种安排把两类能力的参数更新分开，减轻联合训练时一项任务损害另一项任务的问题。

焦点感知注意力：限制跨区域干扰

模型利用离焦图得到焦点区域关系，在自注意力中加入掩码：允许同区域交互，对不同区域的连接施加屏蔽。其目的在于减少焦外虚化对焦内主体恢复的影响。超分训练阶段将注意力掩码设为零，恢复整幅图像。

退化感知深度：改善低质量输入的几何依据

以 Depth Anything v2 为基础构建教师与学生网络。教师处理清晰图像，学生处理模拟退化图像，通过特征蒸馏与输出监督，让退化输入也能获得接近清晰输入的深度特征。这个模块服务于后续景深控制，不等于解决了所有遮挡和边缘深度误差。

计算优化

框架基于 SD2.1，移除文本编码器、交叉注意力和 U-Net 中间阶段，减少文本条件依赖和计算开销。单步生成进一步降低了多步扩散采样成本。

实验结果与分析

评价设置

作者在 EBB400 上构造模拟退化的 EBB400-LQ，比较超分与虚化串联方案。另收集 50 张 iPhone 13 Pro 的真实高倍率变焦照片，变焦范围为 5×–15×，由 50 位参与者进行主观偏好评价。真实场景样本规模仍有限。

定量结果

以下摘自原论文表 1。耗时条件为 L40s GPU、512 × 512 输入。

MagicBokeh 的 PSNR、SSIM 和 LPIPS 优于论文表中的两阶段方案，但并非所有感知指标都最优。无参考指标可能受焦内范围影响，因此应结合焦点正确性、主体保真和边界自然度阅读结果。

消融与证据边界

去掉交替训练后，LPIPS 从完整模型的 0.2786 变为 0.2946，支持该策略的价值。但完整模型并非在所有消融指标上最好：去掉退化感知深度时 LPIPS 为 0.2784。各模块收益需要结合多项指标判断，不能概括为全面提升。

研发启示与结论

研发判断：本工作最值得借鉴的是按焦内、焦外目标分配恢复能力，并把低质量输入下的深度可靠性纳入整体设计。

对于手持移动视频，建议优先验证三类问题：运动与焦点切换下的时序稳定性；人脸、文字、毛发等区域的生成保真度；目标芯片上的时延、内存及功耗。论文的 GPU 照片测试不能直接证明手机实时视频能力。

可将其作为“变焦画质恢复与虚化联合优化”的预研参考。是否进入交付链路，应由真实设备、真实退化和连续视频测试决定。