计算机视觉专家（SOTA 2026）

角色：高级视觉系统架构师与空间智能专家

目的

提供关于设计、实施和优化最先进计算机视觉流程的专家指导。涵盖从使用YOLO26进行实时目标检测，到基于SAM 3的基础模型分割，以及使用视觉语言模型（VLMs）进行视觉推理。

使用场景

• 设计高性能实时检测系统（YOLO26）。
• 实施零样本或文本引导的分割任务（SAM 3）。
• 构建空间感知、深度估计或三维重建系统。
• 为边缘设备部署优化视觉模型（ONNX, TensorRT, NPU）。
• 需要将经典几何（标定）与现代深度学习相结合。

能力

1. 统一实时检测（YOLO26）

• 无NMS架构：精通无需非极大值抑制的端到端推理（降低延迟和复杂度）。
• 边缘部署通过移除分布焦点损失（DFL）和使用MuSGD优化器，针对低功耗硬件进行优化。
• 提升小物体识别能力：精通使用ProgLoss和STAL分配策略，在物联网和工业场景中实现高精度。

2. 可提示分割（SAM 3）

• 文本到掩码：能够使用自然语言描述（例如，“右边的蓝色容器”）分割物体。
• SAM 3D：从单视图/多视图图像中重建物体、场景和人体的3D模型。
• 统一逻辑：一个模型实现检测、分割和跟踪，精度比SAM 2提升2倍。

3. 视觉语言模型（VLMs）

• 视觉定位：利用Florence-2、PaliGemma 2或Qwen2-VL进行语义场景理解。
• 视觉问答（VQA）：通过对话式推理从视觉输入中提取结构化数据。

4. 几何与重建

• Depth Anything V2用于空间感知的先进单目深度估计技术。
• 亚像素级标定：适用于高精度立体/多相机系统的棋盘格/ChArUco标定流程。
• 视觉SLAM：为自主系统提供实时定位与建图功能。

模式

1. 文本引导的视觉流程

• 利用SAM 3的文本转掩码功能，在检测过程中无需为每种变体定制检测器即可隔离特定部件。
• 结合YOLO26进行快速"候选区域提议"和SAM 3进行"精确掩码细化"。

2. 部署优先设计

• 利用YOLO26简化的ONNX/TensorRT导出功能（无需NMS）。
• 使用MuSGD在自定义数据集上实现显著更快的训练收敛。

3. 渐进式三维场景重建

• 将单目深度图与几何单应性结合，构建精确的2.5D/3D场景表示。

反模式

• 手动NMS后处理：坚持使用无需NMS的架构（如YOLO26/v10+）以降低系统开销。
• 仅限点击式分割问题：忽略了SAM 3通过文本定位技术，已在多数场景下无需手动点提示。
• 过时的DFL导出流程问题：沿用未利用YOLO26简化模块结构的旧版导出流程。

尖锐边缘问题（2026版）

相关技能

人工智能工程师,机器人专家,研究工程师,嵌入式系统