分类
分类

AI-SOP 案例:边缘 AI 盒上的相机装配防错验证

uGrab 低代码视觉 + RobooPi 边缘 AI 盒 + 1-3 台 GMSL2 相机实时验证 11 步装配 SOP,带按序列号的 PASS/NG 追溯记录。
AI-SOP 装配验证流程末端结论:通过,连接器检测置信度为 0.96,检测成功率为 100.00%。
案件详情
AI-SOP 装配验证参考架构:1-3 台 GMSL2 相机经 FAKRA 同轴线接入 RobooPi P53NVNA 边缘 AI 盒(NVIDIA Jetson Orin Nano,uGrab 低代码运行时),驱动操作员引导、PASS/NG 判定、工位 I/O 与按序列号的追溯记录
参考架构:每工位 1–3 台 GMSL2 相机——数量由目标类型与分辨率决定——每相机一根同轴线同时传输无损视频与电力;全部 AI 推理与 SOP 逻辑在边缘盒上运行;判定、工位 I/O 与记录产线直达。

内容摘要——一分钟版本

🏢 一个真实工位,端到端验证

11 步手工装配 SOP——连接器放置、多组螺丝、扭矩判定步骤——在相机持续监督下执行。录制的流程末尾判定:5 项检测全部 OK,OK 率 100.00%,绿色 PASS,一次漏锁螺丝超时被实时抓住。

🕯 每相机一根线

每台 GMSL2 相机(每工位 1–3 台,按目标类型与分辨率选择)经单根 FAKRA 同轴线接入边缘盒——无压缩视频与 12 V 供电同缆传输,最长 15 m——单元保持布线简洁;>100 dB HDR 让画面在恶劣工位光照下依然可用。

🧩 低代码搭建,而非从零开发

应用运行在低代码工业 AI 视觉平台 uGrab 上:可视化节点工作流,开箱即用的 YOLO 检测与 OpenCV-Sharp 工具箱。SOP 逻辑、超时监督与记录都是配置项——不是定制 C++ 项目。

🔑 设计即追溯

每台产品以扫描的序列号为键。步骤耗时、检测结果、告警与最终 PASS/NG 判定写入按序列号的记录用于 SPC——并提供对接 MES/QMS 的 API 钩子(该部署在接收前会经客户侧 API 预检每个扫描的序列号)。

在任意一条手工装配线上走一圈,问一个问题:你怎么知道每一台产品都严格按照标准作业程序装配?对多数工厂而言,诚实的答案是纸面记录、抽检与下线检测——它们全都是事后发现错误。本文讲述的是一个把这个问题实时、由相机、在边缘回答的工位:AI 强制执行的 SOP——我们称之为 AI-SOP——部署在 EyeCloud AI 硬件上,证据如下。

AI-SOP 填补的质量缺口

人为失误始终是手工装配的主要失效模式。行业调查普遍认为约 80% 的质量缺陷源于人为因素;一项被广泛引用、覆盖 100+ 制造商的全球研究发现人为失误导致约 23% 的计划外停机。典型制造商的不良质量成本估计为销售收入的 15–20%——这正是互联工人与操作员引导平台成为制造软件增长最快细分市场之一的原因:预计从 2025 年约 86 亿美元增长到 2030 年超 200 亿美元(年复合增长率 18.5%)。

传统防错(Poka-yoke)——硬夹具、传感销、互锁——只能拦住工程师预见到的错误。AI-SOP 做的是结构性不同的事:相机注视工位,视觉模型检测每一步的结果,软件强制执行顺序。错件、漏螺丝、跳步、顺序颠倒——每一样都在发生的那一刻成为被标记的事件,而不是终检时发现的缺陷。

定义。AI-SOP(AI 强制执行的标准作业程序):一种实时验证手工作业指导书每个步骤的计算机视觉应用——引导操作员、对偏差告警、并记录可审计的单台结果。它是视觉防错(数字化 Poka-yoke)与 SOP 合规监控的一体化系统。

成功案例,从头到尾

工位需要什么

该部署是一个混合工序手工装配工位:操作员放置连接器组、锁付多组螺丝,并在精密机电组件上执行扭矩判定步骤。SOP 共 11 个受监督步骤。制造商的要求很具体:

  • 每一步发生时即被验证——零件在场、位置正确、顺序正确——而不是事后还原。
  • 漏做必须挡住产品——一组螺丝未锁付必须在产品流转前触发立即可见的告警。
  • 单台记录——以扫描序列号为键,含步骤耗时与结果,可用于 SPC 并对接 MES。
  • 单元内不放 PC、布线最少——工位没有空间放台式机与一捆 USB 线。

部署了什么

层级 部署内容
采集 1–3 台吊装 GMSL2 相机——数量由目标决定:连接器级细节一个广角即可覆盖整个台面,而细小螺丝特征、有遮挡或多面工位需要 2–3 台。每相机一根 FAKRA 同轴线(无损视频 + 12 V 供电同缆)。平台:SDC800GY-C C 接口相机(4M/5M/8M 可切换 @ 30 fps,>100 dB HDR,YUV 输出)或 GMSL2/3 M12 家族(SDC300/SDC500/SDC800)。
边缘 AI 算力 RobooPi P53NVNA AI 计算盒:NVIDIA Jetson Orin Nano 8 GB(最高 40 TOPS),Ubuntu 20.04,四路 FAKRA 相机输入带硬件帧同步,128 GB 存储,HDMI 接产线显示器,GPIO/I2C 接工位 I/O。
视觉软件 uGrab 低代码平台:可视化节点工作流、YOLO 目标检测与 OpenCV-Sharp 工具箱、带超时监督的 SOP 步骤引擎、按序列号的 SPC 记录与 API 钩子。
操作员界面 步骤清单带实时勾选与计时,屏幕提示下一步动作与目标位置,告警横幅,以及每台产品的工位级 PASS/NG 判定。
外围与工位 I/O 补光灯保证验证点照度稳定;扬声器用于语音提示与不合格告警;DI/DO 控制模块与工位联动——三色灯、不合格挡闸或 PLC 握手——由盒子的 GPIO/I2C 与音频接口在 uGrab 节点控制下驱动。
记录与集成 按序列号的追溯记录(步骤、检测、告警、判定);接收产品前经客户 API 预检序列号;数据可导出至 SPC/MES/QMS。
AI-SOP 工位部署与接线图:装配工位的 1-3 台 GMSL2 相机与补光灯,各经一根 FAKRA 同轴线接入控制柜中的 RobooPi P53NVNA 边缘 AI 盒与 DI/DO 模块,HDMI 接操作员显示器,扬声器,三色灯或挡闸经 DI/DO,千兆局域网接 MES/SPC
部署与接线:相机装在使用点,算力留在控制柜,边缘盒驱动工位——HDMI 接操作员显示器,扬声器发语音提示,补光灯与三色灯/挡闸经 12 V/GPIO 与 DI/DO 模块,按序列号记录经局域网进 MES/SPC。
AI-SOP 操作员引导实况:应用播报已执行步骤(产品就位),并在实时相机画面上叠加 J7 安装位置,同时操作员放置零件
引导,不只是检验:横幅显示“步骤已执行:产品就位”,叠加层在实时视频上标出 J7 安装位置。操作员看下一个零件装在哪——软件看零件是否真的装在了那里。

一台产品如何流过工位

录制会话展示了一台产品的完整生命周期:

  1. 识别。操作员扫描产品序列号;软件调用客户 API 预检序列号,然后开立单台记录并载入 11 步 SOP。
  2. 引导。每一步,界面播报动作并在实时相机画面上叠加目标区域(如“J7 安装位置”)。
  3. 验证。YOLO 检测模型在视频中确认每个结果——连接器已在 J3/J7/J8… 就位、螺丝组已锁付——并给出置信度;步骤转绿,计时写入。
  4. 告警。若步骤未在时间窗内完成,告警横幅触发、判定指示翻为 NG——操作员无法悄悄跳步。工位配备到位时,同一事件还会驱动扬声器(语音告警)与 DI/DO 输出(三色灯闪烁或保持互锁)。(纯视觉无法证明的步骤,如扭矩判定,由步骤引擎经平台 API/IO 节点把关。)
  5. 判定与记录。流程结束时工位展示汇总——检测数、OK 数、NG 数、OK 率——与最终 PASS/NG,全部写入按序列号的记录。
YOLO 检测证据:连接器 J3 与 J7 分别以 0.95 与 0.96 置信度检出,紧固件排出现螺丝类检测,SOP 清单中已执行步骤转绿
流程中段的验证:连接器检测 J3 0.95、J7 0.96,紧固件排上的螺丝类检测,清单(左)中已完成步骤转绿。全会话观测到的置信度范围为 0.89 至 0.97。
AI-SOP 应用中的扭矩判定步骤:横幅播报已执行步骤 J8 扭矩判定 2,同时实时画面确认 J8 检测 0.93 与 0.97
过程步骤,不只是零件:横幅显示“步骤已执行:J8 扭矩判定 2”。视觉证明零件状态;步骤引擎将其与工位输入结合,只有零件与过程双双确认后清单才前进。

关键时刻:漏做的步骤藏不住

会话中段,操作员让一组螺丝在时间窗外仍未锁付。工位没有等到下线检测:

漏步告警:红色横幅显示 警告:步骤 J7 螺丝超时未执行,J7 安装位置叠加层仍开着,判定指示显示 NG
防错时刻:红色横幅——“警告:步骤 J7 螺丝超时,未执行”——在 J7 安装位置叠加层仍开着时触发,判定指示显示 NG。漏做在工位上、由软件、实时抓住。

这一个行为——在工位上抓住跳过的螺丝组,而不是在终检、更不是在用户现场——就是 AI-SOP 的全部经济学论据。

流程终点:可审计的判定

流程末尾判定画面:流程完成横幅,四个连接器检测 0.96 置信度,5 项检测 5 项 OK、OK 率 100.00%,绿色 PASS 判定
流程终点:“流程完成”,四个连接器检测以 0.96 置信度确认,汇总 5/5 项检测 OK(100.00%),NG 率 0.00%——绿色 PASS,写入该产品记录。本文截图来自录制的部署会话;产品区域已做保密遮蔽。

“好”长什么样——可度量的结果

以下每一项都直接读自录制的部署会话:

指标(录制会话中观测) 结果
相机监督下的 SOP 步骤 11 个混合步骤——连接器放置、螺丝组、扭矩判定
检测置信度范围(连接器、螺丝) 全会话 0.89 – 0.97
流程末尾判定 共 5 项检测,5 OK,0 NG——检测 OK 率 100.00%,PASS
漏步响应 超时告警横幅 + NG 指示实时触发(步骤 J7 螺丝)
单台追溯记录 扫描序列号、逐步耗时、带置信度的检测、告警、最终判定;序列号经客户 API 预检

为什么 GMSL2 是工厂车间的正确相机链路

工位的采集层有意借鉴了车规级视觉。GMSL2(Gigabit Multimedia Serial Link 2)串行器经单根带 FAKRA 连接器的同轴线推送无压缩视频——与汽车环视相机相同的信号方式,为振动、电磁干扰与长距离布线而设计:

考量 GMSL2 相机(SDC800GY-C 级) 典型 USB 相机
布线 一根同轴线:视频 + 12 V 供电同缆,最长 15 m,带锁扣 FAKRA 连接器 USB 3.0 无源延长约 3–5 m 即到极限;供电独立;连接器不耐振
时延 无压缩 SerDes 链路——微秒级传输时延,步骤判定落在节拍时间预算内,操作员反馈即时 压缩 USB/RTSP 管线引入编解码缓冲——数十到数百毫秒的端到端延迟
图像保真 像素无压缩过链路:模型判断的就是传感器拍到的——没有编解码伪影弱化螺纹与细小边缘 编解码用图像真实性换带宽;压缩伪影可能抹掉小特征检测依赖的细节
图像稳健性 车规级成像链;>100 dB HDR 应对逆光/强反光工位;SNR 39.12 dB;上电 ≤800 ms 即稳定 民用传感器;逐型号调曝光;HDR 罕见
主机负载 相机 ISP 直接输出 YUV (UYVY)——Jetson 无需去马赛克;算力留给推理 常见 RAW 传感器格式;去马赛克/ISP 负担落在主机
单元扩展 每台 RobooPi 盒最多 4 路 FAKRA 通道,硬件帧同步(GMSL2/3 与 FPD-Link 解串可选:MAX9296/MAX96792/DS90UB954/DS90UB9702) USB 多相机受主机控制器限制;跨 USB 相机的帧同步不现实
环境 相机额定 −20°C 至 +65°C;GMSL2/3 M12 版本面向车规与高温工业场景 消费级温度范围;无车规血统

SerDes + C 接口:产线从未有过的组合

工业机器视觉相机与车规相机过去迫使你二选一。GigE/USB 工业相机给你完整的 C 口镜头生态,却在使用点放一台笨重的相机和一根粗线缆;车规 GMSL 相机给你坚固的远程机头与单根同轴线,镜头却是固定的。SDC800GY-C 有意把两者合一:30 × 30 × 35.4 mm 的传感器机头装在作业发生处,车规 SerDes 链路经一根细同轴线把无损视频与 12 V 电力送回控制柜,标准 C 口卡口接入工业镜头生态——FOV60 看整个台面,FOV35 看更紧的细节,或用微距镜头分辨螺纹。镜头选择变成了解零件之后、按工位做的决定——而不是烙进相机里的约束。

边缘 AI 盒:RobooPi P53NVNA

全部推理与 SOP 逻辑运行在工位的 RobooPi P53NVNA 上——除记录与截图外,任何视频都不离开单元:

  • NVIDIA Jetson Orin Nano 8 GB——最高 40 TOPS(稀疏)支撑实时 YOLO 检测;标准 JetPack/Ubuntu 20.04 生态。
  • 四路 FAKRA 相机输入,硬件级多设备帧同步(单通道锁定输出)——一台盒覆盖最多四个工位或一个多视角大单元。
  • 产线就绪 I/O——HDMI 接工位显示器,千兆网接工厂网络,USB Type-C PD 供电(20 V),可选 Wi-Fi/4G 与定制 GPIO/I2C。
  • 紧凑可扩展——≤ 180 × 200 × 70 mm,128 GB 板载存储,可选双 M.2 NVMe 支撑长时视频/数据采集。
  • 工位 I/O 与外围——DI/DO 控制模块接三色灯、不合格挡闸或 PLC 握手;扬声器发语音提示;补光灯保证照度稳定——经盒子的 GPIO/I2C、USB 与音频接口接线,由 uGrab 节点驱动。
  • 按项目选择解串器——GMSL2(MAX9296)、GMSL2/3(MAX96792)、FPD-Link III(DS90UB954/DS90UB9702),不同项目的相机群都终接到同一平台。

应用如何在 uGrab 中组装

uGrab 是 EyeCloud AI 的低代码工业 AI 视觉平台。AI-SOP 应用由一小组构件装配而成——这正是上线周期以周计的原因:

  1. 相机节点把每路 GMSL2 通道引入图;YUV 直接来自相机 ISP。
  2. YOLO 检测节点在 Orin GPU 上运行针对工位零件类(连接器、螺丝、部件)训练的模型;OpenCV-Sharp 节点补充步骤所需的任何传统视觉逻辑。
  3. SOP 步骤引擎掌管顺序:每一步绑定一个检测条件(需要时再加 API/IO 输入,如扭矩或工具信号)、一个时间窗,以及给操作员看的屏幕提示/叠加层。
  4. 监督节点盯着计时器——步骤超时即弹屏幕告警、经工位扬声器播报、可切换 DI/DO 输出(三色灯、互锁)并把判定指示翻为 NG。
  5. 记录节点写入按序列号的轨迹——步骤耗时、检测、告警、判定——并经 API 提供给 SPC 与 MES/QMS 集成。

同一套图模式在工位间复用:变的只是步骤定义、训练好的检测模型与布局叠加层。这就是产线上低代码的实际含义——第二个工位的成本只是第一个的零头,而且你自己的工程师经培训后就能接管这张图。

部署手册——六步上线一个工位

# 步骤 做什么
1 界定 SOP 走读作业指导书;确定哪些步骤可视觉验证、哪些需要 API/IO 把关、哪些保持人工;定义时间窗与告警策略。
2 安装与布光 吊装 1–3 个 GMSL2 相机机头——按已验证的步骤位置布点,按视场角选 C 口镜头;照度不稳处加补光灯;每相机一根同轴线接 RobooPi 盒。
3 采集与训练 在工位采集零件状态(OK、缺失、错位);标注并训练 YOLO 模型;按工艺要求的置信度带完成验证。
4 搭建 SOP 图 在 uGrab 中:步骤绑定检测,设置提示/叠加层与计时器,接好序列号 API 预检与工具信号。
5 随线试运行 与纸面 SOP 并行运行;与操作员一起调时间窗与告警;确认判定记录进入 SPC/MES。
6 推广 把图克隆到姊妹工位,按变体换模型/叠加层;监控逐步耗时,获得节拍与培训洞察。

常见问题

什么是 AI-SOP 验证?

AI-SOP 验证是用相机与边缘 AI 模型实时强制执行标准作业程序:每个手工步骤——放零件、锁螺丝、确认扭矩——都在实时视频中被验证,操作员在屏幕上被引导与告警,每台产品获得以其序列号为键的可审计 PASS/NG 记录。

基于相机的 SOP 合规监控如何工作?

固定相机注视工位;目标检测模型(YOLO 类)针对工位零件状态(在场、缺失、错位)训练。SOP 引擎把作业指导书的每一步绑定到检测条件与时间窗。检测确认步骤后清单前进;时间窗到期未确认,系统告警并标 NG。没有任何事是事后还原的——验证在操作员作业的同时发生。

AI-SOP 工位需要哪些硬件?

每工位 1–3 台 GMSL2 相机——数量取决于目标:连接器级检查一个广角即可覆盖整个台面,细小螺丝特征、遮挡或多面工位用 2–3 台(如 SDC800GY-C C 接口相机:4/5/8MP 模式,>100 dB HDR,YUV 输出)。每单元再加一台边缘 AI 盒(RobooPi P53NVNA:Jetson Orin Nano,40 TOPS,四路 FAKRA 输入)、一台操作员显示器,以及按需的补光灯、扬声器与用于工位联动的 DI/DO 模块。单元内不需要 PC;每相机一根同轴线同时走视频与电力。

产线上为什么用 GMSL2 相机而不是 USB 相机?

三个现实理由:距离与可靠性(带锁扣的 FAKRA 同轴线最长 15 m 且含供电,对比 USB 3.0 实际 3–5 m 与脆弱连接器);图像稳健性(车规级传感器/ISP,>100 dB HDR 应对强反光工位);主机效率(YUV 输出让 Jetson 把算力花在推理而不是去马赛克上)。GMSL2 扩展也干净:每盒最多四路硬件帧同步通道。

真能抓住漏螺丝或跳步吗?

能——本案例就展示了这一行为:一组螺丝超时未锁,实时触发了红色“超时,未执行”告警与工位 NG 指示。检测模型抓住视觉可确认的状态;视觉无法证明的步骤(如扭矩)由步骤引擎经 API/IO 输入把关。

单台追溯如何实现?

操作员扫描产品序列号;软件先经客户侧 API 预检,然后在该序列号下记录每步耗时、检测(含置信度)、告警与最终判定。记录可用于 SPC 并导出到 MES/QMS——质量工程师可以从数据回放任何一台产品的装配过程。

能对接我们的 MES 或质量系统吗?

平台提供 API 钩子,该部署已用于序列号预检;步骤结果、判定与按序列号的记录可经同一集成层推送或拉取。如果你的 MES 接受 HTTP API 调用或文件/CSV 导出,记录流转很直接。

典型部署要多久?

工位图本身是低代码配置,工作量集中在该集中的地方:界定 SOP、在工位采集训练数据、验证检测置信度。作为规划参考,这一级别的试点工位以周计上线——而非以季度计;姊妹工位复用同一张图、只换模型与叠加层,这正是低代码方式的回报所在。

想把 AI-SOP 带到你的产线?

如果手工装配差错、纸面 SOP 或薄弱的追溯正出现在你的质量议程上,我们可以在你的工位复刻这套打法——相机选型、边缘算力、uGrab 应用图与 MES 集成。欢迎浏览我们的相机与边缘 AI 产品、查看工程案例、阅读uGrab 低代码视觉平台概览,或联系我们的团队评估你的第一个 AI-SOP 工位。

Leave a message
FirstName*
LastName*
Email*
Message*
Company Name