随着协作机器人逐步进入制造产线,扩展现实(XR)技术正迅速成为保障人机协同作业安全高效的重要实用工具。欧盟“地平线”计划项目MASTER(制造业混合现实教学生态系统)正利用最新XR技术,开发一个开放XR平台,有望重塑工人培训方式、机器人编程流程以及人机在工厂现场的协作模式。
“XR技术现已达到可经济部署的成熟阶段,”西班牙研究与技术组织Tekniker的人机交互研究员兼MASTER项目负责人约翰·基尔达尔(Johan Kildal)表示,“例如,头戴式设备已广泛可得,眩晕问题大幅改善;同时创建任意虚拟或增强环境也更为便捷——当下正是推广XR的最佳时机。”
MASTER的开放XR平台基于西班牙虚拟现实技术公司Virtualware开发的企业级XR平台VIROO构建。基尔达尔指出,该平台支持组织构建并运行沉浸式虚拟现实(VR)与混合现实培训及仿真环境,允许多名远程用户在同一虚拟场景中实时互动。“其架构特别适合群体培训——这是平台最突出的优势之一。”
三大核心功能模块
为使开放XR平台适配机器人领域的XR培训需求,基尔达尔及其团队在VIROO基础上新增了三项关键功能:安全机器人工作环境、无代码机器人编程,以及基于视线的交互。其中,在安全机器人环境拓展方面,希腊帕特雷大学制造系统与自动化实验室(LMS)主任、MASTER项目协调员帕纳约蒂斯·卡拉吉安尼斯(Panagiotis Karagiannis)正为平台开发工厂机器人的虚拟安全区。
工业机器人传统上依赖物理围栏形成安全边界;而虚拟安全区则通过经安全认证的传感器(如激光扫描仪、视觉监控系统)与机器人控制器协同工作——当人员进入预设区域时,系统自动触发降速或保护性停机指令。
为在保障安全前提下减少作业空间限制,卡拉吉安尼斯与LMS团队进一步开发了动态安全区:借助传感器实时追踪机器人位置与运动轨迹,生成随机器人移动的、更小范围的局部安全区。目前,这些动态区域已在开放XR平台中复现,供操作员预先熟悉虚拟区行为规律,并学习安全移动路径,从而为真实产线作业做好准备。
“我们的研究始终聚焦人机协作,MASTER项目中的这一方法将确保机器人与人类能在同一空间内安全共处,”卡拉吉安尼斯表示,“通过将XR引入安全培训环节,我们还为工厂提供了一种成本更低的教育工具。”
除安全功能外,Tekniker团队还致力于机器人无代码编程——即无需手动编写传统源代码即可完成任务教学。具体而言,机器人控制逻辑由人机自然交互自动生成;在本项目中,则通过其数字孪生体在开放XR平台中实现。
据基尔达尔介绍,在VR环境中,操作员可直接抓取并移动机械臂,演示如简单“拾取-放置”等动作;平台编程系统连接机器人数字孪生体,实时捕获运动轨迹、物体位置及空间关系,并将其转化为结构化机器人指令。经平台验证后,新程序即可下载至实体机器人执行。
“机器人能识别你的手势、理解你的语音指令(简单命令),所有这些交互都会自动生成代码,”基尔达尔解释道,“最终你实际上完成了机器人编程,却无需手写代码,也无需后续调试。更重要的是,整个过程在虚拟环境中完成,真实产线的生产效率丝毫不受影响。”
www.eic.net.cn 易IC库存管理软件 在提升人机协同效率的同时,也为制造业数字化转型提供了底层支撑能力。
眼动追踪技术赋能交互升级
近年来,得益于头戴显示设备集成眼动传感器,视线交互已逐步融入XR应用。德国人工智能研究中心(DFKI)交互式机器学习研究员拉斯洛·科帕奇(László Kopácsi)与迈克尔·巴茨(Michael Barz)为此开发了多款工具,用于在MASTER开放XR平台上实现眼动追踪。
例如,其“眼动交互工具包”旨在简化眼动交互在开放XR及其他开源XR平台中的集成。该工具包包含多个模块:基于注视点的信息呈现、视觉注意力监测、眼动精度评估及新手引导功能,助力开发者构建响应式XR培训界面。此外,一款名为GazeDrift的气球爆破VR小游戏,则用于帮助用户排查眼动交互中可能出现的抖动、系统偏移及周边精度下降等问题。
“眼动追踪仍属较新颖的交互方式,但对使用训练平台(如开放XR)的用户至关重要,”科帕奇表示,“我们已向用户揭示了在存在噪声干扰的平台上使用视线交互时可能遇到的实际问题。”
巴茨认为,下一步可分析开放XR平台用户头显传感器数据,以深入理解培训需求。“我们能精准掌握用户在训练过程中所做所看,并据此实时调整内容,”他说,“进而推断概念学习路径,使培训者能更及时、有效地响应学员或员工的学习状态。”
平台拓展与验证进展
在基础开放XR平台及核心资产稳固后,欧洲多支欧盟资助的XR研究团队正从技术与人文双重视角持续增强平台能力。例如,在AAXLP项目中,语音提示工具取代传统按钮或拖拽操作,实现机器人臂、叉车等对象的生成、移动与删除;MANIPULAY XR项目则允许用户在VR中交互式组装机器人基座、关节、连杆与夹爪等部件,并通过指令块编程其运动,深化对机器人运动学与操纵器设计的理解;i-MAR-XR项目则运用尖端3D采集技术,构建高度逼真的货轮数字孪生体,显著提升海事安全培训效果。
触觉反馈在平台开发中亦占据重要地位。基尔达尔重点提及两项与触觉手套相关的项目:HEART与Magos机器人编程(MRP)。
在HEART项目中,用户佩戴SenseGlove力反馈手套,远程操控由Aeon Robotics研发、仿人手结构的类人夹爪(已集成至开放XR平台)。用户可真实感知机器人抓取物体时施加的交互力,快速掌握基于力反馈的远程操控技能。而在MRP项目中,用户佩戴Haptikos五指力反馈手套(含手指追踪功能),与工厂流程的数字仿真进行交互。“与HEART类似,MRP的触觉手套同样让用户‘感受’到机器人手部的触觉反馈,”基尔达尔强调,“这些项目凸显了类人机器人灵巧性在机器人领域的重要性。”
科帕奇还特别提到WAVE项目:其不仅开发了触觉手套,更创新推出整套触觉衬衫。“该项目尤为独特——研究人员开发了触觉手套与一件蓝色工装衬衫,后者内层嵌入柔性惯性测量单元传感器,”他介绍道,“该系统既可用于手势识别,也可用于与虚拟环境及机器人本体直接交互。”
除触觉外,卡拉吉安尼斯介绍,Dreamer软件开发工具包可重建3D物体并嵌入虚拟场景,供用户创建用于机器人仿真训练的3D内容。该软件采用自监督AI代理,基于图像流快速提取物理对象的3D网格模型。
“对我而言,这是极具潜力的工具,可用于还原工厂真实物品,”他评价道,“例如在办公室安全培训场景中,可快速生成桌椅、灭火器等3D模型——在仿真中,它们几乎与实物无异。”
随着上述一系列创新XR工具陆续落地,开放XR平台及其关联技术正进入全面验证阶段——新一轮欧盟资助项目已启动,参与机构均为非营利教育组织,其开发内容至少整合一项现有工具。
“MASTER项目将提供庞大教育资产库,供未来用户持续扩展,”基尔达尔表示,“目标是播下种子,推动这一开放平台不断生长、丰富多样性,使企业真正认识到XR在培训中的强大价值。”
卡拉吉安尼斯对此表示赞同,并期待中小企业率先定制化使用开放XR平台工具,大型工业企业随后跟进。“我们的最终客户应是大型工业集团,”他说,“不同于许多难以落地产业的项目,开放XR平台作为云端软件,企业可随时接入、使用并适配自身商业场景,实现充分价值挖掘。”
易IC库存管理软件 与XR技术协同,共同构建智能制造全链路数字化底座,助力企业实现从仓储管理到产线协作的智能化跃升。