让智能体从数字世界走向实体世界

2023年11月30日-12月1日，中国科技产业智库「甲子光年」主办的「致追风赶月的你」2023甲子引力年终盛典在北京举行。现场百余位嘉宾与数百位科技从业者齐聚一堂，全方位聚焦当前科技领域的前沿话题，探讨如何创造一个智能化、数字化、信息化的制造新纪元。

在12月1日下午“制造新纪元：智能制造、机器人、商业航天专场”中，广州高新兴机器人有限公司创始人、董事长柏林带来了主题为《大模型时代，具身智能重塑巡逻机器人》的演讲。

柏林认为在大模型时代，融合AI大模型的具身智能机器人是当前乃至未来机器人的发展方向。结合强大的模型学习和内容生成能力，机器人能自主理解并分解为各种动作执行，大大提高泛化能力，拓宽适用范围。

以下是广州高新兴机器人有限公司创始人、董事长柏林演讲实录，「甲子光年」整理删改：

1.机器人+大模型，机器人从自动化向智能化狂飙

大家好，我是高新兴机器人公司的创始人柏林。今天我很荣幸有机会与大家分享关于我们公司一直从事的安全巡检机器人领域。我选择这个主题是因为我们将大型模型引入其中，通过在机器人中整合大型模型，以具身智能的方式来提升用户体验。

首先，我们来看一下当前的大背景。人工智能与机器人当前是相互协同发展的。从第一代的人工智能符号模型到第二代的感知智能，再到目前以认知智能为核心，特别是大型模型的出现，如多模态大型模型等。

与此相应，第一代机器人是可编程的，比如早期的工业机器人，它们相对固定。到了第二代，机器人变得更具感知性。第三代是条件式的自主机器人。随着第三代人工智能的发展，我们认为迎来第四代机器人，即具身智能。

我们判断机器人正在进入AI大模型的时代，融合AI大模型的具身智能机器人将是当前和未来机器人发展的方向。2023年被认为是AIGC生成式人工智能的元年，目前拥有超过80个以上10亿级参数规模的人工智能大模型。今年的世界集成大会上许多人形机器人和复合机器人纷纷炫技。

新技术也在加速落地，具身智能的概念在产业界得到了广泛认同。简单来讲，具身智能就是指拥有身体并支持物理交互的智能体，可从数字世界走向实体世界，落在各种机器人、无人机、无人车上，与环境形成交互感知。

举例来说，如果我们向Chat GPT提问：“帮我拿一个面包吃可以吗？”它虽然能理解你的意思，但无法执行。然而，有了具身智能之后，机器能够理解这句话并与物理世界建立联系，帮你寻找或拿取面包。整体而言，大型模型和具身智能之间形成了自然的从数字世界到实体世界的连接过程。

当前，机器人如何拥抱大模型是实现具身智能机器人的关键过程。如何定义机器人的需求，包括任务的定义、分解、运动代码的生成以及任务的交互。传统方式中，应用工程师负责理解和拆解任务，而技术工程师则负责现场部署和调试。具身机器人看似智能，背后还需要大量的编程支持。

结合强大的模型学习和内容生成能力，以及知识库可用于连续对话的交互能力，机器人能够直接从人类得到任务，自主理解并分解为各种动作执行。这提高了机器人的泛化能力，使应用范围更广泛，同时降低了使用门槛。

举例来说，通过大语言模型和视觉语言模型，可以自然地模拟机器人在3D空间中执行任务的过程。比如，向机器人发出指令“打开抽屉，同时小心不要碰到花瓶”，机器人可以通过模型理解并执行这一任务，给人一种在真实世界中不经过训练就能执行任务的感觉。

阿里工程师也通过类似的方式，比如通过钉钉告诉机器人“我渴了，我想喝点东西”，然后指导机器人在桌子上找到水，并将水送到身边。这一系列动作都可以通过大模型和机器人结合来实现。

整体上，学术界认为具身智能是行为主义的机制，让机器看起来越来越像人。产业界也认为只有AI和软件是不够的，必须有能够驱动物理实体的机器人。我们理解大模型在机器人中的角色是推理和决策，但这需要对机器人系统架构进行重构，不能简单地将大模型应用于机器人而不进行其他改变。比如大模型训练缺乏物理世界的数据，但数据对于具身智能来说十分重要。

2.具身智能重塑巡逻机器人

高新兴机器人公司的初心是用机器人守护安全，致力于打造用于好用、实用、易用的机器人。公司已有十年的经验，主要从事三个方向的工作，初期是井用的巡逻，TO B是安保服务，另一个是工业巡检。整体有一系列产品，在技术、平台上是相通的。

公司采用四大硬件平台和三大软件平台，以实现世界范围内的物理世界问题的解决，例如公安、园区安全、厂区安全，涉及人、车、物、世界、设备、设施、环境等多个方面。通过摄像头和传感器，公司即便在没有机器人的情况下也能解决一系列问题，而引入机器人后，其具备了人的巡逻、巡检和巡查等能力。

具身智能在提升和改善机器人技能的同时，也能增强用户体验。公司在整个工程化进程中，首先着眼于基于面对一体化的多模态小模型，然后逐步发展到大模型和多模态大模型。其实把机器人拆开从底层来看就是一个低速无人的小车，在此基础上增加感知之后，像人一样看、听、闻、嗅、触，机器人可以执行不同的任务，如送货等。

在构建云边端一体化的系统解决方案时，公司与华为的盘古大模型展开合作。基于盘古大模型的五大基础大模型中，公司使用了华为的前四个大模型，包括NLP大模型、CV大模型、多模态的模型以及预测大模型。

在实践方面，第一个是我们与华为合作，在西部一个庞大的变电站中进行了机器人应用的创新。该变电站内有上万个巡检点位和几千个表，以往的部署流程复杂耗时，但通过引入三维重建技术，结合机器人激光高精度地图，可以在三维模型中精确定位机器人的巡检目标，显著提高了部署效率，测算可提高部署效率达80%。

第二个是我们基于CV大模型解决跑冒滴漏的问题，使机器人更加实用。CV大模型应用于图像分类、图像分割、目标检测和视频结构化，用于分析设备外观和状态，检测泄漏等问题。结合模型，摄像头在55度标准前提下的性能提升了97%。

在智能运维方面，公司着眼于提升机器人的易用性，特别是在应对多样化的识别对象时。机器人具备自己的报告、CV数据、传感器数据以及技术设备关联厂商的数据。为了使机器人更易于操作，公司采用数据构造和清洗技术，结合大语言模型和专家库，以满足用户的需求。这一解决方案主要面向人的一侧，为用户提供了更符合其偏好的数据呈现方式，包括日志、关系分析、故障诊断以及运维状态评估等内容。

总结一下，具身智能可以重塑我们的巡逻机器人，为电力巡检机器人和管理人员之间的有效沟通提供了解决方案，重塑了机器人的功能。通过交互感知，机器人能够更好地理解电力场景，从而更懂行。在交互过程中，机器人能够自主完成任务，实现从指令到执行再到报告生成的完整闭环。此外，与固定监控、装备和传感器的系列化集成，实现了立体巡检，实现了全施工、全要素、全流程的闭环管控。

未来，电力领域会是我们三大业务中的一个，公司将继续在电力领域深耕，同时将先进技术和经验应用于其他领域，推动行业的数字化转型。

我们致力于通过努力不忘初心，通过机器人守护安全，使城市生活变得更安全、更智慧、更美好。谢谢大家！