Aaron（波士顿动力）：当前的变化速度使我们无法对未来做出准确的预测。基本模型标志着机器学习模型创建方式的重大变化。它不仅可以创建与机器人的对话界面并提高现有计算机视觉功能的质量，还可能开发诸如视觉问答等新功能。我们相信，这些更具可扩展性的架构和训练策略最终可能会超越语言和视觉，扩展到机器人的规划和控制。

丰田高级人工智能研究所的 Russ Tedrake

Russ（丰田汽车高级人工智能研究所）：生成式人工智能有潜力为机器人技术带来革命性的新功能。我们现在不仅能够使用自然语言与机器人进行交流，而且通过连接到互联网规模的语言和图像数据，机器人理解和推理世界的能力大大增强。但它仍处于起步阶段，需要进一步研究：如何将图像和语言知识与机器人所需的身体智能有效结合，使机器人真正实用。

Ken（加州大学伯克利分校）：2023 年是生成式 AI 彻底改变机器人技术的一年。像 ChatGPT 这样的大型语言模型使机器人和人类之间的自然语言交流成为可能。机器人学还发现，可以训练大型视觉-语音-动作模型来增强机器人的感知并控制其手臂和腿部的运动。这种训练需要大量数据，因此世界各地的实验室现在正在合作共享数据。尽管泛化能力的问题尚未完全解决，但这些模型的影响是深远的。

另一个令人兴奋的话题是“多模态模型”，它有两层含义：

1. 结合不同输入方式的多模态：例如，视觉和语言的结合。现在已经扩展到包括触摸、深度感知和机器人运动。

2. 允许对相同输入状态做出不同响应的多模态：这在机器人技术中很常见，例如以多种方式抓取同一物体。标准深度模型“平均”这些爬行动作，这可能导致非常差的爬行结果。

Deepu（NVIDIA）：我们已经看到生成式人工智能如何提高生产力。显然，生成式人工智能将对机器人技术的所有领域（从模拟到设计）产生革命性的影响。

模拟：模型将通过构建场景、创建环境和生成资产来加速模拟开发，从而弥合 3D 技术艺术家和开发人员之间的差距。生成式人工智能生成的资产将广泛应用于数据合成、机器人技能训练和软件测试。

多模态人工智能：基于 Transformer 的模型将提高机器人理解周围世界的能力，使它们能够在更多环境中工作并完成更复杂的任务。

机器人（重新）编程：机器人将具有更强的能力，以简单的语言定义任务和功能，使它们更加通用和多用途。

设计：创新的机械设计将提高效率，例如末端执行器的设计。

关于人形机器人的思考

肯·戈德堡，加州大学伯克利分校

Ken（加州大学伯克利分校）：我一直对类人机器人和腿式机器人持保留态度，认为它们往往过于夸张且效率低下。但在看到 Boston Dynamics、Agility 和 Unitree 最新的人形和四足机器人后，我改变了主意。特斯拉在大规模开发低成本电动机和齿轮系统方面拥有出色的工程技能。与轮式机器人相比，腿式机器人在家庭、工厂等环境中具有优势，因为它们可以跨越台阶、障碍物和地毯。虽然两臂机器人对于许多任务至关重要，但简单的夹具比五指机器人手更可靠且更具成本效益。

Deepu（NVIDIA）：设计自动化机器人已经具有挑战性，但创造人形机器人则更加困难。与大多数自主移动机器人（AMR）只需要了解地面障碍物不同，人形机器人作为移动操作平台，需要利用多模态人工智能来深入了解其周围环境。这涉及大量的传感器处理、先进的控制技术和技能执行。

生成式人工智能在构建基本模型方面的突破正在使人形机器人所需的技能得到更广泛的应用。与此同时，我们还看到模拟技术的进步，可以训练基于人工智能的控制系统和感知系统。

马修（卡耐基梅隆大学）：设计人形形态是一项极其复杂的工程和设计挑战。它为模仿人类运动和交互的高度复杂的执行器和控制系统设定了标准。同时，它也对平衡和协调方面提出了独特的挑战。尽管存在这些困难，人形机器人在各种社会和实际环境中仍具有极高的潜在多功能性和直观可用性。

Max（丰田汽车高级人工智能研究所）：机器人广泛应用于人类环境中，而这些环境通常是在设计时以人为本。因此，这些机器人需要具备适应这些以人为中心的环境并有效工作的能力。然而，适应人类环境并不要求机器人具有类似人类的形状，例如两条手臂、五个手指、两条腿和一个头。更重要的是，机器人应该设计得紧凑、安全，能够执行与人类相似或互补的任务，实现与人类的协作和互补。

Dhruv（Meta）：我有乐观的看法。从根本上说，人类环境是围绕人类形态和行为模式设计的。因此，如果通用机器人希望在这些环境中有效工作，它们的形态至少需要在某种程度上模仿人类。这不仅仅是模仿人类的外表，机器人可能配备传感器或更多超出人类能力的附件，以适应和优化其在人类环境中的性能和功能。

Aaron（波士顿动力）：人形形态并不适合所有类型的任务。以Stretch为例，它最初受到Atlas机器人搬运箱子的视频的启发，并开始对开发专门的箱子搬运机器人产生兴趣。但仅仅因为人类可以搬运箱子，并不意味着人形形态是执行此类任务的最佳形态。因此，我们设计了Stretch，一款专门用来搬运箱子的机器人，它能够比人类更加高效、有效地完成这项任务。尽管如此，我们仍然对追求多功能、通用机器人技术抱有长期兴趣，其中人形设计非常适合我们生活的环境。

下一个机器人技术实施场景

Max（丰田汽车高级人工智能研究所）：农业领域蕴藏着巨大的潜力和需求，但同时，许多农业任务由于其户外执行和非结构化的环境特征而带来巨大的挑战。

马修（卡内基梅隆大学）：农业领域超越了传统的制造业和仓储业，为机器人技术提供了广阔的应用平台，涉及解决劳动力短缺、提高运营效率、促进可持续发展等多重挑战。与此同时，在运输和码头配送领域，机器人技术被寄予厚望，有望大幅提高效率、降低成本、提高整体服务质量。随着技术的不断进步和监管环境的逐步优化，预计这些领域将加速机器人技术的采用，以满足各种挑战和需求。

Aaron（波士顿动力）：在考虑如何将客户需求与尖端技术结合起来时，制造和物流行业仍然是一个重点。随着我们视野的不断拓展，我预见我们将逐渐进入一个更加复杂和不确定的环境。随着机器人技术在高度自动化友好的制造和物流领域得到广泛采用，建筑和医疗保健等行业可能会成为下一波机器人应用浪潮。这些行业在劳动力供应短缺的情况下，由于对大量劳动力和高技能劳动力的强劲需求而显得尤为有吸引力。将机器人技术应用于这些介于高度结构化的工业环境和完全非结构化的消费市场之间的领域，可能是迈向更广泛应用的自然下一步。

随着劳动力短缺和人口结构变化，机器人技术的机会持续增长。这影响了从农业到最后一英里配送再到零售等行业的机器人公司。

构建适合各种类型自主机器人的 3D 虚拟世界是一项关键挑战，这对于模拟和测试系统至关重要。同时，生成式人工智能将为开发者快速构建真实的模拟环境提供支持。将人工智能技术融入机器人技术将有助于提高各种活跃的、非传统的“机器人友好”环境中的自动化水平。

Ken（加州大学伯克利分校）：未来，制造业和仓库中的机器人将比现在多得多。在旧金山等复杂驾驶环境中，自动驾驶出租车的最新进展确实令人瞩目。不过，我对其成本效益仍持谨慎态度。在机器人辅助手术领域，研究人员正在探索“增强灵活性”技术，通过该技术机器人可以增强执行缝合等低级辅助任务的手术技能。

我们距离真正的通用机器人还有多远？

Dhruv（Meta）：通用人工智能的实现预计还需要三十年。我们目前所处的阶段超出了任何有意义的预测范围。事实上，我们应对那些声称“通用人工智能即将到来”的人保持怀疑态度，警惕这种过于乐观的观点。

Nvidia 的 Deepu Talla

Deepu（NVIDIA）：我们不断见证机器人在智能化道路上的进步以及在特定环境下执行更多类型任务的能力。我们的目标是不断解决特定任务的问题，同时提高机器人在各个领域的适用性。然而，距离真正实现完全自主的通用机器人还有很长的路要走。

马修（卡内基梅隆大学）：能够在各种环境中执行广泛任务的通用机器人似乎仍然是一个遥远的梦想。这不仅需要人工智能、机器学习、材料科学、控制系统等多个领域的突破，而且是一个渐进的进化过程。机器人技术将逐渐从专注于特定任务发展到最终具有更广泛的功能和多功能性。

Russ（丰田汽车高级人工智能研究所）：我对我们的机器人从现有的专用模型向更通用模型的转变持乐观态度。虽然很难准确预测需要多长时间，但灵活的自动化技术、多样化的高混合制造、农业机器人、前端服务机器人以及我们尚未预见到的其他新兴领域都将受益于自主性和可扩展性的增强。 。

Ken（加州大学伯克利分校）：我认为我们不会很快看到真正的通用人工智能（AGI）或通用机器人出现。据我所知，目前没有机器人专家严重担心机器人会在短期内取代人类的工作或统治人类。

Aaron（波士顿动力）：我们在实现通用机器人的道路上面临着许多挑战。虽然专用机器人已成为工业自动化领域的常规产品，但真正的多功能机器人的开发才刚刚开始。要成为真正的通用机器人，它们必须能够自主导航非结构化环境并解决前所未有的问题。此外，这些进步需要建立在获得用户信任并满足他们的需求的基础上，同时以有竞争力的价格提供相应的价值。然而，令人鼓舞的是，我们正在见证这一领域的重要性日益增加以及公众兴趣的显着增加。我们的孩子从小就接触机器人技术，新一代毕业生正在推动技术创新。今天，我们为工业客户创造价值所面临的挑战正在为明天的消费市场机遇和我们都希望的通用机器人未来铺平道路。

家庭机器人（除了吸尘器）会在未来十年蓬勃发展吗？

马修（卡内基梅隆大学）：真正的通用机器人，能够在不同的环境中执行广泛的任务，可能仍然是在遥远的未来。为了实现这一目标，我们需要在人工智能、机器学习、材料科学、控制系统等多个领域取得关键突破。机器人的进化，从执行专门化的特定任务，到具有多种功能，甚至达到通用性，是一个渐进的进化过程。

Deepu（NVIDIA）：未来家庭将迎来更多实用的机器人，比如个人助理、自动割草机、协助老人的机器人等。然而，家庭机器人的普及主要受限于成本与价值之间的平衡——消费者愿意为这些机器人支付多少钱，以及它们是否能够提供同等价值的服务。例如，机器人吸尘器很受欢迎，因为它们物有所值。随着技术的进步和机器人变得更加智能，拥有用户友好的界面是其广泛采用的关键因素。与需要复杂编程的机器人相比，能够自主绘制环境图并通过语音命令进行操作的机器人将更容易被家庭用户接受。

而在下一波家用机器人的普及中，我们可能首先会看到那些专注于户外活动的机器人，比如自主草坪护理机器人。与此同时，其他类型的家庭机器人，例如个人/医疗助理，也显示出潜力，但在它们真正进入家庭之前，它们需要克服家庭环境的动态和非结构化的复杂挑战。

Max（丰田汽车高级AI研究所）：家庭环境对机器人提出了巨大的挑战，因为每个家庭都有自己的独特性，缺乏统一的结构化环境，而且消费者对价格极其敏感。尽管未来的发展很难精确预测，但机器人技术仍在以惊人的速度发展。

Aaron（波士顿动力）：未来十年，我们很可能会看到更多专注于特定任务的家庭机器人进入家庭，比如像Roomba这样的清洁机器人，我们会发现更多具有明确价值的应用场景。但真正能够满足广泛消费市场需求的多功能家用机器人的普及还需要时间。想象一下，在什么情况下你愿意为机器人支付相当于一辆汽车的价格？当机器人能够提供与当前运输相同的可靠性和价值时，这种情况就可能发生。

Ken（加州大学伯克利分校）：我预测，未来十年我们会看到更多价格实惠的家庭机器人，可以协助日常整理，比如捡起地板上的衣服、玩具和垃圾，并将它们放置到指定位置。就像现代吸尘器一样，虽然这些机器人偶尔可能会犯错误，但它们为家庭（尤其是父母和老年人）提供的便利将大大超过它们的局限性。

Dhruv（Meta）：虽然机器人技术发展迅速，但核心技术尚未达到广泛应用于家庭环境所需的成熟度。

机器人技术的哪些领域没有得到足够的重视？

Aaron Saunders，波士顿动力公司：目前，人工智能及其改变许多行业（包括机器人技术）的潜力受到了广泛关注。尽管人工智能在这些领域发挥着关键作用，希望能够开拓长期以来静态的领域，但好的机器人产品并不是简单地由简单的二进制代码组成的。为了让人工智能在物理世界中实现其功能并与环境交互，我们需要不断跟上构成机器人系统的计算技术、感知传感器、电源管理等关键技术的最新发展。汽车行业最近向电气化和先进驾驶辅助系统的转变正在迅速改变庞大的供应链，创造前所未有的机遇。显卡、计算机和日益复杂的人工智能辅助消费电子产品的进步为该行业注入了新的活力。这些影响深远且鲜为人知的技术变革是机器人技术中最令人兴奋的趋势之一，使许多创新型小公司能够在行业巨头的支持下推出新的、引人注目的产品。

Ken（加州大学伯克利分校）：说到机器人运动规划，它是机器人领域最古老、最深入的研究课题之一，重点关注如何控制电机关节以实现机器人工具的精确运动并避开障碍物。虽然有些人可能认为这个问题已经解决，但现实远非如此。机器人技术的“奇点”问题是所有机械臂普遍面临的核心挑战，它与人们想象的机器人技术极限有很大不同。机器人奇点是指机器人在特定空间位置意外停止并需要手动复位的情况。这是因为将预期的线性运动转换为六个机器人关节电机中每一个的运动都涉及复杂的数学。在某些空间位置，这种转换可能会变得不稳定，需要机器人重置。这个问题的复杂性和持续性说明机器人运动规划领域仍然存在巨大的研究和改进空间。

对于重复的机器人运动，可以使用繁琐的手动微调来避免奇点并确保机器人运动的一致。一旦设定，这些动作就可以准确一致地重复。然而，在码垛、拣选操作、订单处理和包裹分拣等机器人运动要求多样化的新兴领域，奇异性问题变得更加常见。这些奇点会在不可预测的时刻中断机器人的运行，并且发生的频率足以成为众所周知的问题。为了解决这一挑战，我与他人共同创立了 Jacobi Robotics。我们使用高效的算法来确保机器人避免奇点，显着提高机器人的可靠性和生产效率。这一突破对于所有使用机器人技术的行业来说代表着质的飞跃，带来前所未有的稳定性和效率。

Russ（丰田汽车高级人工智能研究院）：当前，生成式人工智能和硬件领域的重大进展和巨额投资已成为频繁出现的话题。但这些成就的背后其实是模拟技术的一场无声的革命。就在几年前，大多数机器人专家还认为在模拟环境中训练或测试计算机视觉系统是不切实际的；现在，这已成为标准操作程序。尽管一些研究人员对于完全在模拟中开发控制系统（例如灵巧的手）并使其在现实世界中有效运行仍持保留态度，但越来越多的趋势和实践正在朝着这个方向显示出希望。发展潜力。 Nvidia、Google DeepMind、TRI等公司的大量投资正在推动这一变化，我们有理由相信模拟技术的未来将更加广阔，机器人的应用将变得更加高效和精准。

Dhruv（Meta）：现在我们已经能够在真实的家庭环境中测试导航机器人，并且它们实际上可以有效地工作！请注意，这些家庭导航机器人没有自动驾驶汽车那样能够构建数百万英里道路的精确地图。我们只需将机器人放置在一个新的环境中并指示它寻找特定的物体。

Deepu (NVIDIA)：这凸显了对平台方法的需求。许多机器人初创公司难以扩大规模，因为他们只专注于为特定任务或环境开发解决方案。为了实现商业化的规模化和可行性，开发能够广泛适用、快速学习新技能、适应新环境的通用机器人至关重要。机器人技术需要一个集成工具和库的平台来训练和测试机器人人工智能。该平台应提供模拟功能来训练模型、生成合成数据并测试整个机器人软件堆栈。同时，它还应该能够在机器人上实时运行最新和新兴的生成式人工智能模型。未来成功的初创公司和机器人公司将专注于开发新的机器人技能和自动化任务，并利用全面的端到端开发平台。

马修（卡内基梅隆大学）：尽管机器人技术已经取得了重大进展，并成功应用于某些细分市场和特定行业，但这些成就往往被更具未来感或广泛适用的概念所掩盖。农业、医疗保健或特定工业应用等领域的稳定成功故事同样重要。它们代表了机器人技术实际应用中真实而具体的进步，值得更广泛的关注和认可。这些进展不仅展示了该技术的实用价值，也为机器人技术的未来发展和广泛应用奠定了坚实的基础。

原文链接：

租！ GPU云资源

新一批A100/A800上线

操作员机房，服务有保障