Enhancing the LLM-Based Robot Manipulation Through Human-Robot Collaboration

大语言模型（LLM）在机器人领域日益流行，但由于语言模型、机器人与环境之间 整合不足，基于 LLM 的机器人往往只能执行简单重复的动作。本文提出一种通过 人机协作（HRC）提升 LLM 自主操作性能的新方法：由提示工程驱动的 GPT-4 将 高层语言指令分解为机器人可执行的动作序列，基于 YOLO 的感知算法为 LLM 提供 视觉线索以在具体环境中规划可行动作；并进一步提出结合遥操作与动态运动基元 （DMP）的人机协作方法，使基于 LLM 的机器人能够从人类引导中学习。

IEEE Robotics and Automation Letters, 9(8), 6904–6911