首页 >> 张洪量

人工神经网络用于获取机器人动作和语言的基本表示形式梁祖尧

2022年10月27日

人工神经网络，用于获取机器人动作和语言的基本表示形式

为了在完成日常任务时为用户提供最好的帮助，机器人应该能够理解他们的查询，回答并相应地执行操作。换句话说，他们应该能够灵活地生成和执行与用户的口头指示相一致的动作。

为了理解用户的指令并采取相应的行动，机器人系统应该能够在语言表达，动作和环境之间建立关联

事实证明，深度神经网络特别擅长获取语言表达的表示形式，但通常需要在大型数据集上对它们进行训练，这些数据集包括机器人动作，语言描述和有关不同环境的信息。

东京早稻田大学的研究人员最近开发了一个深度神经网络，该网络可以获取机器人动作的基础表示以及这些动作的语言描述。

他们创造的技术发表在《IEEE机器人与自动化快报》上的一篇论文中，该技术可用于增强机器人执行与用户口头指示相符的动作的能力。

进行这项研究的研究人员之一的Tetsuya Ogata告诉TechXplore：“我们正在解决如何将符号与现实世界整合在一起的问题，即'符号接地问题'。” “我们已经发表了多篇与机器人和神经网络有关的问题的论文。”

新的基于深度神经网络的模型可以获取单词的向量表示，包括动作含义的描述。使用这些表示，然后就可以为单个单词生成足够的机器人动作，即使这些单词是未知的。

模型概述。所提出的模型由两个递归自动编码器和一个改装层组成。

Ogata解释说：“具体地说，我们将经过文本语料库训练的深度学习模型的单词向量转换为可用于描述机器人行为的不同单词向量。”

“在正常的语言语料库学习中，相似向量被赋予出现在相似上下文中的单词，因此无法获得适当动作的含义。例如，'fast'和'slowly'在语言中具有相似的向量表示，但它们在实际行动中具有相反的含义。我们的方法解决了这个问题。”

Ogata和他的同事们交替训练了他们模型的改进层和双向转换模型。这种训练过程允许他们的模型转换预先训练的词嵌入，并使它们适应现有的动作对和相关的描述。

“我们的研究表明，语言和动作的集成学习可以实现矢量表示形式的获取，以反映副词和动词的真实世界含义，而在仅使用大型文本语料库的深度学习模型中，这是很难获得的，”绪方说。

在初步评估中，深度学习技术取得了令人鼓舞的结果，因为它可以从以前看不见的单词生成机器人动作。将来，新模型将有助于开发更擅长理解人工指令并据此采取行动的机器人。

绪方说：“这项研究是我们朝着这个方向的研究的第一步，在语言和行为的联系上仍有很大的改进空间。” “例如，仍然很难转换某些单词。在这项研究中，机器人的运动次数很少，因此我们希望在未来增加机器人的灵活性，以处理更复杂的句子。”