要让机器人变得足够有用威尼斯网站:,它可以通过触摸来学习

威尼斯网站 10

原标题:瞄准工业智能化市场,麻省理工让 AI 教机器人操纵物品

原标题:有了这项新技术机器人可就真的成精啦!

智东西

威尼斯网站 1

麻省理工学院的计算机科学与人工智能实验室开发了一种新系统,使机器人能够拾取和处理任何物体,甚至是他们以前从未见过的物体。尽管智能机器已经变得如此,但大多数工厂机器人仍然需要预先设定他们将要处理的物体

这就是为什么机器人专家自己开发技术可以教会自己如何操纵各种物品。CSAIL的系统称为kPAM,它通过将对象视为3D关键点的集合来创建对象的可视路线图。

威尼斯网站 2

麻省理工学院

CSAIL表示,kPAM或Keypoint Affordance
Manipulation比其他类似技术更准确。在检测到对象上的所有坐标后,它会确定它可以用它做什么。例如,如果它看到一个带把手的杯子,它可以把它挂在钩子上。如果它确定它正在看一双鞋子,它可以将鞋子放在架子上。“仅仅了解一下这个对象

  • 一些关键点的位置 –
    足以支持各种有用的操作任务。这种特殊的表现形式与当今最先进的机器学习完美结合感知和规划算法,“该研究的资深作者,麻省理工学院教授拉斯泰德拉克说。

研究人员希望进一步开发该系统,直到由kPAM驱动的机器可以完成更大的任务,例如卸下洗碗机和擦拭厨房。他们还希望系统可以在未来为更大的操纵机器的工厂机器人提供动力。

人工智能正在一步步走向强大。今天,麻省理工学院又公布了一项新发明,让科技更进一步。

来自engadget的消息称,麻省理工学院最新研究发布的的机器视觉系统可以让机器人自行解决它所看到的问题。

编 | 赵佳蕊

新智元报道

麻省理工学院计算机科学与人工智能实验室(CSAIL)的研究人员,发明了一种名为
DON
的“密集的视觉对象网”——让机器人能学会独立观察、理解并操作它们从未见过的物体。

对于反复执行特定动作的机器来说,目前的计算机视觉技术已经足够了,比如从装配线上取下一个物体,把它放到一个箱子里。然而,要让机器人变得足够有用,不仅能在仓库里装箱子,还能在我们自己的家里帮上忙,目前的而技术就显得力不从心了。

导语:美国麻省理工学院计算机科学和人工智能实验室研究人员设计了一个可以把触觉信号转化为视觉信号的的人工智能系统,也可以根据视觉片段预测触觉。

来源:techexplorist

研究人员们计划今年10月在瑞士的机器学习大会上展示他们的新发明。

对此,麻省理工学院设计了“DON”系统。

智东西6月17日消息,近日麻省理工学院计算机科学和人工智能实验室的研究人员研发出了一个新的人工智能系统,这个人工智能系统能够通过触觉信息生成视觉信息,也可以根据视觉片段预测触觉。

编辑:张佳

威尼斯网站 3

DON,或称“密集物体网”,是麻省理工学院计算机科学和人工智能实验室(CSAIL)开发的一种新型机器视觉形式。它能够生成一个“可视化路线图”——即以坐标形式排列的可视化数据点的集合。这个系统会把这些单独的坐标集拼接成一个更大的坐标集合,就像您的手机可以将多张照片拼接成一个全景图像一样。这使得系统能够更好、更直观地理解对象的形状以及它在周围环境中的工作方式。

相关论文将在下周的计算机视觉和模式识别会议上将发表一篇新的论文,这篇论文由CSAIL博士生Yun
Zhu Li、MIT教授Russ Tedrake、Antonio Torralba和MIT博士后Jun Yan
Zhu共同创作。 一、这个AI可以将视觉信息和触觉信息相互进行转换

摸一摸就知道长什么样、看一看就知道摸着是什么感觉,你以为我说的是人?不,是AI。MIT研究人员开发出一种具有预测性人工智能的机器人,它可以通过触摸来学习“看”,通过“看”来学习感觉,李昀烛和朱俊彦这两位大神参与了此项研究。

DON试图抓起一只鞋子(图片来源:MIT CSAIL)

“从计算机视觉系统中得到的最粗糙、最高级的东西就是检测目标,”该研究论文的作者、博士生Lucas
Manuelli告诉Engadget。“下一步是进行像素标记,所有的像素都是一个人或一条道路的一部分。很多自我驾驶汽车系统都会进行这两部操作。“

该小组的系统使用了GANs把触觉数据拼凑出视觉图像。其中GANs的神经系统被应用在两个部分,包括产生样本的发生器和能够区分产生样本和真实样本的鉴别器的两部分神经网络。

我们人类可以通过简单地触摸来轻松地判断物体的外形,这完全归功于我们的触觉,它使我们具备了这种能力。此外,我们当然也可以通过观察物体来确定它的感受。

核心研究人员 Lucas Manuelli
说:“目前的许多科技手法都无法识别物体的准确样貌。例如,现有的算法无法操纵机器手柄来抓一个杯子。尤其是当杯子的形状和摆放复杂时,更为艰难。”

“但如果你真的想以某种特定的方式与某个物体互动,比如以特定的方式抓住鞋子或抓住一个杯子,”他继续说道,“那么仅仅有一个边界框或所有对应于杯子的像素是不够的。我们的系统必须得在对象中获得更精细的细节……这种信息对于进行更高级的操作任务是必要的。“

样本的获取来源于一个名为visgel的数据集,visgel拥有超过300万个视觉/触觉数据对,其中包括12000个视频剪辑,剪辑中包含了近200个物体(如工具、织物和家用产品)。

但做同样的事情对于机器来说可能是困难的,这也是一个巨大的挑战。即使是被编程有感官的机器人也无法做到这一点,它们不能把这些触觉信号互换使用。

DON
不是一个控制系统。相反,它是一种自我监督的深层神经网络——一种模仿大脑神经元功能的分层算法——训练机器人用精确坐标的形式来描述物体。在训练结束后,DON
能够自主地挑选出参考框架。当一个类似的新物体出现时,DON
就可以将它们映射到一起,在三维空间中计算出物体的可视化形状。

也就是说,DON系统可以让机器人看着一杯咖啡时,正确定位到咖啡杯的手柄上。当机器人拿起咖啡杯时,DON系统能让机器人意识到杯子的底部需要保持指向下方,以避免杯子里的东西洒出来。

这一人工智能系统首先将识别机器人所接触物体区域的形状和材质,并在参考的数据集中进行比对,最终生成所接触部位的图像信息。

现在,麻省理工学院计算机科学与人工智能实验室的研究人员已经开发出一种具有预测性人工智能的机器人,它可以通过触摸来学习“看”,通过“看”来学习感觉。

威尼斯网站 4

威尼斯网站 5

例如:如果给出鞋子上完整的触觉数据,这个模型就可以确定鞋子上最有可能被触摸的位置。

强强联合,必出精品

DON的视角(图片来源:MIT CSAIL)

更重要的是,该系统将允许机器人从一堆相似的物体中挑选出特定的物体。

威尼斯网站 6

在细讲这篇论文之前,先来给大家隆重介绍一下这个研究团队——均来自MIT
CSAIL,一作是MIT
CSAIL博士、曾经的北大学神李昀烛,二作是即将在CMU担任助理教授、曾经的清华学神朱俊彦。

根据研究人员所说,不论是硬的物体(如帽子)还是软的物体(如毛绒玩具),DON
都只需要20分钟就可以完成学习。DON
可以识别各种各样的物品,包括适度变形的物品以及质感非常轻薄的物品。

“许多操纵方法无法让机器人在不同的方向上识别出物体的特定部分,”Manuelli在研究中写道,“例如,现有的算法无法通过手柄抓住马克杯,特别是当马克杯朝着不同的方向时。”

▲运行流程

威尼斯网站 7

此外,DON 并不会分辨物体的颜色和纹理,这使得它在使用 RGB
或深度数据上更有优势。因为只要一点轻微变形,颜色和纹理就会改变,不具备“可抓取”的特性。

该系统依赖于拥有RGB深度相机组合的RGB-D传感器。并且,这个系统可以进行自我训练——如果你想让系统识别棕色的靴子,你只需把机器人放在一个有棕色靴子的房间里,然后这个系统将自动循环启动,获取用于生成坐标点的参考照片,然后根据所看到的内容进行自我训练。整个过程不到一个小时。

数据集中参考照片有助于对环境的详细信息进行编码,从而使机器学习模型能够自我改进。在这个研究中,他们在库卡机器人手臂上安装了一个触觉式凝胶视觉传感器,这个传感器由麻省理工学院的另一个小组设计,可以将当前的图像与参考图像进行比较,以确定触摸的位置和比例。
二、这个系统可以帮助机器人进行自我学习

李昀烛

“在工厂里,机器人通常需要十分复杂的部件才可以工作,”Manuelli 说,“但是像
DON
这样的系统就能省去这些复杂部件。只需拍一张照片,就能掌握和操纵物体。”

威尼斯网站 8

“通过观察这个场景,我们的模型可以想象到触摸到一个平坦的表面或锋利的边缘的感觉。”CSAIL博士生
Yun Zhu Li说。

李昀烛是CSAIL的二年级博士生,他的研究领域是计算机视觉、机器学习和机器人技术,尤其是基于深度学习的机器人动力学建模和多模态感知。他本科毕业于北京大学,本科期间参加北京大学和斯坦福大学的多个实验室研究,并以第一作者身份发表多篇计算机视觉和机器学习顶级会议论文。

威尼斯网站 9

“在工厂中,机器人通常需要复杂的零件才能可靠地工作,”Manuelli写道,“但像这样一个能够理解物体方向的系统,只需拍张照片,就能相应地把握和调整物体。”

“在黑暗中进行接触的时候,仅从触觉上,我们的人工智能模型就可以预测与环境的交互作用,把视觉和触觉这两种感觉结合在一起就可以强化机器人的能力,减少我们在处理和抓取物体的任务中可能需要的数据。”

威尼斯网站 10