快捷搜索:

Translated_AI 第三代神经网络突破进展|一周AI最火

大年夜数据文摘专栏作品

作者:Christopher Dossman

编译:Vicky、云舟

呜啦啦啦啦啦啦啦大年夜家好,AI Scholar Weekly栏目又和大年夜家晤面啦!

AI Scholar Weekly是AI领域的学术专栏,致力于为你带来最新潮、最周全、最深度的AI学术概览,一扫而空每周AI学术的前沿资讯。

每周更新,做AI科研,每周从这一篇开始就够啦!

本周关键词:基于AI的X光、机械人抱抱、量化BERT模型

本周最佳学术钻研

一种用于自动驾驶和映射义务的新数据

一组钻研职员公开了一个覆盖350多公里,光阴跨越10个小时的汽车驾驶记录。这些记录在任何其他公共数据集中都是不存在的。

该数据集涵盖了城市中间、郊区、高速公路、屯子子等多种情况,主如果在捷克共和国的布尔诺以及周边地区记录的。它包孕来自高质量传感器的数据——四个WUXGA摄像机、两个3D激光雷达、惯性丈量单元、红外摄像机和厘米级RTK GNSS接管器等。

这组数据的一个分外之处是应用了一个热成像相机,可以在恶劣的气象以致是电闪雷鸣的前提下定位。此外,所有的数据都有正确的光阴戳,精度在毫秒以下,可以被更广泛地利用。

共享数据可以让更多的钻研职员介入到某一特定领域的钻研进程中,经由过程应用新的数据和新鲜的设法主见来钻研它,科研天下中的每一个钻研者都邑受益。

Brno数据集的原始款式异常易于涉猎,它还带有一个能够将数据转换为ROS包的脚本,这些上风使得它在推动自立驾驶成长的钻研上具有紧张的潜力。该钻研也为根基数据处置惩罚供给了对象,未来钻研职员有望使用雷达、里程计和神经收集数据预处置惩罚传感器对数据进行更新。

数据集:

https://github.com/Robotics-BUT/Brno-Urban-Dataset

原文:

https://arxiv.org/abs/1909.06897

BERT模型的新型量化措施

为了最小化BERT模型的机能退化,UCBerkeley的钻研职员提出了一种有效量化Q-BERT的规划。

这项事情在广泛的二阶信息逐层解析(Hessian information)的指示下,BERT上利用混杂精度量化。钻研职员还提出了一种新的量化规划,称为逐组量化,它可以不增添硬件繁杂度的环境下削减精度退化。

钻研还探究了阻碍BERT量化的身分,包括不合的量化规划和模块(如嵌入、自关注和全连接层)若何影响NLP机能和模型压缩比之间的平衡。

钻研职员称:“据我们所知,这是量化BERT以可吸收的机能丧掉下实现超低比特的第一项事情。”

Q-BERT在感情分类、自然说话处置惩罚、工具识别、机械涉猎理解等四个下流义务中,实现了13倍的权重压缩比、4倍的激活量和4倍的嵌入量,而准确率的丧掉还不跨越2.3%。

推理效率已经成为ML的一个紧张问题,量化是经由过程削减表示数据的比特数来前进推理效率的。这样的钻研有很大年夜的潜力,由于它们可以赞助类似智妙手机这样的算力受限设备实现更鲁棒的模型。

原文:

https://arxiv.org/abs/1909.05840v1

Google AI:脉冲神经收集中的光阴编码

在一个称之为Ihmehimmeli的项目中,谷歌钻研职员展示了人工脉冲神经收集若何使用多种架构和进修设置来开拓光阴动态。他们提出了一个脉冲神经模型,该模型根据单个脉冲的相对光阴来编码信息。

“ImiMeMeli”一词借用自芬兰语,意思是一个繁杂的对象或元素。钻研职员解释说,这个名字奇妙地描述了他们的目标,即开拓具有光阴编码信息的繁杂递归神经收集布局。

一样平常来说,人工收集短缺像大年夜脑那样使用光阴对信息进行编码的能力。在这一模型中,钻研职员应用带有光阴编码规划的人工脉冲收集,此中的特殊信息,例如更大年夜的声音或更亮的颜色,会导致更早的神经元脉冲。

在信息处置惩罚的层次布局中,得胜的神经元是最先呈现脉冲的神经元。这样的编码可以自然地实现一种分类规划,此中输入特性在它们对应的输着迷经元的脉冲光阴中被编码,而输出特性则由最早达到脉冲的输入迷经元编码。

脉冲收集受到了生物神经布局的启迪,经由过程钻研脉冲收集中的光阴编码,有可能创造出一种更节能、更繁杂的神经布局成长模块。

这一模型以多种要领对现有的脉冲收集模型进行了显明改进,并且可以办理应用光阴编码的标准机械进修基准问题。

此外,钻研职员还证清楚明了应用一种生物学上α突触功能的合理性。Alpha函数包括一个衰减因素,它容许在神经元没有被刺激时忘怀较早的输入,这有助于修正潜在的虚假脉冲。

这项事情为学术界供给了一个光阴编码原型,以创建面向递归和基于状态的神经谋略架构的根基。

原文:

https://arxiv.org/abs/1907.13223

实现可扩展的多域会话代理

虚拟助手在前进事情效率和协作方面显示出了无穷的潜力。是以,它们的钻研与开拓引起了很多人的兴趣。但对付人工智能领域的新兴钻研来说,总有一个无法逃避的寻衅——短缺用于多个域的足足数据。

为了应对这一寻衅,钻研职员引入了一组新的模式向导对话(Schema-Guided Dialogue/SGD)数据集,此中包孕了跨16域的跨越16k的多域对话数据。

这一数据集在规模上跨越了现有的面向义务的对话语料库,同时也针对性地办理了与构建大年夜型虚拟助理相关联的寻衅。

跟着学术界和业界都在努力改进会话代理,不合领域的高质量数据至关紧张。

据这项事情的钻研职员称,这是今朝最大年夜的面向公共义务的对话语料库。所提出的单一对话系统能够轻松支持大年夜量办事,并有助于在不必要额外练习数据的环境下匆匆进新办事的简单集成。

这项事情有可能进一步推动针对虚拟助理的钻研,并赞助机械进修社区实现更强大年夜的系统。详细而言,数据集可以用作意图猜测、语义添补、状态跟踪、说话天生以及大年夜规模虚拟助理中其他义务的有效测试平台。

参考代码:

https://github.com/google-research-datasets/dstc8-schema-guided-dialogue

原文:

https://arxiv.org/abs/1909.05855v1

感情分类中的文本长度自适应

只管在跨域/说话义务中,无监督迁移进修已经获得了很好的钻研,然则跨长度迁移(CLT)仍旧没有获得足够的探索。此中一个缘故原由是长度差在分类中的可转移性很小。

在本篇文章中,钻研者注解,这并不是由于短/长文本在语境富厚度和单词强度上存在差异。他们从不合领域和说话设计了新的基准数据集,并表示来自类似义务的现有模型无法应对跨文本长度迁移的独特寻衅。

他们还引入了一个称之为BaggedCNN的强基线模型,该模型将长文本视为包孕短文本的包,并保举了一个名为长度迁移收集(LeTraNets)的最新CLT收集:该CLT收集针对短文本和长文本供给了一个应用多种练习机制的双向编码系统。在评料中,BaggedCNN模型机能比传统模型差,而LeTraNets则击败了所有模型。

文本可以作为一种极其富厚的信息源,这说清楚明了今世企业转向文本分类以增强决策能力和自动化流程的缘故原由。然而,因为其非布局化的性子,从文本中提取看法是具有寻衅性且耗时的。

文本分类器可用来组织、构造和分类险些随意率性器械。所提出的LeTraNets包括一个段级本文编码器CNNbag用来捕获段级文本特性。

LeTraNets的实现:

https://github.com/rktamplayo/LeTraNets

原文:

https://arxiv.org/abs/1909.08306

其它爆款论文

基于措辞者识别的实时文本显示效果评估:

https://arxiv.org/abs/1909.08172

进修办理办事机械人的义务:

https://arxiv.org/abs/1909.06529

新的自动驾驶数据集,它是Pioneering KITTI数据集的10倍,是nuScenes数据集的3倍:

https://arxiv.org/abs/1909.07541

一组新的音乐源分离钻研开放式数据集,此中包括乐器混杂音和响应因素的高质量衬着:

https://arxiv.org/abs/1909.08494

赞助类人型机械人学会猜测人类爱的抱抱并对其作出反映:

https://arxiv.org/abs/1909.07471

一组自动驾驶代理和映射义务的新数据:

https://arxiv.org/abs/1909.06897

AI头条

华为发布开拓开源架构计划,以满意日益增长的谋略能力和人工智能要求:

https://www.zdnet.com/article/huawei-eyes-ai-prowess-invests-in-compute-power/

还有人工智能驱动的X光?

https://www.aidaily.co.uk/articles/artificial-intelligence-powered-x-rays

从现在起,你可以从随意率性手机呼叫Google Assistant了:

https://www.livemint.com/technology/tech-news/you-can-now-call-the-google-assistant-from-any-phone-1568878562649.html

你有没有想过,人工智能的进步会让社会变得更糟:

https://www.aidaily.co.uk/articles/risks-of-ai-sgmyf

相关搜索卷积神经收集神经收集算法神经收集

您可能还会对下面的文章感兴趣: