科技网

当前位置: 首页 >智能

最新OpenAI开发最新无监督情绪神经元

来源: 作者: 2018-10-28 21:29:36

最新|开发最新无监督情绪神经元系统 情绪分析准确率高达91.8%

全球人工智能

来源: 编译:马卓奇

无监督情绪神经元系统达到世界最先进水平摘要:作者开发了一个无监督的系统,尽管该系统只是训练预测Amazon评论中的下一个字,它却可以学习到很好的情绪表示。

该系统是一个线性模型,在很小但是充分学习的数据集,StanfordSentiment Treebank上,达到了情绪分析准确率的最先进水平(准确率为91.8%,而之前的算法最好只到90.2%),并且使用多个有标签样例,可以达到之前有监督系统的水平。该表示方法也包含了一个清晰的“情绪神经元”,包含了几乎所有的情绪信号。

该系统在Stanford Sentiment Treebank上打败了其他方法,并且与其他方法相比,仅使用极少的数据量。

标注的训练样例需要我们模型的两个变量(绿线和蓝线)来达到全监督方法,每一个都使用6920个样例进行训练(灰色点线)。L1正则模型(在无监督的亚马逊评论数据库中进行预训练),达到了多通道CNN的性能,只用了11个带标签的样例,而最新水平的CT-LSTM需要使用232个样例。

让我们很惊讶的是,我们的模型学习了一个可解释的特征,简单预测亚马逊评论中的下一个字导致我们发现了情感概念。我们相信这个现象不仅仅针对我们的模型,而是那些训练来预测输入的下一步或下一个维度的神经络的共性。

方法 我们首先训练了一个乘性LSTM。使用了4096个单元,在一个有820万条亚马逊评论的语料库上进行训练,来预测文本中的下一个字。训练环境为4块NVIDIA Pascal GPU。训练花费了一个月的时间,我们的模型每秒钟可以处理12,500个字符。

这4096个单元(均为浮点数矢量)可以视为特征矢量,用来表示模型阅读的字符串。训练了mLSTM之后,我们通过线性结合这些单元,将模型转换为情感分类器,通过可用的有监督数据学习了结合权重。

情绪神经元模型解析在用L1正则化训练线性模型时,我们注意到它仅使用很少的已学习的单元。进一步探索发现,其实存在一个单独的“情绪神经元”,它能高度预测情绪值。

虽然这个模型只是训练来预测文本中的下一个字

最新OpenAI开发最新无监督情绪神经元

,但是模型中的情绪神经元可以将评论分类为正面或负面的。

与其它模型类似,我们的模型可以用来生成文本。但与它们不同的是,我们有一个可以直接控制生成文本情绪的按钮:我们可以重写情绪神经元的值。

在固定了情绪单元的值之后,也就是决定了评论的情绪之后,我们从模型中随机选取了一些样例。

选定为正面情绪的文本

“这就是我要找的!裤子很合适,跟我其他裤子颜色对比也很明显。特别推荐!真的很开心!”

选定为负面情绪的文本

“收到的包裹是空的而且完全没有条形码,简直是浪费时间浪费金钱。”

下面,我们在模型中加上了预设词“我不知道”,然后选取了高相似度的样例。

选定为正面情绪的文本

“我不知道为什么这部电影不拍续集了!但是现在我可以想看就看。能再次找到它真是太开心了!”

选定为负面情绪的文本

“我不知道怎么设置它,盒子上也没有注意事项。我再也不会给别人推荐它了。”

情绪神经元的示例下面的图按字符展示了情绪神经元的值,负面情绪显示为红色,正面情绪显示为绿色。注意到有强烈指示性的词,比如“最好”或者“可怕”,会导致颜色的很大起伏。

很有意思的一点是,在完成了句子和词组之后,系统会进行很大的校正。比如说,在“大约99.8%的人都没有看懂电影”句子中,“lost”之后有一个负面的校正,在句子结尾有一个更大的校正,尽管“在电影中”(“in the film”)完全不包含任何情绪。

无监督学习如今,标注数据成为了机器学习的推动剂。收集数据很容易,但是标注数据很难。只有针对对很重要的问题进行数据标注才是值得的,比如机器翻译,语音识别,或者自动驾驶。

机器学习的研究人员一直希望开发无监督学习算法来学习数据集的表示,并且也可以用来解决只能使用少量标注数据的问题。我们的研究表明,当需要创建具有较好的表示能力以及学习能力的系统时,在大量数据集上训练大型的无监督“下一步预测”模型或许是个好方法。

未来工作规划我们的结果预示着朝着通用的无监督表示学习又迈出了具有希望的一步。然而该现象底下的本质依然很神秘。

我们认为将来可以尝试多层模型,能够适应他们操作的时间尺度。

扩展语料库会导致同样的信息表示,这一点也适用于更广泛的领域。

我们的结果表明,在目前的设置下,大型的“下一步预测”模型可以学习到很好的无监督表示。

总之,我们需要理解模型的性质,训练的方法,以及能够生成这样的表示所依

赖的数据集。

Github:

Paper:

AIJob社是《全球人工智能》旗下专门为AI开发工程师免费服务的求职平台。我们将竭尽全力帮助每一个ai工程师对接自己喜欢的企业,推荐给你喜欢的直接领导,帮你谈一个最好的薪资待遇。

咨询:aihr007简历投递:hr@企业合作:job@

《全球人工智能》招聘5名兼职翻译及10名兼职VIP社群专家:图像技术、语音技术、自然语言、机器学习、数据挖掘等专业技术领域,工作内容及待遇请在公众号内回复“兼职+个人号”联系工作人员。

热门文章推荐

重磅|Google最新AI芯片TPU比最先进的FPGA/GPU快15-30倍!每年可省100亿美元!重磅|全球AI报告:看看谷歌|苹果|Facebook等十几家巨头都收购了哪些牛逼的AI公司?

重磅|4月2日BAT三巨头CEO齐聚深圳:要么拥抱“人工智能”,要么被淘汰!

重磅|海军发布2017年31个公开装备预研创新项目指南,人工智能技术成重点招聘|东莞理工大学用最高2200万的待遇招募全球ai人才

重磅|Facebook发布AI搜索引擎Faiss:比最先进搜索算法快8.5倍(附papercode)

重磅|中国这家2000亿市值的低调AI公司 年收入320亿,你知道吗?

重磅|谷歌发布最新 ogle 开源站 全面开放谷歌资源

重磅|IEEE:以色列Eyesight-Tech提供CV安全副驾降低交通事故死亡率

重磅|中国军用机器人曝光,负重160公斤狂奔两小时 !(附视频)

相关推荐