分享
中新经纬>>

金珍京,打鱼一夜输了5万,百分百仿盛大内功连击传奇,传奇按天开地图设置

2019-07-24 中新经纬

   

金珍京今年各大学术会议确实非常关注数据相关的问题,例如数据偏见、数据隐私和大数据集等。这一类主题大致可以分为两部分,即新型数据集、语料库、知识库,或者是数据本身存在的特性与问题。其实今年已经提出了好几个数据集,我们可能比较熟悉旨在替代MNIST的fashion-MNIST数据集,还有Facebook构建的用于星际争霸人工智能研究的新一代数据集STARDATA,这些强大的数据集都推动了深度学习与机器学习向前发展。此外,苹果和微软等大公司对数据隐私问题做出了进一步的思考。例如微软今年推出了PrivTree,它利用差分隐私算法保护位置隐私,而苹果的差分隐私算法从数学角度严格定义了隐私,他们的想法即仔细校准的噪声可以隐藏用户数据。今年IJCAI和EMNLP等顶会也都有以数据为主题的获奖论文。图像生成其实也是今年获奖论文比较关注的主题,例如苹果公司的LearningfromSimulatedandUnsupervisedImagesthroughAdversarialTraining提出了模拟加非监督学习方法在使用合成图像方面展现出了显著的提升效果。而另一篇TagDisentangledGenerativeAdversarialNetworksforObjectImageRe-rendering提出了一种条理化的标签解纠缠的生成对抗网络(TDGAN),该TDGAN通过指定多个场景属性(如视角、照明和表现等)从单张图片重新渲染出感兴趣目标的新图片。若给定一张输入图像,解纠缠网络会抽取解开的、可解释性的表征,然后这些表征再投入到生成网络以生成图片。顶会论文概览2.自然语言处理

打鱼一夜输了5万ACL2017最佳演示论文《Hafez:aninteractivepoetrygenerationsystem》共同一作XingShi(史兴)本科毕业于清华大学,现于南加州大学读博。以下五篇ACL2017杰出论文皆来自国内:其实最近ICLR2018评分排第二的论文就详细研究了最优化方法,在ONTHECONVERGENCEOFADAMANDBEYOND论文中,研究者发现MSPROP、ADAM、ADADELTA和NADAM等方法都是基于使用前面迭代所产生梯度平方的指数滑动平均值,它们在对该滑动平均值取平方根后用于缩放当前梯度以更新权重。该论文表示些算法因为使用了指数滑动平均操作而有时并不能收敛到最优解(或非凸条件下的临界点)。因此研究者提出了一种ADAM算法的新变体,它通过赋予这些算法对前面梯度的「长期记忆」能力而解决收敛问题。在NIPS2017的最佳论文Variance-basedRegularizationwithConvexObjectives中,研究者探讨了一种风险最小化和随机优化的方法,该方法可以为方差提供一个凸属性的替代项,并允许在逼近和估计误差间实现近似最优与高效计算间的权衡。他们证明了该过程具有最优性保证(ertificatesofoptimality),并通过逼近和最优估计误差间良好的权衡在更一般的设定下比经验风险最小化方法有更快的收敛率。因此,前一篇论文表明了Adam等算法的局限性而提出改进方法,后一篇论文直接提出一种能提升标准经验风险最小化在许多分类问题测试上的性能的方法。EMNLP2017最佳长论文《MenAlsoLikeShopping:ReducingGenderBiasAmplificationusingCorpus-levelConstraints》作者JieyuZhao、TianluWang、MarkYatskar、VicenteOrdonez和Kai-WeiChang,其中来自弗吉尼亚大学的赵洁玉、王天露、张凯崴均为华人。一作赵洁玉UCLA二年级在读博士生,师从Kai-WeiChang(张凯崴)教授。主要研究领域为自然语言处理与机器学习。此前,在北京航空航天大学获得计算机本科及硕士学位,并在弗吉尼亚大学完成博士一年级的学习,现就读于UCLA计算机专业。对于数据偏见与数据隐私,MenAlsoLikeShopping:ReducingGenderBiasAmplificationusingCorpus-levelConstraints论文研究了与多标签目标分类和视觉语义角色标注相关联的数据和模型。他们发现这些任务的数据集包含严重的性别偏见,且在这些数据集上训练的模型放大了这些偏见。例如,在训练集中,做饭涉及到女性的概率要比男性高33%,而训练后的模型在测试集上将这一概率放大到了68%。因此研究者建议可以注入用于校准现有结构化预测模型的语料库级约束,并基于拉格朗日松弛设计一种算法以进行群体推断。此外,谷歌大脑等研究员在论文Semi-supervisedKnowledgeTransferforDeepLearningfromPrivateTrainingData表示模型中可能会无意中隐含一些训练数据,因此通过仔细分析就能揭露一些敏感性信息。为了解决这个问题,研究者提出了教师集成的私有聚合(PATE),该方法通过黑箱的方式组合多个由互斥数据集训练的模型。因为这些模型都依赖于敏感性数据,所以它们并不会公开,但是它们还是可以作为「学生」模型的「教师」。因此,即使攻击者可以访问学生与检查内部运行工作,但他并不能直接访问到单一教师的基础参数或数据。

百分百仿盛大内功连击传奇获奖论文分析ICLR2017收到了507篇论文,其中196篇论文被大会接收,录用率%。今年的论文评审结果也已出炉,提交论文的数量为491篇,而被接受的情况为:15篇oral(3%),183篇poster(%),录用率为40%。ICLR2017收到了507篇论文,其中196篇论文被大会接收,录用率%。今年的论文评审结果也已出炉,提交论文的数量为491篇,而被接受的情况为:15篇oral(3%),183篇poster(%),录用率为40%。2.自然语言处理

传奇按天开地图设置在综合性顶会和深度学习顶会中,也常有华人的论文获奖。其中值得注意的是ICLR2017关于重新思考泛化的最佳论文,该论文非常有影响力,且一作也是华人。最优化方法是标准的学习过程,但泛化与黑箱等问题与学习过程也有很大的关系。例如如何在训练过程中控制模型不产生过拟合,或理解模型的超参数与所学习到的参数等问题都是值得我们关注的话题。在Understandingdeeplearningrequiresrethinkinggeneralization论文中,作者表明传统的泛化思考是将小的泛化误差归结为模型族的特性,或是与训练过程中的正则化技术有关。但这些传统的方法并不能解释大型神经网络在实践中泛化良好的原因,因此作者通过理论构建与实证研究表明只要参数的数量超过了数据点的数量,那么简单的2层深度的神经网络就已经有完美的有限样本表达能力。同样在UnderstandingBlack-boxPredictionsviaInfluenceFunctions论文中,研究者使用了稳健性统计的经典技术影响函数,它可以通过学习算法追踪模型的预测并返回训练数据,因此我们能确定最影响给定预测的训练数据点。他们表示即使在理论失效的非凸和不可微模型下,影响函数的近似依然能提供有价值的信息来理解黑箱模型的预测结果。对于获奖数据集与知识库等内容,在ACorpusofNaturalLanguageforVisualReasoning论文中,研究者提出了一种新的视觉推理语言数据集,包含对合成图像进行自然描述(3962条语句)的对样本。该数据集证明,大多语言学现象都需要视觉和集合论(set-theoretic)推理,因此它在未来的研究当中将是极具竞争力的。YAGO知识库的扩展YAGO2中,研究者表明它从维基百科、GeoNames和WordNet中自动构建而成,涵盖了980万实体的亿事实。人类评估已经确认其中95%的事实属实。下面我们简要介绍这些会议及其今年接收论文的情况。

(编辑:董文博)
中新经纬版权所有,未经书面授权,任何单位及个人不得转载、摘编以其它方式使用。
关注中新经纬微信公众号(微信搜索“中新经纬”或“jwview”),看更多精彩财经资讯。
关于我们  |   About us  |   联系我们  |   广告服务  |   法律声明  |   招聘信息  |   网站地图

本网站所刊载信息,不代表中新经纬观点。 刊用本网站稿件,务经书面授权。

未经授权禁止转载、摘编、复制及建立镜像,违者将依法追究法律责任。

[京ICP备17012796号-1]

违法和不良信息举报电话:18513525309 举报邮箱:zhongxinjingwei@chinanews.com.cn

Copyright ©2017-2019 jwview.com. All Rights Reserved


北京中新经闻信息科技有限公司