机器学习方向201909192

作者:arXiv Daily / 公众号:arXivDaily 发布时间:2019-09-19

关注即可获取arXiv每日论文自动推送;如果您有任何问题或建议,请公众号留言。[如果您觉得本公众号对你有帮助,就是我们最大的荣幸]今日 cs.LG方向共计74篇文章。
[39]:Simple, Scalable Adaptation for Neural Machine Translation标题:神经机器翻译的简单可扩展自适应作者:Ankur Bapna, Naveen Arivazhagan, Orhan Firat备注:EMNLP 2019链接:https://arxiv.org/abs/1909.08478摘要:微调预训练的神经机器翻译模型是适应新语言和领域的主要方法。然而,微调需要为每个目标任务调整和维护一个单独的模型。我们提出了一个简单而有效的方法来适应非军事训练。我们提出的方法包括将特定于任务的小适配器层注入到预先训练的模型中。这些轻量级适配器只占原始模型大小的一小部分,可以同时使模型适应多个单独的任务。我们在两个任务上评估我们的方法:(i)领域适应和(ii)大规模多语种nmt。域自适应实验表明,我们提出的方法与在不同领域、数据集大小和模型容量上的完全微调相一致。在103种语言的大规模多语言数据集上,我们的自适应方法弥合了单个双语模型与大多数语言对的大规模多语言模型之间的差距,为通用机器翻译铺平了道路。
[40]:Learning from Bandit Feedback: An Overview of the State-of-the-art标题:从强盗的反馈中学习:最新技术综述作者:Olivier Jeunen, Dmytro Mykhaylov, David Rohde, Flavian Vasile, Alexandre Gilotte, Martin Bompaire链接:https://arxiv.org/abs/1909.08471摘要:在机器学习中,我们经常试图优化一个在历史数据集上运行良好的决策规则;这就是所谓的经验风险最小化原则。在从推荐系统日志中学习的背景下,应用这一原则成为一个问题,因为我们没有可用的决策奖励,我们没有做。为了处理这种“强盗反馈”设置,近年来提出了几种反事实风险最小化(crm)方法,试图评估不同策略在历史数据上的性能。通过重要性抽样和各种方差减少技术,这些方法比经典方法更能实现鲁棒的学习和推理。很难准确估计那些频繁执行过去很少执行的操作的策略的性能,并且已经提出了许多不同类型的估计器。在本文中,我们回顾了几种基于不同非策略估计器的学习bandit反馈的方法。我们讨论了现有方法的主要区别和共性,并比较了它们在recogym仿真环境中的经验性能。据我们所知,这项工作是在推荐系统设置中对bandit算法的首次比较研究。
[41]:Musical Instrument Classification via Low-Dimensional Feature Vectors标题:基于低维特征向量的乐器分类作者:Zishuo Zhao, Haoyun Wang链接:https://arxiv.org/abs/1909.08444摘要:音乐是一种神秘的语言,它通过不同的音调和音色传达情感和思想。为了更好地理解音乐中的音色,我们选取了6种有代表性的乐器的音乐数据,分析了它们的音色特征,并对它们进行了分类。与目前黑箱分类的神经网络发展趋势不同,本课题采用mfcc和lpc相结合的方法,通过观察和尝试设计了一个6维特征向量,并对其进行了增强。在我们的白盒模型中,我们观察了区分不同音色的显著声音模式,发现了客观数据和主观感觉之间的某种联系。利用全32维特征向量和朴素全对支持向量机,与单一工具相比,提高了分类精度。我们还尝试分析了从网上下载的音乐作品,找出了不同乐器的不同表现,探讨了原因,并提出了可能的改进方法。
[42]:Deep neural network solution of the electronic Schrödinger equation标题:None作者:Jan Hermann, Zeno Schätzle, Frank Noé链接:https://arxiv.org/abs/1909.08423摘要:电子薛定谔方程描述了分子和材料的基本性质,但对于比氢原子更大的体系,它不能精确求解。量子蒙特卡罗方法是一种适用于高质量近似计算的方法,其精度原则上仅受所用波函数ansatz的灵活性的限制。在这里我们发展了一个深学习波函数ansatz,称为paulinet,它以hartree-fock解为基线,结合有效波函数的物理性质,并使用变分量子monte carlo(vmc)进行训练。对于原子、双原子分子和强相关氢链,我们的深度学习方法比同类最先进的vmc方法具有更高的精度。我们期望这种方法能够揭示新的物理见解,并为需要高精度量子力学解的分子和材料的设计提供指导,例如在过渡金属和其他强相关系统中。
[43]:Enriching BERT with Knowledge Graph Embeddings for Document Classification标题:用知识图嵌入丰富bert进行文档分类作者:Malte Ostendorff, Peter Bourgonje, Maria Berger, Julian Moreno-Schneider, Georg Rehm, Bela Gipp链接:https://arxiv.org/abs/1909.08402摘要:在这篇文章中,我们关注的是使用简短的描述性文本(封面简介)和附加的元数据对书籍进行分类。在深度神经语言模型bert的基础上,我们演示了如何将文本表示与元数据和知识图嵌入相结合,对作者信息进行编码。与标准的bert方法相比,我们在分类任务上获得了更好的结果。对于使用8个标签的更粗粒度的分类,我们的F1分数为87.20,而使用343个标签的详细分类,F1分数为64.70。我们公开实验的源代码和训练模型
[44]:DeepGait: Planning and Control of Quadrupedal Gaits using Deep Reinforcement Learning标题:深度步态:基于深度强化学习的四足步态规划与控制作者:Vassilios Tsounis, Mitja Alge, Joonho Lee, Farbod Farshidian, Marco Hutter备注:Submitted IEEE Robotics and Automation Letters (RA-L) and IEEE International Conference on Robotics and Automation (ICRA) 2020 in Paris, France链接:https://arxiv.org/abs/1909.08399摘要:本文研究了非平坦地形中的腿式运动问题。由于四足机器人等腿形机器人将被部署在难以建模和预测的地形中,因此有必要使它们具备很好地推广到不可预见情况的能力。在这项工作中,我们提出了一种新的训练地形感知运动神经网络策略的技术,它结合了基于模型的运动规划和强化学习的最新方法。我们的方法是以建立马尔可夫决策过程为中心,使用动态可行性评估准则代替物理模拟。因此,我们使用策略梯度方法来独立地训练策略,这些策略分别使用本体感知和外部感知测量在三维环境中规划和执行立足点和基础运动。我们将我们的方法应用于一组具有挑战性的模拟地形场景中,这些场景包含窄桥、间隙和踏脚石等特征,以及在所有情况下都能有效地移动的列车策略。
[45]:RUN-CSP: Unsupervised Learning of Message Passing Networks for Binary Constraint Satisfaction Problems标题:run-csp:二元约束满足问题消息传递网络的无监督学习作者:Jan Toenshoff, Martin Ritzert, Hinrikus Wolf, Martin Grohe链接:https://arxiv.org/abs/1909.08387摘要:约束满足问题是一类重要的组合搜索优化问题,在人工智能等领域有着广泛的应用。我们引入一种递归神经网络结构run-csp(约束满足问题的递归无监督神经网络)来训练求解二元约束满足问题(csp)或其优化版本(max-csp)的消息传递网络。该体系结构是通用的,因为它适用于所有二进制csp:根据约束语言,我们可以自动设计一个损失函数,然后用于训练通用神经网络。本文对3-可色性问题(3-col)及其优化版本(max-3-col)和最大2-可满足性问题(max-2-sat)进行了实验评价。我们还将该框架扩展到相关优化问题,如最大独立集问题(max-is)。训练是无监督的,我们训练网络上任意(未标记)的问题实例。此外,我们的实验表明,在相对较小的实例上进行训练就足够了;由此产生的消息传递网络将在更大的实例(至少是10倍大)上运行良好。
[46]:Intelligent Active Queue Management Using Explicit Congestion Notification标题:使用显式拥塞通知的智能主动队列管理作者:Cesar A. Gomez, Xianbin Wang, Abdallah Shami备注:To be presented at the IEEE Global Communications Conference -GLOBECOM- 2019链接:https://arxiv.org/abs/1909.08386摘要:随着越来越多的终端设备连接起来,互联网将变得更加拥挤。无论是在传输层还是在网络层,各种拥塞控制技术都得到了发展。主动队列管理(active queue management,aqm)是一种通过主动缓冲区控制来减少网络层拥塞以避免溢出的模式。然而,由于网络的复杂性和动态性,为aqm方案寻找合适的参数是一个挑战。另一方面,显式拥塞通知(ecn)机制是一种将网络层上的初始拥塞显示给传输层的解决方案。在这项工作中,我们建议利用ecn信息,应用机器学习技术来改进aqm算法。我们的智能方法使用人工神经网络预测拥塞,并使用基于强化学习的aqm参数调谐器。评估结果表明,我们的解决方案可以利用现有的tcp拥塞控制机制,提高部署aqm的性能。
[47]:A Lexical, Syntactic, and Semantic Perspective for Understanding Style in Text标题:从词汇、句法和语义的角度理解语篇风格作者:Gaurav Verma, Balaji Vasan Srinivasan链接:https://arxiv.org/abs/1909.08349摘要:随着人们对自然语言内在主观性建模的兴趣日益浓厚,我们提出了一个从词汇、句法和语义三个角度理解和分析个人写作风格的语言驱动过程。我们讨论每一个层次中的文体表达元素,并使用现有的方法量化与这些元素相关的语言直觉。我们表明,这种多层次的分析有助于形成对风格的深入理解,而风格的理解与手头的自然语言任务无关,同时也证明了它在解决三个下游任务上的价值:作者的风格分析、作者的归因、作者的风格分析、作者的风格分析、作者的风格分析、作者的风格分析、作者的风格分析、作者的风格分析、作者的风格分析、作者的风格分析和风格分析。以及情感预测。我们对各种数据集进行实验,包括来自社交网站、用户评论、法律文件、文学书籍和新闻专线的文本。上述任务和数据集的结果表明,这种对风格的多层次理解,在最近的工作中基本上被忽略了,在文本中建立与风格相关的主观性模型,并能在定性和定量上提高多个下游任务的绩效。
[48]:Bayesian Strategies for Likelihood Ratio Computation in Forensic Voice Comparison with Automatic Systems标题:法医语音自动比对似然比计算的贝叶斯策略作者:Daniel Ramos, Juan Maroñas, Alicia Lozano-Diez链接:https://arxiv.org/abs/1909.08315摘要:本文探讨了法庭语音比较(fvc)的几种策略,旨在提高lrs在对lr模型使用生成高斯分数时的性能。首先,提出了不同的锚定策略,目的是使lr计算过程适应当前情况,始终尊重为特定情况定义的命题。其次,采用完全贝叶斯高斯模型来处理训练分数的稀疏性,这种稀疏性通常出现在所提出的锚定策略中。实验使用2014 i-vector challenge设置进行,该设置在电话语音上下文中呈现高度可变性。结果表明,提出的完全贝叶斯模型明显优于更常见的最大似然方法,当训练模型的分数变得稀疏时,具有很高的鲁棒性。
[49]:NatCSNN: A Convolutional Spiking Neural Network for recognition of objects extracted from natural images标题:基于卷积尖峰神经网络的自然图像目标识别作者:Pedro Machado, Georgina Cosma, T.M McGinnity备注:12 pages链接:https://arxiv.org/abs/1909.08288摘要:生物图像处理是由数千个神经元通过数千个突触相互连接而成的复杂神经网络完成的,其中一些是兴奋性的,另一些是抑制性的。尖峰神经模型与经典神经元的区别在于其生物学上的合理性和表现出与生物神经元相同的动力学。提出了一种自然卷积神经网络(natcsnn),它是一种三层生物激励卷积尖峰神经网络(csnn),用于对自然图像中提取的目标进行分类。提出了一种基于无监督尖峰时间相关可塑性(stdp)学习(第1阶段)和恢复监督学习(第2阶段)的两阶段训练算法。在cifar-10数据集上对natcsnn进行了训练和测试,平均测试精度达到84.7%,比以前应用于该数据集的两层神经网络有了很大的提高。
[50]:Towards Ethical Machines Via Logic Programming标题:从逻辑程序设计看伦理机器作者:Abeer Dyoub, Stefania Costantini, Francesca A. Lisi备注:In Proceedings ICLP 2019,arXiv:1909.07646链接:https://arxiv.org/abs/1909.08255摘要:自主智能体在我们的生活中扮演着越来越重要的角色。它们包含关于我们的信息,并开始执行我们行为的任务。聊天机器人就是这样一个需要与人类进行复杂对话的代理的例子。因此,我们需要确保他们的行为合乎道德。在这项工作中,我们提出了一种基于混合逻辑的伦理聊天机器人方法。
[51]:BigData Applications from Graph Analytics to Machine Learning by Aggregates in Recursion标题:从图形分析到递归聚合机器学习的bigdata应用作者:Ariyam Das, Youfu Li, Jin Wang, Mingda Li, Carlo Zaniolo备注:In Proceedings ICLP 2019,arXiv:1909.07646. Paper presented at the 35th International Conference on Logic Programming (ICLP 2019), Las Cruces, New Mexico, USA, 20-25 September 2019, 7 pages (short paper - applications track)链接:https://arxiv.org/abs/1909.08249摘要:在过去,由于聚合的非单调性而引起的语义问题常常阻碍了它们在逻辑程序和演绎数据库的递归语句中的使用。然而,最近引入的预映射性(pre-mappability,prem)概念已经表明,在感兴趣的关键应用中,聚合可以用于递归以优化聚合分层程序的完美模型语义。因此,我们可以保留这些程序的声明形式语义,同时实现高效的操作语义,这有助于在并行和分布式平台上实现可伸缩性。在这篇文章中,我们证明了在prem中,一系列具有实际意义的经典算法,从图形分析和基于动态编程的优化问题到数据挖掘和机器学习应用,都可以通过递归中的聚合用声明式语言简洁地表示。我们的例子还表明,prem可以使用简单的技术和模板化的验证策略进行检查。现在,一系列高级bigdata应用程序可以用基于逻辑的语言(包括datalog、prolog,甚至sql)声明性地表示,同时使它们能够以优异的性能和可伸缩性执行。
[52]:CrackGAN: A Labor-Light Crack Detection Approach Using Industrial Pavement Images Based on Generative Adversarial Learning标题:crackgan:一种基于生成性对抗学习的基于工业路面图像的劳动轻裂纹检测方法作者:Kaige Zhang, Yingtao Zhang, Heng-Da Cheng链接:https://arxiv.org/abs/1909.08216摘要:全卷积网络是一种有效的逐像素语义分割/检测工具。然而,在利用工业路面图像进行裂缝检测时,存在一个问题:网络很容易“收敛”到将所有像素作为背景(bg)的状态,并且仍然获得很好的损失,即“全黑”现象。由于数据不平衡和无法获得准确的地面实况(GTS)。为了解决这个问题,我们引入了crack patch only(cpo)监控和生成性对抗学习,用于端到端的训练。这迫使网络总是产生裂纹gt图像,同时保留裂纹和bg图像的翻译能力,通过将较大尺寸的裂纹图像输入不对称的u形生成器来克服“全黑”问题。利用4个裂纹数据集验证了该方法的有效性,并在效率和精度上与最近发表的文献进行了比较,取得了最新的性能。
[53]:Two Computational Models for Analyzing Political Attention in Social Media标题:分析社交媒体中政治注意的两种计算模型作者:Libby Hemphill, Angela M. Schöpke-Gonzalez备注:Accepted for publication in the International AAAI Conference on Web and Social Media (ICWSM 2020)链接:https://arxiv.org/abs/1909.08189摘要:了解政治注意力是如何划分的,以及对于议程设置、框架和政治修辞等领域的研究而言,哪些主题至关重要。现有的注意力测量方法,如根据已建立的代码手册进行人工标注,成本高昂,而且可能具有限制性。我们描述了两个自动区分政客社交媒体内容主题的计算模型。我们的模型——一个有监督的分类器和一个无监督的主题模型——提供了不同的好处。监督分类器减少了根据预先确定的主题列表对内容进行分类所需的工作量。然而,推特不仅仅是传达政策立场。我们的无监督模型揭示了政治话题和Twitter的其他用途(例如,组成服务)。这些模型是政治传播和社会媒体研究的有效、廉价的计算工具。我们通过将这两个模型应用到第115届美国国会议员发布的推文中,展示它们的实用性,并讨论它们能提供的不同分析。
[54]:Fiber Nonlinearity Mitigation via the Parzen Window Classifier for Dispersion Managed and Unmanaged Links标题:基于parzen窗口分类器的色散管理和非管理链路光纤非线性抑制作者:Abdelkerim Amari, Xiang Lin, Octavia A. Dobre, Ramachandran Venkatesan, Alex Alvarado备注:4 pages, 6 figures链接:https://arxiv.org/abs/1909.08188摘要:近年来,机器学习技术作为解决光信道损伤,特别是非线性效应的有效方法受到了广泛的关注。在这项工作中,一种基于机器学习的分类技术,被称为parzen窗口(pw)分类器,用于减轻光信道中的非线性效应。采用pw分类器作为检测器,改进了非线性判决边界,使之更适合于非线性光纤信道。在分散管理和分散非管理系统中应用pw时,可以观察到性能的提高。
[55]:Learned-SBL: A Deep Learning Architecture for Sparse Signal Recovery标题:学习型sbl:一种用于稀疏信号恢复的深度学习体系结构作者:Rubin Jose Peter, Chandra R. Murthy备注:13 pages, 22 figures链接:https://arxiv.org/abs/1909.08185摘要:本文提出了一种基于深度神经网络(dnn)的稀疏信号恢复算法。所提出的神经网络的结构是从稀疏贝叶斯学习(sbl)中得到启发,命名为学习sbl(l-sbl)。根据训练数据的性质,我们设计了一个通用的结构来从单个测量向量(smv)或多个测量向量(mmv)中恢复稀疏和块稀疏向量。在mmv模型中,l-sbl网络可以学习向量之间的任何潜在稀疏模式,包括联合稀疏、块稀疏等。特别是对于块稀疏恢复,学习的sbl不需要任何块边界的先验知识。在l-sbl的每一层中,作为神经网络的输出,得到信号协方差矩阵的估计。然后利用不可训练参数实现未知稀疏向量的最大后验估计。在许多应用中,测量矩阵可能是时变的。现有的基于dnn的稀疏信号恢复方案要求使用电流测量矩阵对神经网络进行再训练。l-sbl的体系结构允许它接受测量矩阵作为网络的输入,从而避免了重新训练的需要。我们还评估了学习的sbl在使用多输入多输出(mimo)雷达检测扩展目标时的性能。仿真结果表明,与现有方法相比,该方法具有更好的稀疏恢复性能。
[56]:Gate Decorator: Global Filter Pruning Method for Accelerating Deep Convolutional Neural Networks标题:门装饰器:加速深卷积神经网络的全局滤波器剪枝方法作者:Zhonghui You, Kun Yan, Jinmian Ye, Meng Ma, Ping Wang备注:Accepted by NeurIPS'19链接:https://arxiv.org/abs/1909.08174摘要:滤波器剪枝是加速和压缩卷积神经网络的最有效方法之一。在这项工作中,我们提出了一种称为gate decorator的全局滤波器剪枝算法,该算法通过将一个普通cnn模块的输出乘以信道尺度因子(即gate)来对其进行变换。当比例因子设置为零时,它相当于删除相应的过滤器。我们使用泰勒展开来估计因将比例因子设为零而引起的损失函数的变化,并使用该估计来进行全局滤波器重要性排序。然后我们通过删除那些不重要的过滤器来修剪网络。在剪枝之后,我们将所有的缩放因子合并到它的原始模块中,因此不引入特殊的操作或结构。此外,为了提高剪枝精度,我们提出了一个迭代剪枝框架tick-tock。大量的实验证明了我们方法的有效性。例如,我们在resnet-56上通过减少70%的浮点运算而没有明显的精度损失,从而达到了最新的修剪率。对于imagenet上的resnet-50,我们的剪枝模型减少了40%的flops,在最高精度上比基线模型提高了0.31%。使用了各种数据集,包括cifar-10、cifar-100、cub-200、imagenet ilsvrc-12和pascal voc 2011。代码可在此http url中找到
[57]:Identity-Aware Deep Face Hallucination via Adversarial Face Verification标题:对抗性面孔验证中的身份感知深度面孔幻觉作者:Hadi Kazemi, Fariborz Taherkhani, Nasser M. Nasrabadi备注:BTAS 2019链接:https://arxiv.org/abs/1909.08130摘要:本文提出了一种用于人脸验证的多尺度生成对抗网络(gan)结构。首先,我们提出了一个高比例因子的多尺度脸幻觉发生器结构,它在不同分辨率下有多个中间输出。中间输出的增长目标是合成小到大的图像。其次,我们将人脸验证器与原始的gan鉴别器相结合,提出了一种新的鉴别器,该鉴别器在识别假生成的hr人脸图像和它们的地面真实图像的同时,能够识别不同的身份。特别地,学习生成器不仅关心幻觉人脸图像的视觉质量,而且还保留了幻觉过程中的辨别特征。此外,为了捕捉知觉相关的差异,我们采用知觉相似性损失,而不是像素空间的相似性。我们对lfw和celeba数据集的框架进行了定量和定性评估。实验结果表明,与现有方法相比,该方法在8x下采样测试数据集上具有明显的优势。
[58]:Spherical View Synthesis for Self-Supervised 360 Depth Estimation标题:自监督360度深度估计的球面综合法作者:Nikolaos Zioulis, Antonis Karakottas, Dimitrios Zarpalas, Federico Alvarez, Petros Daras备注:3DV19, code and data atthis https URL链接:https://arxiv.org/abs/1909.08112摘要:基于学习的深度感知方法受到干净训练数据的限制。这就导致了利用视图综合作为间接目标,利用有效的数据采集程序进行学习深度估计。尽管如此,大多数研究都集中在基于针孔的单目视觉上,很少有人提出全向输入的结果。在这项工作中,我们探索了一种自监督学习单眼360度深度的球面视图合成方法,并证明了其可行性。在纯几何推导公式下,我们给出了水平和垂直基线以及三目情况下的结果。此外,我们还展示了如何更好地利用传统cnn在等矩形域中的表现力。最后,考虑到地面真实深度数据的可用性,我们的工作具有独特的地位,可以以一致和公平的方式比较视图合成和直接监督。结果表明,其他研究方向可能更适合于实现更高质量的深度感知。我们的数据、模型和代码在这个https url中公开。
[59]:Split Deep Q-Learning for Robust Object Singulation标题:基于分裂深度q学习的鲁棒目标识别作者:Iason Sarantopoulos, Marios Kiatos, Zoe Doulgeri, Sotiris Malassiotis备注:Submitted to 2020 International Conference on Robotics and Automation (ICRA)链接:https://arxiv.org/abs/1909.08105摘要:在杂乱的环境中,从一堆其他物体中提取已知的目标物体是许多机器人应用中遇到的一项具有挑战性的机器人操作任务。在这种情况下,目标物体接触或被相邻障碍物覆盖,使得传统的抓取技术失效。本文提出了一种推送策略,通过相邻目标和目标目标的横向推送运动,将目标从周围杂波中分离出来,直至获得足够的“抓取空间”。为了达到上述目标,我们采用强化学习,特别是深度q学习(dqn)通过反复试验来学习最优的推送策略。为了提高算法的学习速度和模块化程度,提出了一种新的分裂dqn算法。实验表明,虽然学习是在模拟环境中进行的,但由于鲁棒的特征选择和学习,将学习到的策略转移到真实环境中是有效的。最后,我们证明算法的模块性允许添加额外的原语,而无需从头开始重新训练模型。
[60]:Ensemble Knowledge Distillation for Learning Improved and Efficient Networks标题:集成知识蒸馏用于学习改进的高效网络作者:Umar Asif, Jianbin Tang, Stefan Harrer链接:https://arxiv.org/abs/1909.08097摘要:由深卷积神经网络(cnn)组成的集成模型在模型泛化方面有了显著的改进,但代价是需要大量的计算和内存。%本文提出了一种改进分类性能和模型泛化的cnn模型学习框架。为此,我们提出了一个具有并行分支的紧凑型学生模型的cnn结构,该模型以集成学习的方式使用地面真值标签和来自大容量教师网络的信息进行训练。我们的框架提供了两个主要的好处:一)将不同教师的知识提取到学生网络中,促进了学生网络不同分支的特征学习的异质性,并使网络能够学习针对目标问题的不同解决方案。ii)通过合集耦合学生网络的分支鼓励协作,并通过减少网络输出的方差来提高最终预测的质量。%在已建立的cifar-10和cifar-100数据集上的实验表明,我们的集成知识蒸馏(ekd)提高了分类精度和模型泛化能力,特别是在训练数据有限的情况下。实验还表明,与目前最先进的基于知识蒸馏的方法相比,我们基于ekd的紧凑型网络在测试数据集的平均精度方面表现得更好。
[61]:Q-Learning Based Aerial Base Station Placement for Fairness Enhancement in Mobile Networks标题:基于q-learning的移动网络中公平性增强的天线基站布局作者:Rozhina Ghanavi, Maryam Sabbaghian, Halim Yanikomeroglu备注:Accepted in IEEE GlobalSIP 2019链接:https://arxiv.org/abs/1909.08093摘要:在本文中,我们使用一个天线基站(天线基站)来增强用户移动性的动态环境中的公平性。天线基站的最优配置问题是一个不确定的多项式时间困难(np-hard)问题。此外,由于用户的移动性,网络拓扑结构会不断变化。这些问题加强了开发一种自适应快速算法用于空中基站三维布局的探索。为此,我们提出了一种基于强化学习的方法来实现这些目标。仿真结果表明,该方法在合理的计算时间内提高了用户间的公平性,而解与穷举搜索得到的最优解比较接近。
[62]:Relaxed Softmax for learning from Positive and Unlabeled data标题:用于从正数据和未标记数据中学习的宽松softmax作者:Ugo Tanielian, Flavian Vasile备注:9 pages, 5 figures, 2 tables, published at RecSys 2019链接:https://arxiv.org/abs/1909.08079摘要:近年来,软极大值模型及其快速逼近已成为深部神经网络处理多类预测时的实际损失函数。这一损失已经扩展到语言建模和推荐,这两个领域属于从正数据和未标记数据中学习的框架。在这篇文章中,我们强调了当前的SoftMax损耗和采样方案家族在应用于正学习和无标记学习设置时的不同缺点。提出了一种基于boltzmann公式的松弛软最大损耗(rs)和一种新的负采样方案。结果表明,新的训练目标在文本数据集和推荐数据集上的性能相对于经典的softmax算法有较大的提高,更适合于密度估计、项目相似度和下一事件预测等任务。
[63]:HyMER: A Hybrid Machine Learning Framework for Energy Efficient Routing in SDN标题:hymer:一种用于sdn节能路由的混合机器学习框架作者:Beakal Gizachew Assefa, Oznur Ozkasap备注:Single column 27 pages, 15 figures, 9 tables链接:https://arxiv.org/abs/1909.08074摘要:结合sdn网络的可编程性和机器学习发现模式的能力,在安全性、流量分类、qos预测和网络性能等方面得到了广泛的应用,引起了研究者的关注。在这项工作中,我们提出了一个新的混合机器学习架构hymer:一个新的混合机器学习架构,用于sdn中的流量感知节能路由,该架构包含监督和强化学习组件。监督学习组件包括特征提取、训练和测试。强化学习组件通过与网络环境迭代交互从现有数据或从头开始学习。该框架是在pox控制器上开发的,并在mininet上使用abiline、geant和nobel-germany的实际拓扑和动态流量跟踪进行评估。实验结果表明,该监督分量的特征尺寸缩减率高达70%,参数预测精度达80%以上。与蛮力法相比,改进的启发式算法以14倍到25倍的速度将预测精度提高到100%。强化学习模块从100次迭代收敛到275次迭代,如果应用在监督组件的顶部,则收敛速度会加快两倍。此外,Hymer每交换机可节省10瓦的功率,30%的链路节省,平均路径长度减少2跳。
[64]:Big Data Analytics for Large Scale Wireless Networks: Challenges and Opportunities标题:大规模无线网络的大数据分析:挑战与机遇作者:Hong-Ning Dai, Raymond Chi-Wing Wong, Hao Wang, Zibin Zheng, Athanasios V. Vasilakos备注:29 pages, 14 figures, 8 tables链接:https://arxiv.org/abs/1909.08069摘要:各种无线通信系统和无线设备的广泛普及,导致了大规模无线网络大数据时代的到来。大规模无线网络中的大数据具有多样性、大容量、实时性和巨大的价值等关键特性,这给现有的计算系统带来了不同于现有计算系统的独特研究挑战。本文综述了大规模无线网络大数据分析(bda)方法的研究现状。特别是,我们将bda的生命周期划分为四个连续的阶段:数据采集、数据预处理、数据存储和数据分析。然后,根据bda生命周期的各个阶段,详细介绍了解决大规模无线网络bda挑战的技术方案。此外,我们还讨论了开放性研究问题,并概述了这一有希望领域的未来方向。
[65]:A scalable noisy speech dataset and online subjective test framework标题:一种可扩展的噪声语音数据集及在线主观测试框架作者:Chandan K. A. Reddy, Ebrahim Beyrami, Jamie Pool, Ross Cutler, Sriram Srinivasan, Johannes Gehrke备注:InterSpeech 2019链接:https://arxiv.org/abs/1909.08050摘要:背景噪声是影响网络语音协议(voip)和公共交换电话网(pstn)通话质量的主要因素。最近的研究表明了深度学习对噪声抑制的有效性,但与其他领域(如imagenet)相比,数据集相对较小,相关的评价也更加集中。为了更好地促进语音增强中的深入学习研究,我们提出了一个噪声语音数据集(MS-SNSD),它可以根据所需的扬声器数量、噪声类型和语音噪声比(SNR)水平缩放到任意大小。结果表明,增加数据集大小可以提高噪声抑制性能。此外,我们还提供了一种开源的评估方法,利用众包技术对结果进行主观评估,并使用参考算法对结果进行规范化。为了演示数据集和评估框架,我们将其应用于多个噪声抑制器,并将主观平均意见得分(mos)与客观质量度量(如snr、pesq、polqa和visqol)进行比较,说明为什么仍然需要mos。我们的主观mos评估是我们所知的第一个大规模的语音增强算法评估。
[66]:Masked-RPCA: Sparse and Low-rank Decomposition Under Overlaying Model and Application to Moving Object Detection标题:掩模rpca:覆盖模型下的稀疏低阶分解及其在运动目标检测中的应用作者:Amirhossein Khalilian-Gourtani, Shervin Minaee, Yao Wang链接:https://arxiv.org/abs/1909.08049摘要:在视频监控系统等计算机视觉应用中,前景检测是一个关键步骤。鲁棒主成分分析(rpca)在背景平稳、前景动态且相对较小的情况下,进行低秩稀疏分解,完成这一任务。rpca的一个基本问题是假设在每个元素上添加低秩和稀疏分量,而实际上,移动前景覆盖在背景上。我们提出了一种通过掩蔽分解(即一个覆盖模型)来表示的方法,其中每个元素要么属于低秩,要么属于由掩蔽决定的稀疏分量。利用线性化和交替方向技术,提出了同时恢复掩模和低阶分量的掩模rpca算法。我们进一步扩展我们的公式,使其对背景中的动态变化具有鲁棒性,并在前景组件中实施空间连接。我们的研究表明,与其他框架得到的稀疏分量的后处理相比,检测到的掩模有了显著的改进。
[67]:Revealing the Importance of Semantic Retrieval for Machine Reading at Scale标题:揭示语义检索在大规模机器阅读中的重要性作者:Yixin Nie, Songhe Wang, Mohit Bansal备注:14 pages (EMNLP 2019)链接:https://arxiv.org/abs/1909.08041摘要:大规模机器阅读(mrs)是一项具有挑战性的任务,在该任务中,系统被赋予一个输入查询,并被要求通过“读取”来自大型知识库的信息来产生精确的输出。这项任务以其信息检索(ir)和机器理解(mc)的自然结合而广受欢迎。表征学习的发展导致了ir和mc的分离发展;然而,很少有研究考察了不同粒度的检索和理解的关系和组合设计,以开发mrs系统。在这项工作中,我们提出了一个简单而有效的流水线系统,特别考虑了段落和句子层次语义检索及其对下游任务的潜在影响,从而给出了mrs系统设计的一般指导原则。该系统在事实验证和开放域多跳质量保证两个方面进行了评估,在fever和hotpotqa的排行榜测试集上都取得了最新的结果。为了进一步证明语义检索的重要性,我们提出了消融和分析研究,以量化神经检索模块在段落和句子两个层面上的贡献,并说明了中间语义检索模块不仅对有效过滤上游信息,节省下游计算量,而且对形成上游数据分布,为下游建模提供更好的数据具有重要意义。公开的代码/数据位于:此https url
[68]:Heterogeneity-Aware Asynchronous Decentralized Training标题:异构感知异步分散训练作者:Qinyi Luo, Jiaao He, Youwei Zhuo, Xuehai Qian链接:https://arxiv.org/abs/1909.08029摘要:分布式深度学习训练由于其在同构环境下的高性能,通常采用all-reduce作为数据并行算法的同步机制。但是,它的性能受所有工作人员中工作速度最慢的工作人员的限制,并且在异构情况下明显较慢。AD-PSGD是一种新提出的同步方法,具有数值快速收敛和抗异质性,但存在死锁问题和高同步开销。是否有可能做到两全其美——设计一种既能在同质环境下降低所有性能,又能像AD-PSGD一样具有良好的异质性容忍度的分布式训练方法?本文提出了一种高性能异构感知异步分散训练方法Ripples。我们通过强化同步优化来实现上述目标,强调算法和系统实现之间的相互作用。为了降低同步成本,我们提出了一种新的通信原语部分全归约,它允许大量的工作人员快速同步。为了减少同步冲突,我们提出了同构环境下的静态组调度和简单的技术(组缓冲区和组划分),以避免随机性稍有降低的冲突。实验表明,在均匀环境下,涟漪比目前最先进的ALL REDUCT实现速度快1.1倍,比参数服务器快5.1倍,比AD-PSGD快4.3倍。在异构设置中,Ripples显示的加速比All Reduce快2倍,但仍比参数服务器基线快3倍。
[69]:Cardiac MRI Image Segmentation for Left Ventricle and Right Ventricle using Deep Learning标题:基于深度学习的左、右心室mri图像分割作者:Bosung Seo, Daniel Mariano, John Beckfield, Vinay Madenur, Yuming Hu, Tony Reina, Marcus Bobar, Mai H. Nguyen, Ilkay Altintas链接:https://arxiv.org/abs/1909.08028摘要:该项目的目标是使用磁共振成像(mri)数据为左心室和右心室(lv和rv)分割提供端到端的分析管道。该项目的另一个目标是找到一个可在医学成像数据集中推广的模型。我们使用了各种模型、数据集和测试来确定哪一个非常适合这个目的。具体来说,我们实现了三个模型(二维u-net、三维u-net和densenet),并在四个数据集(自动心脏诊断挑战、miccai 2009 lv、sunnybrook心脏数据、miccai 2012 rv)上对它们进行了评估。在保持一致的预处理策略的同时,我们测试了在与测试数据来自同一数据集的数据上训练以及在与测试数据来自不同数据集的数据上训练时每个模型的性能。数据增强也被用来提高模型的适应性。将结果进行比较,以确定性能和可推广性。
[70]:Properties of Laplacian Pyramids for Extension and Denoising标题:拉普拉斯金字塔的扩展与去噪特性作者:William Leeb链接:https://arxiv.org/abs/1909.07974摘要:分析了rabin和coifman的laplacian金字塔算法对离散点集上采样函数的扩展和去噪。给出了算法收敛的条件,并证明了扩展函数的稳定性界。我们还考虑了截断拉普拉斯金字塔核在非局部均值去噪信号中的迭代应用。
[71]:A Data-Center FPGA Acceleration Platform for Convolutional Neural Networks标题:卷积神经网络数据中心fpga加速平台作者:Xiaoyu Yu, Yuwei Wang, Jie Miao, Ephrem Wu, Heng Zhang, Yu Meng, Bo Zhang, Biao Min, Dewei Chen, Jianlin Gao链接:https://arxiv.org/abs/1909.07973摘要:密集型计算正以多种深度学习工作负载进入数据中心。为了平衡计算效率、性能和总体拥有成本(tco),使用可重构逻辑的现场可编程门阵列(fpga)提供了可接受的加速能力,并与云中各种计算敏感任务兼容。在本文中,我们开发了一个利用通用卷积神经网络(cnn)推理加速的统一框架架构的fpga加速平台。为了克服计算量的限制,4096个dsp被组装成不同类型卷积的超片单元(sus),在500mhz下提供高达4.2top/s 16位定点性能。提出了交叉任务调度方法,将计算映射到sus上,并通过调度集合缓冲模型和广播缓存解决了内存限制问题。针对各种非卷积算子,设计了一种通用类滤波器/点式滤波器处理单元。实验中比较了cnn模型在服务器级cpu、gpu和fpga上的性能。结果表明,我们的设计达到了与数据中心最先进的gpu相同的峰值性能和吞吐率,并且延迟降低了50倍以上。
[72]:A Joint Learning and Communications Framework for Federated Learning over Wireless Networks标题:基于无线网络的联合学习与通信框架作者:Mingzhe Chen, Zhaohui Yang, Walid Saad, Changchuan Yin, H. Vincent Poor, Shuguang Cui链接:https://arxiv.org/abs/1909.07972摘要:本文研究了在现实无线网络上训练联邦学习(fl)算法的问题。特别是,在所考虑的模型中,无线用户执行fl算法,同时使用自己的数据训练本地fl模型,并将训练的本地fl模型发送到基站(bs),基站(bs)将生成全局fl模型并将其发送回用户。由于所有的训练参数都是通过无线链路传输的,因此训练的质量将受到无线因素的影响,例如分组错误和无线资源的可用性。同时,由于无线带宽的限制,基站必须选择合适的用户子集来执行fl算法,才能准确地建立全局fl模型。该联合学习、无线资源分配和用户选择问题被描述为一个优化问题,其目标是最小化捕获fl算法性能的fl损失函数。为了解决这个问题,首先推导了fl算法的期望收敛速度的封闭表达式,量化了无线因素对fl的影响,然后根据fl算法的期望收敛速度,得到了每个用户的最优发射功率。在给定的用户选择和上行链路资源块(rb)分配方案下。最后,对用户选择和上行rb分配进行了优化,以最小化fl损耗函数。仿真结果表明,提出的联合联邦学习与通信框架能分别将fl损失函数值降低10%和16%。比较了:1)具有随机资源分配的最优用户选择算法和2)具有随机用户选择和资源分配的标准fl算法。
[73]:Statistical and Machine Learning-based Decision Techniques for Physical Layer Authentication标题:基于统计和机器学习的物理层认证决策技术作者:Linda Senigagliesi, Marco Baldi, Ennio Gambi备注:To be presented at IEEE Globecom 2019链接:https://arxiv.org/abs/1909.07969摘要:本文在考虑接收端部分信道状态信息(csi)和无信道状态信息(csi)的情况下,评估了无密钥物理层认证方案在时变衰落信道下的安全性能。本文首先对已有的一种适用于平坦衰落信道的协议进行了推广,并研究了不同的统计决策方法和相应的最优攻击策略,以提高认证性能。然后,我们考虑了机器学习技术在同一环境下的应用,开发了不同的一类最近邻(ocnn)分类算法。我们观察到,在相同的虚警概率下,当主信道和敌方信道之间存在较低的空间相关性时,一类分类(occ)算法的漏检概率最低,而当主信道和敌方信道之间存在较低的空间相关性时,统计方法的优势在于两个通道之间的相关性更高。
[74]:Representational Distance Learning for Deep Neural Networks标题:深神经网络的代表性远程学习作者:Patrick McClure, Nikolaus Kriegeskorte链接:https://arxiv.org/abs/1511.03979摘要:深度神经网络(dnns)为视觉表征转换提供了有用的模型。我们提出一种方法,使dnn(学生)能够从参考模型(教师)的内部表征空间学习,参考模型可以是另一个dnn,或者在未来是一个生物大脑。学生和教师的表征空间以表征距离矩阵(rdms)为特征。我们提出了代表性远程学习(rdl),这是一种随机梯度下降的方法,它驱使学生的rdms接近教师的rdms。我们证明,rdl在两个公开的基准计算机视觉数据集(mnist和cifar-100)上与其他迁移学习技术相比具有竞争力,同时考虑到学生和教师之间的架构差异。通过将学生的rdm拉向教师的rdm,与不使用迁移学习的基线网络相比,rdl显著提高了视觉分类性能。在未来,rdl可以利用任务约束(如图像和类别标签)和脑活动测量的约束,实现深层神经网络的联合监督训练,从而建立复制生物大脑内部表征空间的模型。
中文来自机器翻译,仅供参考。
扫描二维码
获取更多精彩
arXiv Daily
欢迎关注、转发、点击在看

关注arXiv Daily微信公众号,获取更多图文精彩内容


其他栏目