你在这里

郭硕鸿讲座(十四)(2019年1月14日 周一 10:00-11:30)

报告人: 
周海军研究员(中国科学院理论物理研究所)
题目: 
单层神经网络中的在线主动学习问题
地点: 
十友堂300
时间: 
2019年1月14日 周一 10:00-11:30

主持人:黄海平 副教授

欢迎广大师生前来参与!

 

【摘要】

  The binary perceptron is the simplest artificial neural network formed by N input units and one output unit, with the neural states and the synaptic weights all being restricted to +/-1 values. The task in the teacher–student scenario is to infer the hidden weight vector by training on a set of labelled patterns. Previous efforts on the passive learning mode have shown that learning from independent random patterns is quite inefficient. Here we consider the active online learning mode in which the student designs every new Ising training pattern. We demonstrate that it is mathematically possible to achieve perfect (error-free) inference using only N designed training patterns, but this is computationally infeasible for large systems. We then investigate two Bayesian statistical designing protocols, which require 2.3 N and 1.8 N training patterns, respectively, to achieve error-free inference. If the training patterns are instead designed through deductive reasoning, perfect inference is achieved using only N+log_2(N) samples. The performance gap between Bayesian and deductive designing strategies may be shortened in future work by taking into account correlations between the synaptic weights. A major source of correlations might be ergodicity breaking of the version space.

 

【报告人介绍】

    周海军研究员1995年毕业于南开大学,2000年获中国科学院理论物理研究所博士学位;2000至2005年在德国马克斯-普朗克胶体与界面研究所从事博士后研究(德国洪堡基金会资助)。2002年获教育部全国优秀博士论文奖;2004年入选中国科学院“百人计划”;2010年获第11届中国青年科技奖;2012年获得国家杰出青年基金资助。

他的研究领域为统计物理及其在复杂系统中的应用,一直在统计物理与复杂系统方向开展理论研究:研究生阶段以单分子生物聚合物结构相变理论为主,博士后阶段关注复杂网络社区结构挖掘和组合优化问题,成立科研团队后则主要研究自旋玻璃平均场理论及其在组合优化问题上的交叉学科应用,近年来进一步将研究拓展到博弈论、统计推断、神经网络和机器学习等问题。共发表八十余篇学术论文和自旋玻璃专著一部。2014年和浙江大学合作者一起发表的关于非合作博弈的非平衡现象的论文被麻省理工技术评论推选为“2014年度最优”以及英国广播电台BBC 推选为2014年度科技亮点,且被国内外媒体广泛好评。

现担任国际期刊《European Physical Journal B》、《Journal of Statistical Mechanics》、《Communications in Theoretical Physics》编辑,担任第25届(2013,韩国)和第26届(2016,法国)国际统计物理大会国际顾问委员会委员,也是中国物理学会“年度秋季会议”的统计物理与复杂系统分会召集人之一。

    周海军研究员还著有《自旋玻璃与消息传递》(科学出版社)一书,是国内唯一一本系统阐述自旋玻璃理论及其应用的研究/教学参考书。