安防峰会
雷锋网AI研习社 AI投研邦 活动 专题 爱搞机
业界人工智能 学术 开发者 智能驾驶 新智驾TV AI+金融科技未来医疗网络安全智慧城市 智慧安防 智慧教育 智慧交通 智慧社区 智慧零售 智慧政务 机器人行业云智能硬件物联网GAIR
人工智能开发者正文
0
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
本文作者：汪思颖 2017-11-14 16:59
导语：伴随着最近几年的机器学习热潮，迁移学习也成为目前最炙手可热的研究方向。
雷锋网 AI科技评论按，伴随着最近几年的机器学习热潮，迁移学习 (Transfer Learning)也成为目前最炙手可热的研究方向。迁移学习强调通过不同领域之间的知识迁移，来完成传统机器学习较难完成的任务。它是解决标定数据难获取这一基础问题的重要手段，也是未来更好地研究无监督学习的重要方法。
在近日雷锋网(公众号：雷锋网) AI研习社的公开课上，来自中国科学院计算技术研究所的在读博士王晋东带来了题为《迁移学习的发展和现状》的分享。
王晋东，现于中国科学院计算技术研究所攻读博士学位，研究方向为迁移学习和机器学习等。他在国际权威会议ICDM、UbiComp等发表多篇文章。同时，也是知乎等知识共享社区的机器学习达人（知乎用户名：王晋东不在家）。他还在Github上发起建立了多个与机器学习相关的资源仓库，成立了超过120个高校和研究所参与的机器学习群，热心于知识的共享。个人主页：http://jd92.wang
分享内容：
各位听众各位同学大家晚上好，很荣幸收到雷锋网 AI研习社的邀请，这次的主题是《迁移学习的发展及现状》。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
我是中国科学院计算技术研究2014级直博生王晋东，主要研究方向是迁移学习及其应用，下面是我的一些基本资料。今天主要是来分享知识，欢迎大家批评指正。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
今天主要分为五部分。一是迁移学习的基本介绍，即为什么要用迁移学习；二是迁移学习方法的常见分类；三是把迁移学习与深度学习结合起来的研究；四是迁移学习的一些最新进展；五是学习资源的推荐以及总结。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
迁移学习基本介绍
先做一个小小的引子，吴恩达曾经说过，迁移学习将会是机器学习的下一个驱动力。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
我们先来看一下背景：在智能大数据时代，面对数据量以及数据类型的不断增加，需要能快速构建具有强泛化能力的机器学习模型。大部分数据往往没有标注，收集标注数据或者从头开始构建模型，代价高昂且费时。这时候就产生了一个问题：如何基于已有的数据和模型，对新数据快速构建相应的模型？
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
这个问题引出了迁移学习，迁移学习可以解决上述标定数据难以获取的问题。
迁移学习基本思想是利用学习目标和已有知识之间的相关性，把知识从已有的模型和数据中迁移到要学习的目标上去，如下图中所示。目前，迁移学习已被广泛应用于机器学习的许多应用中。 中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
从数据、模型和应用这三个角度来说，迁移学习都很有必要。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
总的来说，迁移学习可以减少对标定数据的依赖，通过和已有数据模型之间的迁移，更好地完成机器学习任务。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
迁移学习常见方法分类
下面是迁移学习的集中方法，目前常用的主要是同构和异构迁移学习，最常用的是下图右边的几种方法。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
先看基于实例的迁移学习方法。假设是源域中的一些数据和目标域会共享很多共同的特征。方法是对源域进行instance reweighting，筛选出与目标域数据相似度高的数据，然后进行训练学习。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
下面为大家介绍几个经典的基于实例的迁移学习方法，方法比较简单，容易实现。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
第二是基于特征的迁移学习方法。
假设是源域和目标域含有一些公共的交叉特征，方法是通过特征变换，将两个域的数据变换到同一特征空间，然后进行学习。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
下面是几种比较经典的方法。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
第三种是基于模型的迁移学习方法。
特点是模型相同部分直接进行迁移，好处是可以直接把已有的模型拿来用，针对目标任务做相应的修改。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
代表工作有下面几个比较经典的，优点是充分利用模型之间的相似性。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
最后是基于关系的迁移学习方法，可以由师生关系类比上下级关系，也可以从生物病毒的传播规律类比计算机病毒的传播。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
假设是如果两个域是相似的，那么它们会共享某种相似关系。方法是利用源域学习逻辑关系网络，再应用于目标域上。这部分的研究工作比较少。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
深度迁移学习
下面来分析深度迁移学习。深度学习可以学习到更鲁棒的、泛化能力更强的特征表达，迁移学习能学习到领域无关的特征表达，这和深度学习不谋而合，将两者结合，能充分利用神经网络的表达能力，学习域不变的特征表示。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
下面看下最近的一些工作，14年有一篇论文探讨了神经网络的可迁移性，横轴是层数，纵轴是精度。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
第二篇也是14年的，这篇文章是在AlexNet的分类器层前加入domain loss层，目前引用量也比较多。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
15年发表的DAN网络对AlexNet网络的后三层都进行了域适配，还利用了Multi-kernel MMD进行距离度量，这是核心的亮点贡献。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
17年的ICML提出了JAN网络，两个核心贡献如下：一是联合适配x和y的分布(JMMD度量)，二是在网络中加入了adversarial学习。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
这个工作加了soft labels，同时进行domain和task transfer，网络看起来比较复杂，大家可以看原文，也可以看我的专栏链接。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
ADDA提出用adversarial的思想去进行domain adaptation，这篇文章也特别新，代码也开源了。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
以上介绍都是我认为的比较经典的方法，是目前来说在深度迁移学习里面比较好的工作。
迁移学习的最新进展
下面来谈谈迁移学习的最新发展。做迁移学习最重要的点是找到相似度，当源域和目标域相似度减少，如何进行成功迁移呢。15年的Transitive transfer learning给我们在这个领域开辟了道路。17年的Distant domain transfer learning是对15年的论文的延伸。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
第二个比较新的进展是利用物理学知识辅助学习任务。实验效果是实线部分，作者的想法非常具有开创性。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
第三个是学习迁移。我的理解是把迁移学习和增量学习进行结合，作者提出从已有的知识里自动学习比较适合的算法和参数，这个很有前瞻性，也非常有意义。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
学习资源推荐及总结
下面给大家推荐一些学习资源，前面是比较经典的两个综述，第一个是杨强老师的。下面也给大家推荐一些比较知名的学者、会议、期刊等。最后是我的GitHub，在持续更新，我的知乎专栏是《小王爱迁移》，欢迎大家投稿。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
今天主要是希望大家了解到迁移学习，知道迁移学习的常用方法，大概了解到深度迁移学习以及一些最新的方向。
中科院计算技术研究所王晋东：迁移学习的发展和现状 | 分享总结
视频：
雷锋网原创文章，未经授权禁止转载。详情见转载须知。
15人收藏 分享：
相关文章
迁移学习
再无需从头训练迁移学习模型！亚马逊开源迁移学习数 ...
初学者怎样使用Keras进行迁移学习
NVIDIA 迁移学习工具包 ：用于特定领域深度学习模型 ...
有关艺术画作分类的 Kaggle 比赛经验分享
文章点评：
我有话要说……
表情 同步到新浪微博 提交
汪思颖
编辑
关注 AI 学术动态以及各类数据挖掘比赛，加好友请备注个人信息~谢谢。微信：awanglala
发私信
当月热门文章
贾扬清离职 Facebook，即将加盟阿里硅谷研究院
「杨超越杯编程大赛」启动报名，谁才是真正的「锦鲤」？
万字长文详解腾讯优图 CVPR 2019 入选论文
百度发布NLP模型ERNIE，基于知识增强，在多个中文NLP任务中表现超越BERT
瑞金医院 MMC 人工智能辅助构建知识图谱大赛结果出炉，哈工大赵铁军教授团队夺冠
最新文章
百度发布NLP模型ERNIE，基于知识增强，在多个中文NLP任务中表现超越BERT
TensorFlow Lite 2019 年发展蓝图
GitHub 项目推荐 | 一款跨平台的 GitHub 通知管理客户端——DevHub
瑞金医院 MMC 人工智能辅助构建知识图谱大赛结果出炉，哈工大赵铁军教授团队夺冠
Guided Anchoring: 物体检测器也能自己学 Anchor
COCO2018 Keypoint冠军算法解读
热门搜索
KickstarterNLP硬创邦无线充电锤子海康威视IoTGalaxy S5央行Office任天堂
热门关键字
热门标签人工智能 机器人机器学习深度学习金融科技未来医疗智能驾驶自动驾驶计算机视觉激光雷达图像识别智能音箱区块链智能投顾医学影像物联网IoTCV微信小程序平台微信小程序在哪CES 2017CES2016年最值得购买的智能硬件2016 互联网小程序微信朋友圈抢票软件智能手机智能家居智能手环智能机器人智能电视360智能硬件智能摄像机智能硬件产品智能硬件发展智能硬件创业黑客白帽子大数据云计算新能源汽车无人驾驶无人机大疆小米无人机特斯拉VR游戏VR电影VR视频VR眼镜VR购物AR直播扫地机器人医疗机器人工业机器人类人机器人聊天机器人微信机器人微信小程序移动支付支付宝P2P区块链比特币风控高盛人脸识别指纹识别黑科技谷歌地图谷歌IBM微软乐视百度三星s8腾讯三星Note8 小米MIX小米Note华为小米阿里巴巴苹果MacBook ProiPhoneFacebookGAIRIROS双创周云栖大会先打智能硬件公司智能硬件QQ红包支付宝红包敬业福音乐appvr虚拟现实李航 华为诺亚方舟api是什么意思jauntiphone锁屏热电技术kindle系统中石化免费加油robi机器人ble mesh世界最大的黄色网站ansi流明和流明有什么区别arlo智能影院更多
联系我们关于我们加入我们意见反馈投稿申请专栏作者
Copyright © 2011-2019 www.leiphone.com 雷锋网-读懂智能&未来 All Rights Reserved 粤ICP备11095991号-1 ICP证粤B2-20150332 0daybank
文章评论