2023年寒假英国剑桥大学深度强化学习项目报名通知
一、项目介绍
为帮助同学们体验国外教学模式，开拓国际视野，学校于2023年寒假引入英国剑桥大学在线深度强化学习项目。
本项目由全美国际教育协会（简称USIEA）与英国剑桥大学合作，旨在提升学生在深度学习前沿领域的核心知识，掌握主流的工具与技术，并且了解该领域与其它领域之间的关联与发展潜力。
项目为期三周，课程以直播形式进行。项目学生由剑桥大学进行统一的学术管理与学术考核，完成课程并通过考核后，可获得剑桥大学格顿学院的官方成绩单与项目证书。
二、课程安排
讲座内容 |
实践内容 |
主题：强化学习导论 l 强化学习的算法和框架；遗传算法，帕累托前沿； l 强化学习与深度学习的联系（Transformers模型、图形神经网络）；强化学习案例分析； l 如何撰写相关文章； |
主题：科学计算工具简介 l Jupyter Notebook的基本使用以及LaTeX； l 强化学习框架中的基本组件； l 小组项目说明； |
主题：环境 l 环境复杂性建模； l 多智能体强化学习（MARL）； l Q-Learning以及Actor-Critic模型； l 基于政策的学习； l 马尔可夫决策过程、动态编程和贝尔曼方程； l 强化学习与深度学习的联系； |
主题：环境 l 强化学习框架中的基本组件； l 马尔可夫决策过程； l OpenAI Gym简介； l 小组项目说明； |
主题：优化 l 强化学习与控制优化； l 深度Q网络； l 强化学习与深度学习的联系； l 强化学习案例； l Transformers模型和图像分析集成； |
l Pytork简介；备份图； l 使用马尔可夫决策过程进行优化（动态编程、贝尔曼方程、策略迭代、值迭代）； l 项目进展汇报； |
主题：集成与控制 l 机器人与贡献度分配问题； l 冗余度机器人的自适应运动控制； l 多智能体强化学习与机器人； l 强化学习与其他深度学习技巧的整合； |
主题：无模型算法 l 基于价值的算法（蒙特卡罗、时间差分学习、SARSA、Q-learning、DQN及其变体）； l 项目进展汇报； |
主题：集成 l 与图形神经网络的集成；关注和信息传递模型； l 与AUTO-ML和ML系统的集成； |
主题：无模型算法 l 基于策略的算法（策略梯度、增强）； l Actor-Critic算法； l 项目进展汇报； |
主题：图神经网络（GNN）与强化学习 l 图示学习与强化学习的关联； |
l 图神经网络练习； l 项目进展汇报； |
主题：监管图神经网络 l 图神经网络与游戏的理论与运用； |
主题：图神经网络练习 l DGL, Spektral, Pytorch； l 项目进展汇报； |
主题：无监管图神经网络 l 图神经网络与机器人； |
主题：图神经网络练习 l DGL, Spektral, Geometric Pytorch； l 项目进展汇报； |
图神经网络（GNN）与强化学习： |
项目进展汇报； |
l 项目回顾与总结 l 小组项目成果陈述 |
|
（以实际安排为准）
课程详情请参考附件：英国剑桥大学深度强化学习项目介绍。
三、报名条件
1. 我校全日制在读本科生；
2. 外语水平要求（满足一项即可）：托福79，或雅思6.0，或大学英语四级500分，或大学英语六级470分，或专四/专八通过，或Duolingo105。
四、时间安排
1. 项目时间：2023年1月16日-2月3日；
2. 校内报名截止日期：2022年12月18日。
五、项目费用
1. 项目费用：7,250元人民币；
2. 资助：学校拟对参加并按要求完成项目、提交学习报告的学生予以部分资助（请于项目结束后三周内提交学习报告）。
六、报名方法
1. 登录本科生国际交流项目报名系统进行报名；
2. 在报名系统中生成【学生短期境外学习或活动备案表】，由辅导员及学院教学副院长认可后在系统中上传PDF版；
3. 需同时在全美国际教育协会网站（http://www.usiea.org/）报名。
七、项目咨询
1. 教务部杨老师，办公电话：010-81382922；
2. 项目咨询微信群：
北京理工大学教务部
2022年10月21日