English
管理与服务机构
美高梅在线登录网址-手机登录官网-www.4688.com党委办公室、校长办公室 纪律检查委员会办公室(监察处) 党委组织部 党委党校 党委宣传部(新闻办公室) 党委统战部 党委学生美高梅在线登录网址部 人民武装部 机关党委 财院校区党工委 离退休处党委 校工会 共青团美高梅在线登录网址-手机登录官网-www.4688.com委员会 发展规划办 教务处 现代工程训练中心 研究生院 学生美高梅在线登录网址处 招生与就业指导处 科学技术研究院 社会科学处 人力资源处 人才工程办公室 计划财务处 资产管理中心 国际合作交流处 监察处 审计处 实验室建设与设备管理处 后勤与房地产管理处 基本建设处 离退休处 保卫处(综合治理办公室) 法律事务办公室 档案与校史馆 财院校区管委会 校友美高梅在线登录网址办公室 校园信息化建设与管理办公室 图书馆 远程与继续教育学院 美高梅在线登录网址-手机登录官网-www.4688.com空军选培办 两型社会研究院 美高梅在线登录网址-手机登录官网-www.4688.com超级计算中心 美高梅在线登录网址-手机登录官网-www.4688.com互联网信息服务研究中心 资产经营有限公司 美高梅在线登录网址-手机登录官网-www.4688.com出版社有限责任公司 美高梅在线登录网址-手机登录官网-www.4688.com期刊社 后勤服务总公司 校医院 人口和计划生育办 普教中心
教育与研究机构
机械与运载工程学院 电气与信息工程学院 材料科学与工程学院 信息科学与工程学院 建筑学院 环境科学与工程学院 土木工程学院 设计艺术学院 化学化工学院 生物学院 数学与计量经济学院 物理与微电子科学学院 经济与贸易学院 金融与统计学院 工商管理学院 法学院(政治与公共管理学院) 马克思主义学院 新闻传播与影视艺术学院 教育科学研究院 体育学院 中国语言文学学院 岳麓书院 外国语学院 国家高效磨削工程技术研究中心 汽车车身先进设计制造国家重点实验室 化学生物传感与计量学国家重点实验室 经济管理研究中心 机器人学院
校园生活
当前位置: 美高梅在线登录网址 >> 校园生活 >> 学术活动 >> 学院讲座 >> 正文
统计数据 / lectrue notice
  • 排序 学院 发文量
    1 机械与运载工程学院 118
    2 物理与微电子科学学院 103
    3 岳麓书院 101
    4 化学化工学院 97
    5 数学与计量经济学院 50
    6 材料科学与工程学院 45
    7 土木工程学院 42
    8 建筑学院 40
    9 经济与贸易学院 38
    10 电气与信息工程学院 33
  • 排序 学院 发文量
    11 信息科学与工程学院 30
    12 工商管理学院 28
    13 生物学院 18
    14 法学院 15
    15 外国语学院 15
    16 教务处 14
    17 新闻传播与影视艺术学院 8
    18 研究生院 7
    19 经济与管理研究中心 6
    20 马克思主义学院 5
    21 中国语言文学学院 4
信科院:Training Large Neural Networks with Small Network Footprint
学术地点 软件大楼106室 主讲人 Hong Xu
讲座时间 2018.10.25 16:20

Title: Training Large Neural Networks with Small Network Footprint

Time:2018.10.25 Thursday 16:20

Place:Room 106,Software Building

Abstract:

Distributed machine learning (ML) systems using parameter servers are prevalently used in industry. With the rapid development of GPU, training performance is usually bottlenecked at network communication for exchanging gradients and parameters.

In this talk, I will share our work on how to alleviate the communication bottleneck and speed up distributed ML training. First I will motivate the problem with measurements on GPU clusters in Azure and EC2. Then I will share the design and implementation of our solution, a system called Stanza that separates the training of different layers in ML models, by exploiting their distinct characteristics. A prototype of Stanza is implemented on PyTorch. Our evaluation on Azure and EC2 shows that Stanza provides 1.25x to 13x speedups over parameter server, for training common CNNs on ImageNet with Nvidia V100 GPUs and 10GbE network.

Bio:

Hong Xu is an assistant professor in Department of Computer Science, City University of Hong Kong. His research area is computer networking, particularly data center networks and big data systems. He received the B.Eng. degree from The Chinese University of Hong Kong in 2007, and the M.A.Sc. and Ph.D. degrees from University of Toronto in 2009 and 2013, respectively. He was the recipient of an Early Career Scheme Grant from the Hong Kong Research Grants Council in 2014. He received several best paper awards (ACM TURC 2017 (Sigcomm China), IEEE ICNP 2015, etc.). He is a member of ACM and IEEE.

上一条:物电院:科学、物理、数学
下一条:信科院:Massively Parallel A* Search on a GPU

美高梅在线登录网址官网
美高梅在线登录网址微信
美高梅在线登录网址微博
XML 地图 | Sitemap 地图