对外经济贸易大学信息学院

学院概况 首页» 学院概况» 学院新闻

【智汇贸大“AI+”系列学术讲座】北京大学计算机学院张铭教授专场学术报告

3月31日下午,英国上市公司365邀请北京大学张铭教授来院进行学术交流,并作题为“大模型Attention注意力机制及高效稀疏注意力研究”的学术报告。校长赵忠秀出席活动,英国上市公司365院长倪耀东、党委书记梁伟及近100名师生参加本场报告。报告会在求索B201人工智能实验室举行,由倪耀东主持。

赵忠秀对张铭教授的到来表示热烈欢迎和衷心感谢。赵忠秀指出,邀请张铭教授前来学院分享人工智能领域最新研究成果,是一次十分宝贵的学习机遇,对于提升师生的学术视野、推动相关学科建设具有积极意义,希望师生能够珍惜此次机会,与张铭教授深入交流探讨,共同探索人工智能领域的前沿动态与发展方向,为人工智能与数据科学领域的创新发展注入动力。

报告中,张铭教授首先介绍大模型中Attention注意力机制的作用,阐释了大模型的核心架构几乎全部基于Transformer,而后者本质上就是双向的Attention。Transformer中的自注意力机制需要计算序列中每个位置与所有其他位置的相关性,其O(N²)的计算复杂度会导致计算资源和内存消耗大幅增加,成为性能瓶颈,然后详细介绍了NSA模型的工作原理,最后对该领域未来发展的方向进行了展望。另外,张铭教授分享了与DeepSeek梁文锋担任共同通讯作者发表的原生稀疏注意力(Native Sparse Attention, NSA),实现了注意力机制全生命周期10倍加速,同时保持甚至超越全注意力模型性能,该成果获ACL 2025最佳论文奖,而且被DeepSeek V3.2-Exp版本的DSA部署进行工程化落地应用并大幅降低价格。

718ea8da14e6e681c09624faf1285091

在互动环节,与会师生就该研究的具体应用场景和研究方法进行了热烈的讨论。随后,倪耀东代表学院向张铭教授致以诚挚谢意,并就本次报告分享了三点思考:一是要重视注意力管理,切实提升聚焦能力,有效排除干扰因素,确保将注意力集中于核心任务;二是要充分运用我校在人文社科领域的学科优势,积极拓展人工智能应用场景,着力发挥引领作用;三是要精准把握当前技术发展的关键突破点,集中力量攻克技术瓶颈,努力成为行业发展的引领者。

本次报告会学术氛围浓厚,成效显著,不仅为师生拓宽了研究视野,更有力激发了师生在人工智能领域开展创新研究的热情与动力。

报告人简介:张铭,北京大学计算机学院二级教授,北京大学本硕博。北大-安克大模型联合实验室主任,教育部计算机课程教指委委员,2021 中国计算机教育学会 CCF 杰出教育奖获得者。研究方向为大语言模型、图机器学习、科学智能等,目前主持科技部重点研发课题、基金委面上项目等国家级科研项目。谷歌学术被引 25000 余次,H 因子 62。作为通讯作者获得机器学习顶级会议 ICML 2014 唯一的最佳论文奖、自然语言处理顶会 ACL 2025 最佳论文奖,合作提出的图嵌入模型 LINE 和原生稀疏注意力模型NSA 受到广泛关注。带领北大《数据结构与算法》团队,两门课程获评首批国家级一流本科课程(排名第一位)。所培养学生不少就职于国内外高校和科研机构,组里毕业生创办多家独角兽公司,校友们与张铭教授保持密切的联系和合作。