基本信息

导师姓名：齐炜祯

担任职务：北京中关村学院导师

主要研究领域：大语言模型基础改进，含模型结构、数据策略、训练方法等。大语言模型隐私安全。垂域模型与Agent开发。金融叙事分析、信息流结合传统量价分析的量化算法。期待未来开展，量子机器学习。

简介：齐炜祯博士，19-24年中国科大-微软亚洲研究院联合培养博士，导师为周明教授、李厚强教授。学术方向为自然语言生成与预训练。在自然语言处理与人工智能会议上发表论文十余篇，论文被引用次数2400，h因子15。主导了必应的广告业务预训练基座模型开发，曾负责必应检索模型训练。ProphetNet系列工作开展500卡A100，TB级别跨语言预训练与评测，部署于小冰的聊天系统等产品，提出的MTP是DeepSeek V3的核心改进机制。与微软工程院合作OpenAI模型部署加速并发表论文，EL-Attention于2021年提出DeepSeek的MLA相同方案，应用于GPT-3。 BANG是第一个非自回归生成预训练工作。Visual ChatGPT是第一个大模型处理复杂视觉任务的Agent。是若干顶会审稿人，是ACL会议领域主席，是中国科大北京校友会理事。有大模型真实场景落地、量化套利和私募股权一级市场投资从业经验。

个人经历

教育经历：

2019-2024                   微软亚洲研究院-中国科学技术大学联合培养 工学博士 自然语言生成预训练

2018.06-2018.10       加拿大滑铁卢大学 访问学者 深度学习软件工程

2017.02-2017.07       台湾大学 交换生 资讯工程

2015-2019                   中国科学技术大学 本科 计算机科学

2012-2015                   山东省聊城一中  物理竞赛省一等奖

工作经历：

2024.06-2024.12       前私募股权投资合伙人，一级市场投资

2023.07-2024.06       大模型落地产品开发（大模型隐私安全、智能投顾、自媒体生成、大模型知识图谱构建等。）

2021.06-2022.02       量化套利投资

科学研究

代表性学术论文：

l  W Qi, Y Yan, Y Gong, D Liu, N Duan, J Chen, R Zhang, M Zhou，Prophetnet: Predicting future n-gram for sequence-to-sequence pre-training

l  W Qi, Y Gong, Y Yan, C Xu, B Yao, B Zhou, B Cheng, D Jiang, J Chen, ...Prophetnet-x: Large-scale pre-training models for english, chinese, multi-lingual, dialog, and code generation

l  W Qi, Y Gong, J Jiao, Y Yan, W Chen, D Liu, K Tang, H Li, J Chen, ...Bang: Bridging autoregressive and non-autoregressive generation with large scale pretraining

l  W Qi, Y Gong, Y Yan, J Jiao, B Shao, R Zhang, H Li, N Duan, M Zhou，Prophetnet-ads: A looking ahead strategy for generative retrieval models in sponsored search engine

l  C Wu, S Yin, W Qi, X Wang, Z Tang, N Duan，Visual chatgpt: Talking, drawing and editing with visual foundation models

l  Y Yan, J Chen, W Qi, N Bhendawade, Y Gong, N Duan, R Zhang，El-attention: Memory efficient lossless attention for generation