热点推荐
热门图文

导语
上海科学智能研究院、集智科学研究中心和阿里云联合发布了《AI X Science十大前沿观察》,梳理出35个研究前沿,来推动科学发展的黄金时代到来。本篇为前沿观察2,扫描下方二维码,可获得完整版下载地址,并能快速链接论文原文。
扫描二维码 下载完整报告
垂直领域科学大模型
背景介绍

人工智能的范式转变
近年来,以GPT和BERT为代表的基础模型 (Foundation Models) [1]在人工智能领域取得了突破性进展。这类模型通过大规模预训练获得了强大的表示学习能力和良好的迁移能力,为人工智能的发展开辟了新方向。然而,在专业科学领域的应用中,研究者们发现通用基础模型往往难以直接应用于特定科学问题的解决。这主要源于科学研究对专业知识深度整合的需求、数据特点的差异性以及任务特征的特殊性。
在科学研究领域,模型不仅需要具备强大的学习能力,更需要严格遵循物理规律,保持结果的可解释性,并确保预测的物理合理性。例如,在分子设计中,模型需要确保预测结构满足化学键角和键长的约束;在材料研究中,需要考虑晶体结构的周期性和对称性。这些特殊需求推动了针对单一领域的基础模型研究。以AlphaFold3[2]为代表的成功案例,展示了将基础模型思想与领域专业知识深度融合的巨大潜力。
单一领域基础模型继承了基础模型的核心特征,如大规模预训练、通用表示学习和迁移能力,同时深度整合了领域特定知识,包括物理规律、专业知识和领域约束。与通用基础模型相比,领域基础模型在数据特点、任务特征和应用场景等方面都呈现出显著的特异性。
从发展历程来看,领域基础模型的演进大致可分为三个阶段。在早期探索阶段(2017-2019),研究主要集中在特定任务的深度学习方法上,如DeepChem[3]在分子性质预测中的应用,以及基于3D-CNN[4]的材料结构分析;快速发展阶段(2020-2021)见证了几个具有里程碑意义的突破,其中最具代表性的是AlphaFold1[5]在蛋白质结构预测领域的重大突破。进入成熟应用阶段(2022-2023),我们看到了更多创新性的工作:物质科学领域中针对分子动力学模拟的GPTFF(Graph-based Pre-trained Transformer Force Field)[6]以及面向高效扩展神经算子的统一框架Universal Physics Transformer (UPT)[7],还有生命科学领域的scFoundation[8]和GMAI[9]和地球气候系统领域的Pangu-Weather[10]、FuXi[11]、FengWu[12]等工作,都越来越走向科学统一的基础模型。
这种发展过程始终都是围绕着核心关键的问题:能否将基础模型的理念推广到更广泛的科学研究领域?特别是,能否构建一个统一的科学基础模型,来加速跨学科的科学发现进程?要回答这个问题,仍面临三个根本性的挑战[13]:
1. 如何处理跨模态、跨尺度、跨领域的科学数据?
2. 如何将这些基本科学规律融入模型设计,使模型既保持灵活性又不违背基本物理定律?
3. 如何设计模型架构,使其能够捕捉并利用这些潜在关联,实现跨学科的知识迁移和创新发现?
虽然目前还没有出现统一的科学基础模型,但是物质科学、生命科学、气象预测等各个领域已经涌现出一些创新性的工作,出现了大量的单一领域科学基础模型,解决领域问题。以下我们将重点介绍三个最具代表性的研究方向及其最新进展。
研究进展
进展目录 1. 生命科学基础模型 2. 医学基础模型 3. 气象预测基础模型 4. 物质科学基础模型 a. 分子动力学模拟 b. 物理模拟
生命科学基础模型
推荐理由:scFoundation[8]代表了生命科学领域基础模型的重要突破。它实现对复杂生命系统的建模,不仅在技术上创新性地解决了单细胞测序数据的特殊挑战,更为生命科学的智能化分析开辟了新范式。
随着单细胞RNA测序技术的发展,科研人员能够开始观察和理解细胞内的基因表达模式。然而,如何从海量、异质、存在技术噪声的单细胞数据中学习到有意义的生物学知识,一直是该领域的核心挑战。传统的计算方法往往只能处理部分基因,或者需要针对特定任务单独构建模型,缺乏统一的分析框架。
在2023年Geneformer[14]首次验证基因表达数据预训练的可行性,以及scGPT[15]探索生成式方法的基础上,scFoundation[8]通过独特的技术方案实现了对复杂生命系统的统一建模,标志着生命科学正在进入基础模型时代。

scFoundation预训练框架概览 | 来源:Hao, M., Gong, J., Zeng, X. et al. Large-scale foundation model on single-cell transcriptomics. Nat Methods 21, 1481–1491 (2024). https://doi.org/10.1038/s41592-024-02305-7
scFoundation通过创新的模型架构设计和预训练策略,首次实现了对全基因组范围的统一建模。该模型包含1亿个参数,覆盖约2万个蛋白编码基因,在超过5000万个人类单细胞转录组数据上进行预训练。其核心创新在于:首先,设计了一个非对称的Transformer架构 (xTrimoGene),通过将编码器限制在非零表达基因上处理同时让解码器覆盖全基因组范围,巧妙解决了数据稀疏性带来的计算挑战;其次,提出了读取深度感知 (RDA) 的预训练任务,不仅可以捕获基因间的复杂共表达关系,还能自动处理不同测序深度带来的技术噪声,实现了对细胞转录组的统一表征。
在多个下游任务的实验中,scFoundation展现出了卓越的性能。在基因表达增强任务上,相比传统方法将平均绝对误差降低了一半;在药物响应预测中,无需针对性微调就达到了最先进的预测准确率;在细胞扰动预测任务中,模型能够准确预测基因敲除后的表达变化。值得注意的是,scFoundation通过预训练获得的细胞嵌入向量和基因上下文嵌入向量,展现出了优异的生物学意义,可以用于细胞类型注释、基因模块发现等多种分析任务。
通过大规模预训练,scFoundation学习到了普遍的生物学知识,可以迁移到各种下游任务中。这种方法避免了传统方法需要针对每个任务重新训练模型的低效率,为生命科学研究提供了一个统一的计算基础设施。
此外,蛋白质结构预测在理解蛋白质的结构-功能关系、推动生物学研究以及促进制药开发和实验设计等方面具有关键意义。尽管日益成熟的深度学习技术以及丰富的实验三维蛋白质结构数据,在很大程度上加速了结构预测的发展,但蛋白质的结构动力学特性尚未得到充分关注。然而,蛋白质在功能过程中的构象变化对于精准药物设计至关重要:通过纳入动态变化的因素,能够显著优化药物与蛋白质的结合效率,从而提高靶向治疗的有效性。基于此,文献[16]提出了一种创新性4D扩散模型,该模型结合了分子动力学(MD)模拟数据,旨在学习并模拟蛋白质的动态结构。这一研究在行业内率先实现了对10纳秒级动态运动过程的生成,为蛋白质结构动力学在药物设计等实际应用场景中的进一步探索提供了重要的启示与方法支持。
医学基础模型
推荐理由:GMAI (Generalist Medical AI)[9]代表了医疗AI领域的范式转变,从传统的任务特定模型转向了更加通用和灵活的基础模型方法。这项发表在Nature上的开创性工作不仅提出了医疗AI的新范式,更为未来医疗保健的智能化提供了全新视角。
长期以来,医疗AI面临着三大核心挑战:数据的稀缺性和异质性、预测任务的复杂性、领域知识的整合难度。传统的医疗AI系统采用“一个任务一个模型”的方式,不仅需要大量标注数据,而且难以利用最新的医学知识。早期的一些尝试,如CheXzero[17]在放射影像解读上的探索,以及GPT-3[18]在医学执照考试上的表现,都展示了基础模型在医疗领域的潜力,但距离临床应用仍有不小差距。
GMAI的创新之处在于,它提出了一个统一的医疗AI框架。这个框架通过自监督学习方式,在海量异构医疗数据上进行预训练,同时融入了结构化的医学知识。它可以训练来自图像、EHR 信号、组学数据(基因组学和转录组学)等的不同类型的数据,能够摄取医学领域的多源异构知识(出版物、教科书、临床节点的知识图谱),还具有零样本学习能力,根据几个例子就可以学习去做模型从来没有见过的任务。

GMAI(generalist medical AI)模型流程图概览 | 来源:Michael Moor, Oishi Banerjee, Zahra Shakeri Hossein Abad, et al. Foundation models for generalist medical artificial intelligence. nature, 2023, 616(7956): 259-265
这样做的好处是,通过自由组合和交错不同的数据模态,能够实现动态任务规范(Dynamic Task Specification),即根据这些指令即时解决任务。因此基本上是零样本或少样本的上下文类型学习。这些模型具有大量的知识,因为它们允许我们用结构化领域知识进行推理。例如,当遇到一个复杂的病例时,模型会首先分析各项检查结果,然后检索相关的医学文献和指南,最后通过逻辑推理给出诊断和治疗建议,并清晰地解释推理过程。
GMAI的出现推动了一系列后续创新。Med-Flamingo[19]基于GMAI的框架,进一步优化了多模态医疗诊断能力;RA-CM3[20]通过改进检索机制,显著提升了模型的知识获取能力;而基于GMAI的临床辅助系统已经在多家医院开展试点应用,显示出良好的实际效果。
这些领域也有很多挑战,包括验证(Validation)、确认(Verification)、社会偏见(Social Biases)以及非常重要的患者隐私问题。即便如此,这项工作的意义远超技术创新,它开启了医疗AI的新纪元,也为其他领域基础模型的发展提供了新的思路。
气象预测基础模型
推荐理由:气象预测是最快能够在现实生活应用并对生产生活产生巨大影响的领域之一,气象预测基础模型在预测精度和效率上都实现了突破性进展,为极端天气预警和气候变化研究提供了新工具。
如何对未来天气发展进行准确预测,特别是预测极端天气,越来越成为意义重大的科学问题。然而,传统的气象学研究受限于数据的缺乏、人类知识和经验的局限以及气象系统内在的不确定性因素等影响,无法给出较长期而精准的预测。
近年来,若干气象预测大模型被陆续开发出来,包括Google的GraphCast[21]、华为的盘古大模型[10]、英伟达的FourCastNet[22]、上海科学智能研究院和复旦大学的伏羲气象大模型等[11],都取得了显著进展。

FuXi-S2S模型的结构示意图 | Chen, L., Zhong, X., Zhang, F. et al. FuXi: a cascade machine learning forecasting system for 15-day global weather forecast. npj Clim Atmos Sci 6, 190 (2023).
全球首个基于人工智能的次季节气候预测大模型“伏羲”(FuXi-S2S) ,首次超越传统数值预报模式的标杆 —— 欧洲中期天气预报中心(ECMWF)的 S2S 模式。该模型涵盖了13个气压层的5个高空大气变量和11个地面变量,实现了两个关键性技术突破:一是将热带大气季节内振荡 (MJO) 这一次季节最重要的可预报性来源纳入模型;二是创新性地设计了智能扰动生成模块,能够在隐空间中刻画气候系统演变的概率特征。这些创新使得模型在多个关键指标上超越了ECMWF S2S系统,特别是将MJO的有效预报期从30天延长到36天。
在实际应用中,“伏羲”仅需7秒即可完成42天的全球日平均预报,并在2023年成功预测了印度尼西亚特大暴雨事件,提前20天发出预警,为防灾减灾赢得了宝贵时间。此外,复旦大学联合上海科学智能研究院、上海创智学院于2024年11月发布了中国首个基于自主知识体系构建的气候科学大语言模型PI@Climate[23],该模型已经实现了跨越46个学科的知识整合,通过多智能体建模提升了对复杂气候系统的认知能力。物质科学基础模型
分子动力学模拟
推荐理由:分子动力学模拟是材料科学研究的基础工具,但长期受限于计算效率与精度的权衡问题。基于深度学习的新型力场模型为这一难题提供了突破口,有望推动材料科学研究范式的革新。
分子动力学模拟是研究材料微观行为的重要方法,但其准确性很大程度上依赖于所使用的力场模型。传统的解析力场函数形式较为简单,难以准确描述复杂的原子间相互作用,而密度泛函理论(DFT)虽然准确但计算成本过高,这使得大规模原子体系的精确模拟面临着重大挑战。
针对这些问题,GPTFF(Graph-based Pre-trained Transformer Force Field)[6]作为一种新型的通用人工智能力场模型被提出。该模型采用图神经网络来表征晶体结构,并引入Transformer架构来提升模型的学习能力。GPTFF模型的训练数据源自自研的Atomly材料数据库(https://atomly.net/)。该数据库包含近35万个无机材料数据,数据规模和质量位于世界顶级水准,知识产权自主可控,也是我国唯一可对标欧美竞品的无机材料数据库。通过利用包含3780万个单点能量、117亿个原子力和3.402亿个应力张量的大规模数据集进行训练,GPTFF在能量、力和应力预测方面都达到了极高的精度,分别实现了32 meV/atom、71 meV/Å和0.365 GPa的平均绝对误差,比传统经验力场提升了一个数量级,同时计算速度比第一性原理快3-4个数量级。

GPTFF模型的模型架构| F. Xie, T. Lu, S. Meng, M. Liu, GPTFF: A high-accuracy out-of-the-box universal AI force field for arbitrary inorganic materials, Science Bulletin (2024), doi: 10.1016/j.scib.2024.08.039.
与GPTFF并驾齐驱的还有DeepMD[24]、PaiNN[25]和Uni-Mol+[26]等代表性模型。DeepMD通过深度势能模型实现了对复杂体系的准确描述,已成功应用于二维材料的相变预测;PaiNN则创新性地引入等变性保持机制,在分子动力学模拟中展现出优异的稳定性;Uni-Mol+创新性地提出了基于双轨道Transformer的分子表示方法,通过迭代优化初始构象来逼近DFT平衡构象,并在此基础上实现量子化学性质预测,在HOMO-LUMO能隙等关键分子性质预测任务上实现了显著进展。
物理模拟
推荐理由:物理模拟是科学研究和工程应用的重要工具,但长期面临着不同物理系统需要不同建模方法的挑战。Universal Physics Transformer (UPT) [7]通过创新的架构设计,首次实现了对不同类型物理系统的统一处理,为发展统一的物理模拟基础模型提供了重要范式,有望推动物质科学研究方法的革新。
物理模拟对推动材料科学研究至关重要,但长期以来受困于方法的碎片化问题 ——不同类型的物理系统往往需要不同的模型和算法,这不仅增加了研究成本,也限制了模拟技术的广泛应用。例如,在流体动力学模拟中,常需在拉格朗日方法与欧拉方法间权衡,网格模型与粒子模型也各有优劣。这种方法的碎片化不仅增加了模型开发和维护的成本,也限制了物理模拟在更广泛场景下的应用。
针对这一问题,Universal Physics Transformer (UPT) 提出了一个统一的神经算子框架。该框架创新性地采用无网格/无粒子的潜在表示,通过分层Transformer架构实现了对不同类型物理系统的统一处理。UPT的核心是其高效的三段式设计:编码器灵活处理不同类型的输入并压缩到统一的潜在空间,近似器在潜在空间中进行动力学传播,解码器则支持在任意时空点进行查询。通过Inverse Encoding/Decoding等创新训练策略,UPT实现了高效的Latent Rollout,使其能够扩展到大规模物理系统的模拟。在多个具有挑战性的任务上,如网格流体模拟、Reynolds平均Navier-Stokes模拟和拉格朗日动力学等,UPT都展现出优异的性能,同时保持了良好的可扩展性和泛化能力。
UPT学习范式示意图架构| B. Alkin, A. Fürst, S. Schmid, L. Gruber, M. Holzleitner and J. Brandstetter, "Universal Physics Transformers: A Framework For Efficiently Scaling Neural Operators," in Proceedings of the 38th Conference on Neural Information Processing Systems (NeurIPS 2024), 2024.
UPT的工作为构建通用的物理模拟基础模型提供了重要范式。它不仅展示了如何通过巧妙的架构设计实现不同物理系统的统一表示和处理,还为提升模型可扩展性提供了新思路。这对于发展更通用高效的物质科学模拟工具具有重要的启发意义。
挑战与展望
目前,科学家们正在各个领域探索基础模型的应用潜力,同时也在朝着构建统一科学基础模型的宏伟目标迈进。这一进程面临着异构数据融合、物理规律约束和可解释性等重要挑战,但近期的突破性进展展现了令人振奋的前景。
在气候科学领域,由复旦大学等机构联合开发的PI@Climate模型[23]已经实现了跨越46个学科的知识整合,通过多智能体建模提升了对复杂气候系统的认知能力。在生命科学领域,“女娲”系列模型[23]展示了从微观到宏观的突破:女娲基因导航大模型通过图神经网络解密了基因组“暗物质”的作用机制,女娲生命流体大模型实现了人体内流体动力学的精确模拟,而女娲生物结构大模型则在蛋白质动态结构预测方面超越了AlphaFold3的性能。燧人分子基础大模型[23]通过融合量子力学性质(如能量、力、结构)与热力学参数(包括结构分布、熵、焓及自由能变化),将分子动力学模拟过程融入大模型,实现了物质宏观与微观性质的快速预测,并在量子化学性质预测基准QM9数据集的绝大多数任务中超越现有AI模型。这些成功案例证明,将基础模型理念与领域专业知识深度融合是可行且富有成效的。
随着模型架构的创新和算力的提升,我们有望见证一个统一方法论的科学基础模型的诞生。这个模型将不再局限于单一学科,而是能够理解和运用物理、化学、生物等多个领域的基本规律,实现跨学科的知识推理和创新发现。它将成为科学家的“数字智囊”,不仅能预测复杂系统的行为,更能主动提出研究假设、设计实验方案。在材料研发、药物设计、气候预测等关乎人类福祉的重大领域,这种模型将显著加速科学发现的进程
参考文献
[1] Bommasani, Rishi, et al. "On the Opportunities and Risks of Foundation Models." arXiv preprint arXiv:2108.07258 (2021).
https://arxiv.org/abs/2108.07258
推荐理由:这篇论文为整个报告提供了基础模型的重要背景和概述,为后续讨论奠定了基础。
[2] Abramson, J., et al. "Accurate Structure Prediction of Biomolecular Interactions with AlphaFold 3." Nature630, 493–500 (2024).
https://www.nature.com/articles/s41586-024-07487-w
推荐理由:这是AlphaFold系列最新的突破性成果,首次实现了统一的生物分子结构预测框架。该工作将深度学习在结构生物学领域的应用推向了新的高度。
[3] Ramsundar, Bharath, et al. "Deep Learning for the Life Sciences." O'Reilly Media (2019). https://www.amazon.com/Deep-Learning-Life-Sciences-Microscopy/dp/1492039837
推荐理由:DeepChem被提及为早期将深度学习应用于分子性质预测的探索,提供了重要背景。
[4] C. Wang, "A Review on 3D Convolutional Neural Network," 2023 IEEE 3rd International Conference on Power, Electronics and Computer Applications (ICPECA), Shenyang, China, 2023, pp. 1204-1208,
https://ieeexplore.ieee.org/document/10075760
推荐理由:三维CNN被引用为材料结构分析的早期方法,有助于说明该领域技术的发展历程。
[5]Senior, Andrew W., et al. "Improved protein structure prediction using potentials from deep learning." Nature 577.7792 (2020): 706-710.
https://www.nature.com/articles/s41586-019-1923-7
推荐理由:AlphaFold 1被指出是蛋白质结构预测的里程碑式突破,是了解近期进展的关键基础。
[6] Xie, Feiyang, et al. "GPTFF: A high-accuracy out-of-the-box universal AI force field for arbitrary inorganic materials." Science Bulletin (2024).
https://www.sciencedirect.com/science/article/pii/S2095927324006327?via%3Dihub
推荐理由:GPTFF被强调为分子动力学模拟的创新力场模型,代表了材料科学基础模型的最新重要进展。
[7] B. Alkin, A. Fürst, S. Schmid, L. Gruber, M. Holzleitner and J. Brandstetter, "Universal Physics Transformers: A Framework For Efficiently Scaling Neural Operators," in Proceedings of the 38th Conference on Neural Information Processing Systems (NeurIPS 2024), 2024.
https://openreview.net/pdf?id=oUXiNX5KRm
推荐理由:UPT被介绍为一个统一的框架,用于跨不同物理系统高效缩放神经算子,是将基础模型应用于物理模拟的重要发展。
[8] Hao, Minsheng, et al. "Large-scale foundation model on single-cell transcriptomics." Nature Methods 21.12 (2024): 1481-1491.
https://www.nature.com/articles/s41592-024-02305-7
推荐理由:scFoundation被聚焦为将基础模型应用于单细胞转录组数据的突破,克服了关键挑战,为该领域开辟了新的可能性。
[9] Moor, Michael, et al. "Foundation models for generalist medical artificial intelligence." Nature 616.7956 (2023): 259-265.
https://www.nature.com/articles/s41586-023-05881-4
推荐理由:GMAI被呈现为开创性的通用医疗AI模型,代表了医疗AI的范式转变,为智能医疗的未来提供了新视角。
[10] Bi, K., Xie, L., Zhang, H. et al. Accurate medium-range global weather forecasting with 3D neural networks. Nature619, 533–538 (2023).
https://www.nature.com/articles/s41586-023-06185-3
推荐理由:面向20日全球天气预报的高分辨率通用模型盘古天气预报模型是基础模型在天气预报领域的代表。
[11] Chen, L., Zhong, X., Zhang, F. et al. FuXi: a cascade machine learning forecasting system for 15-day global weather forecast. npj Clim Atmos Sci6, 190 (2023).
https://www.nature.com/articles/s41612-023-00512-1
推荐理由:FuXi是一个用于15天全球天气预报的级联机器学习预报系统,展现了天气预报领域的最新进展。
[12] Kang Chen, Tao Han, Junchao Gong, et al.FengWu: Pushing the Skillful Global Medium-range Weather Forecast beyond 10 Days Lead. arXiv:2304.02948, 2023
https://arxiv.org/abs/2304.02948
推荐理由:FengWu是一种先进的AI驱动全球中期天气预报系统,通过多模态与多任务学习方法显著提升了天气预报的精度和时效性
[13]Chen, Kang, et al. "An Overview of Domain-Specific Foundation Models: Key Technologies, Applications, and Challenges." arXiv, 2024, arXiv:2409.04267,
https://arxiv.org/abs/2409.04267.
推荐理由:这篇文章全面概述了定制化领域专用基础模型的方法论,介绍了基础概念、通用架构,并总结了构建领域专用模型的关键方法以及面临的挑战。
[14] Theodoris, C.V., Xiao, L., Chopra, A. et al. Transfer learning enables predictions in network biology. Nature618, 616–624 (2023).
https://www.nature.com/articles/s41586-023-06139-9
推荐理由:基因表达基础模型建模的先驱工作Geneformer
[15] Cui, H., Wang, C., Maan, H. et al. scGPT: toward building a foundation model for single-cell multi-omics using generative AI. Nat Methods21, 1470–1480 (2024).
https://www.nature.com/articles/s41592-024-02201-0
推荐理由:基因表达基础模型建模的重要工作scGPT
[16]K. Cheng, C. Liu, Q. Su, J. Wang, L. Zhang, Y. Tang, Y. Yao, S. Zhu, Y. Qi. 4D Diffusion for Dynamic Protein Structure Prediction with Reference Guided Motion Alignment. AAAI 2025.
推荐理由:行业首次实现生成10纳秒级的动态运动过程。
[17] Tiu, E., Talius, E., Patel, P. et al. Expert-level detection of pathologies from unannotated chest X-ray images via self-supervised learning. Nat. Biomed. Eng6, 1399–1406 (2022).
https://www.nature.com/articles/s41551-022-00936-9
推荐理由:CheXzero被指出是在放射学解读中应用医疗人工智能的早期探索,有助于说明将基础模型应用于医学的潜力和挑战。
[18] Brown, Tom, et al. "Language models are few-shot learners." Advances in neural information processing systems 33 (2020): 1877-1901. https://proceedings.neurips.cc/paper/2020/hash/1457c0d6bfcb4967418bfb8ac142f64a-Abstract.html
推荐理由:GPT-3在医师资格考试中的表现,被引用为基础模型在医学领域潜力的一个指示,使其成为该部分的相关参考。
[19] Moor, Michael, et al. "Med-Flamingo: A Multimodal Medical Few-shot Learner." arXiv, July 2023, arXiv:2307.15189,
https://arxiv.org/abs/2307.15189.
推荐理由:Med-Flamingo模型在多模态医疗诊断方面进行了优化,延续了GMAI工作的创新。
[20] Chen, Xiaoli, et al. "Retrieval-Augmented Multimodal Language Modeling" arXiv preprint arXiv:2212.06759 (2022).
https://arxiv.org/abs/2211.12561
推荐理由:RA-CM3是另一个基于GMAI的模型,具有改进的知识检索能力,展示了近期医疗人工智能的新进展。
[21] Remi Lam et al., Learning skillful medium-range global weather forecasting.Science382,1416-1421(2023)
https://www.science.org/doi/10.1126
推荐理由:GraphCast是谷歌的一个天气预测模型,被作为人工智能天气预报系统的代表引用。
[22] Jaderberg, Max, et al. "FourCastNet: A Global Data-driven High-resolution Weather Model using Adaptive Fourier Neural Operators." arXiv preprint arXiv:2202.11214 (2022).
https://arxiv.org/abs/2202.11214
推荐理由:FourCastNet是英伟达的一个天气预测模型,基于适应性傅里叶神经算子,提供了天气预报模型构建的有益参考。
[23]“上智院发布系列垂直领域科学大模型” 科学网,2024年11月,https://news.sciencenet.cn/htmlnews/2024/11/533897.shtm
推荐理由:上海科学智能研究院发布的一系列基础模型介绍。
[24] Zhang, L., et al. "Deep Potential Molecular Dynamics: A Scalable Model with the Accuracy of Quantum Mechanics." Physical Review Letters (2018).
https://journals.aps.org/prl/abstract/10.1103/PhysRevLett.120.143001
推荐理由:这是深度学习在分子动力学领域的奠基性工作,首次实现了量子力学精度的大规模模拟。该方法为材料科学研究提供了强大的计算工具。
[25] Schütt, K., et al. "Equivariant Message Passing for the Prediction of Tensorial Properties and Molecular Spectra." arXiv preprint arXiv:2102.03150 (2021).
https://arxiv.org/abs/2102.03150
推荐理由:这项工作在分子性质预测中引入了等变性机制,显著提升了预测精度。该方法为分子动力学模拟提供了新的理论框架。
[26] Lu, S., Gao, Z., He, D. et al. Data-driven quantum chemical property prediction leveraging 3D conformations with Uni-Mol+. Nat Commun15, 7104 (2024).
https://www.nature.com/articles/s41467-024-51321
推荐理由:这项工作提出了创新的双轨道Transformer分子表示方法,实现了高精度的分子性质预测。该模型在多个化学性质预测任务上都取得了突破性进展。
出品:漆远、吴力波、张江 运营:孟晋宇、王婷 撰稿:张江、杨燕青、王婷、王朝会、十三维、周莉、梁金、袁冰、江千月、刘志毅 鸣谢(按姓氏拼音顺序,排名不分先后): 曹风雷 、陈小杨 、程远、杜沅岂 、段郁、方榯楷 、付彦伟、 高悦、黄柯鑫、李昊、刘圣超、谭伟敏、吴泰霖、吴艳玲、向红军、张骥、张艳、朱思语
AI+Science 读书会
详情请见:
1.
2. 《AI×SCIENCE十大前沿观察》1:基于LLM的科学研究
3.
4.
5.
6.