牛津大学生物医学工程

编辑:乔杨 好困

【新智元导读】5月发布的AlphaFold 3有论文、没代码,让许多机构和团队纷纷开启了「复现AF3」的工作。率先做出成果的,是一家成立不到一年的初创Ligo,3位创始人全都是牛津大学的本科生。

谷歌DeepMind5月发布的AlphaFold 3同时席卷了生物界和计算机科学界,被认为是「有诺奖潜力的成果」。

成就如此卓著、意义如此重大,AF3的成果公开自然让众多科学家翘首以盼。

然而,DeepMind团队却泼下了一盆巨大的冷水。他们只放出了论文,并没有公布任何相关的代码或模型权重。

AlphaFold是一项千载难逢的突破,对生物科学产生了巨大影响。我认为它的作者最终会获得诺贝尔奖,因为他们解决了一个70多年来一直无法破解的巨大问题。我基本上每天都在工作中使用它,指导药物发现和实验上有用的HBV聚合酶的工程设计。

最新版本的AlphaFold3比以前更强大。它已经在我的实验室中揭示了HBV RNA最初如何与聚合酶结合的结构。不幸的是,他们更改了此版本的使用许可,限制了其用于药物发现。

如今刚刚过去不到4个月,初创公司Ligo宣布——他们已经完成了AlphaFold 3开源复现的工作。

项目地址:https://github.com/Ligo-Biosciences/AlphaFold3

这个成果相当激动人心,也得到了Figure创始人Brett Adcock的转发。

Ligo团队表示,他们正在使用AlphaFold 3的想法来进行酶设计,于是顺便开启了支线任务——复现AF3。

作为生物分子的结构预测模型,AF3主要可以用于三类任务:

预测蛋白质结构预测药物-蛋白质相互作用结构预测核酸-蛋白质复合物结构

这是结构建模技术的根本进步,整个生物科技行业理应从中受益。其应用范围广泛,包括:

CRISPR基因编辑技术:科学家可以准确看到DNA如何与「剪刀」Cas蛋白相互作用癌症研究:预测潜在药物如何与癌症靶标结合,AF3论文的亮点之一就是预测KRAS抑制剂与其靶标的复合物抗体/纳米抗体的靶向预测:AlphaFold3在这一类分子上的准确性比现有的最佳工具提高了两倍

而此次Ligo发布的模型是在单链蛋白质上训练的,可以完成上述三项功能中的第一项,即预测蛋白质结构,其他两个功能将在不久后完成训练并发布。

GitHub仓库中目前仅公开了代码,但团队表示,一旦训练和基准测试完成就会发布权重,而且会使用Apache 2.0许可证,实现「真正的开源」!

项目地址:https://github.com/Ligo-Biosciences/AlphaFold3

如何「复刻」AlphaFold 3?

由于DeepMind在论文中发布了模型的完整架构,以及每个组件的伪代码,因此任何团队都有权复现。

但复现这件事,说起来容易,做起来难。

Ligo选择将其完全翻译为PyTorch代码,其中涉及到不少逆向分析和重构工作,远多出他们的想象。

复现过程中,他们也发现了原始论文中存在的多个问题,会干扰训练,恰好是深度学习领域的关注点,因此一并放出,供社区参考。

1. MSE损失缩放公式有误

如下图所示,公式中使用的是加号而非乘号;如果使用加法,就无法在高噪声水平下正确降低权重,且MSE在初始化时不是单位化的。

这与Karras等人2022年发表的论文不同,可能只是一个笔误。

原文地址:https://arxiv.org/abs/2206.00364

2. 论文中省略了原DiT包含的残差层

代码中将其添加了回来,并对两种情况进行了对比实验,发现引入残差层可以改善梯度流和收敛性。

3. 当前形式的MSA模块中存在无效层,

如果使用论文所述的MSA模块的通信步骤,最后的配对加权平均和转换层无法对配对表示(pair representation)做出贡献,因此没有梯度。

代码使用了AlphaFold2中ExtraMsaStack的顺序;另一种解决方案是使用权重共享,但论文中是否有此操作尚不明确

除了复刻模型,Ligo团队也在探索更加快速高效的实现方式。

比如,重用了OpenFold的三角注意力(triangular attention),还将初代AF提出的MSARowAttentionWithPairBias重用于DiT,这是AF3论文中没有提及的操作。

下面这个动画由Ligo复现的模型生成(未使用模板),模型仅使用了8个A100 GPU训练 10 小时。

分析显示,尽管进行了优化,但模型超过60%的操作仍然受限于内存。因此除了扩展到更多功能,团队还在借鉴ScaleFold的理念,致力于实现一个更具扩展性、更高效的方案。

「闭源」惹众怒,3位本科生率先复现

作为一种生物分子结构预测模型,AlphaFold 3大大加速了蛋白质结构的绘制,解决了一个70多年来一直无法破解的巨大问题,因而对科学进步具有极其重要的意义。

研究人员可能需要用读完一整个博士的时间(4~6年)才能建模出一个结构,但AlphaFold 3只需几分钟,即可获得与实验精度相当的预测结果。

但除了博客和论文外,DeepMind只开放了一个服务器,允许科学家们进行非商业用途的使用,每天调用上限为20次。

网站地址:https://gdm-alphafold.corp.google.com/welcome

之所以如此一反常态,「捂紧」AF3的成果,很可能是有商业盈利用途的考量。

他们和新成立的子公司Isomorphic Labs正在进军药物研发领域,以满足大型制药公司的需求。

今年年初,Isomorphic Labs已经与诺华和礼来签订了价值30亿美元的合同,而最新的AF3的开发也有Isomorphic Labs的贡献,可被用于加速药物发现。

虽然为了商业盈利也无可厚非,但这种做法引起了科学家们的强烈不满。

文章地址:https://undark.org/2024/06/06/opinion-alphafold-3-open-source/

AF3发布之后的短短两天,就有600多名科学家联名向Nature递交了一封公开信,指责谷歌DeepMind的这种做法不符合科学进步的原则。

同时也是在批评Nature——为什么在没有公开代码时接收了论文。

在反对的声浪下,DeepMind没有顶住压力,随后改口表示,会在6个月内公布模型及权重。

Nature也不得不站出来回应,原原本本地向研究者们交代接收论文的考量和依据。

文章地址:https://www.nature.com/articles/d41586-024-01463-0

然而,很多反对者依旧不买账,毕竟在争分夺秒的研究领域,6个月实在太久;而且DeepMind出于合作方Isomophic Lab的盈利目的,很可能只会放出「阉割版」。

因此,除了Ligo,很多实验室和机构都开始了破解、复现AlphaFold 3的工作。

文章地址:https://www.nature.com/articles/s41586-024-07487-w

Ligo所借鉴的OpenFold团队就是其中之一,由哥伦比亚大学助理教授Mohammed AlQuraishi领头。

他们此前就对AlphaFold 2进行过复现和重新训练,成果在今年5月刚刚被Nature接收,代码也如数公布。

原文地址:https://www.nature.com/articles/s41592-024-02272-z

仓库地址:https://github.com/aqlaboratory/openfold

就在发推宣传这项成果时,Alquraishi表示,AlphaFold 3项目在进行时了。

此外,GitHub上的开源大佬、旧金山的独立软件工程师Phil Wang也组织起了一个众包开源项目,同样是用PyTorch复现AlphaFold 3,正进行得如火如荼。

项目地址:https://github.com/lucidrains/alphafold3-pytorch

本科生 VS DeepMind

有如此多的竞争者,能在不到4个月的时间率先复现AF3,Ligo这家初创究竟是什么来头?

这家YC系初创成立于去年12月,总部位于伦敦,3位创始人都来自牛津,且有丰富的研究经历。

CEO Edward Harris曾在普林斯顿大学入读计算机科学系,之后在2021年转入牛津医学院,目前正辍学全职创业。

进入牛津前,Harris曾在墨西哥创办外卖平台Abas2Go,目前年营业额超过120万美元。

CSO Emily Egerton-Warburton目前在牛津分子和细胞生物化学系学习,曾获得英国皇家化学学会颁布的化学奥赛金奖。

CTO Arda Goreci是牛津大学生物医学系的学生,2023年凭借计算生物学方面研究成果入选Google Cloude Research Innovator计划,他也是AF3开源项目的主要参与者和领导者。

声明:壹贝网所有作品(图文、音视频)均由用户自行上传分享,仅供网友学习交流,版权归原作者wangteng@admin所有,原文出处。若您的权利被侵害,请联系 756005163@qq.com 删除。

本文链接:https://www.ebaa.cn/33043.html

(0)
上一篇 2024年10月12日
下一篇 2024年10月12日

相关推荐

  • 意大利费拉拉大学

    走马欧罗巴系列·老马啸岗 费拉拉(Ferrara)位于拉文纳西北88.5公里,被称为文艺复兴时期人本主义的理想之城。费拉拉城为世界文化遗产(1995年;1999年扩大范围,包括波河三角洲)。 ▲图1、费拉拉的地理位置(高德地图)。 ▲图2、费拉拉的主街道。 ▲图3、费拉拉市政厅广场。 根据世界遗产委员会评价:费拉拉建在波河的一段可涉水而过的地区周围,随着12…

    2025年1月6日
  • 哥伦比亚大学学费(哥伦比亚大学学费一年多少人民币)

    【文/观察者网 刘骞】 当地时间12日,《美国新闻与世界报道》公布2022至2023年度全美最佳大学排名榜,其中美国传统名校哥伦比亚大学(下文简称“哥大”)从上届排名第2猛跌至第18名。 据《纽约时报》12日报道,哥大的排名大跌与其数据造假有关。今年2月,哥大一名数学教授公开发文质疑该校提交的排名数据是“不准确的”。哥大随后开始进行自查,并于6月宣布不再参加…

    2023年10月11日
  • 女服装设计图铅笔画图

    不同的工具有不同的特性,想要将其特性充分发挥出来,采用相应的表现技法和一些辅助手段。今天主要给大家介绍彩铅绘制时装效果图的一些技法。当然可以用到的工具还有水彩、马克笔等。 需要明确的是,不管采用何种工具,人体比例结构、明暗立体关系,色彩搭配和面料质感等,都需要在画面上准确呈现出来。 彩铅工具及基本技法 彩铅是初学者比较容易掌握的一种工具,其笔触细腻,叠色自然…

    2024年1月8日
  • 美国cs硕士读几年

    美国硕士读几年?小编发现许多申请美国硕士留学的同学们会问到这个问题。其实,对于美国硕士读几年?这个问题并没有一定的答案,下面至天道小编将详细给大家介绍,希望大家可以了解清楚“美国硕士读几年能够毕业”?这个问题。 美国硕士读几年能够毕业?很多美国商科项目是一年,比如金融、会计、市场、管理,大部分的理工科项目是两年比如CS、EE、数学、物理,也有部分交叉学科是一…

    2024年6月13日
  • 中国社会科学院大学税务专硕

    考试科目: (101)思想政治理论 (204)英语二 (303)数学三 (433)税务专业基础 招生单位: 中国社会科学院大学 考试方式: 统考 院系所: 税务硕士 专业代码: (专业学位)税务 学习方式: 全日制 研究方向: 不区分研究方向 7月复习,你给自己做好计划了吗,大伙伴儿们。致硕考研分享7月复习各科目复习计划,一起来看看你有哪些任务要完成:   …

    2024年10月16日
  • 韩国大使馆签证查询(青岛韩国大使馆签证查询)

    驻韩大使馆发布赴韩整容提醒:美容整形须谨慎 爱美之心人皆有,美容整形须谨慎 近年来,不少外国人来韩进行美容整形,一些人因此卷入医疗纠纷,手术失败甚至闹出人命的情况也时有发生。中国驻韩国大使馆在此提醒来韩整容中国公民注意以下事项: 提醒事项: 一、切忌盲从广告宣传。不被夸张用语、折扣优惠蒙蔽双眼。术前全面了解手术风险及可能的并发症、后遗症,客观理性做选择。 二…

    2023年11月6日
  • 法学jd是什么意思

    Juris Doctor一直就是高大上的代名词,因为直译过来,JD就是法学博士的意思。但在法律从业者内部,虽然大家都心知肚明,JD不是真正的PHD,但是大家都以法学博士相称,中国教育部从始至终都将澳洲JD认证为硕士。 根据教育部的最新通知,JD的中文名称统一为“职业法律文凭”,美国、澳洲的JD学历认证为硕士层次,加拿大的JD则被认证为学士层次!这个“职业法律…

    2024年5月6日
  • sci是什么意思_sci是什么意思论文

    SCI全称Science Citation Index,翻译成中文的意思就是科学引文索引。SCI可以说是当今世界上最重要的几个检索性刊物之一。一般搞学术的人都知道,如果您可以发表一篇SCI,这对你的职业发展是多么的重要。下面我就为大家具体介绍发表一篇SCI,对您到底意味着什么?  一、发表一篇SCI意味着保研几率大增 如果你非常优秀,可以在大学期间,发表1…

    2024年3月8日
  • 加州前几名的学校

    在加利福尼亚州,公立和私立大学在录取率、入学率、师生比、研究经费、奖学金比例、校园环境和学生评价等方面存在显著差异。以下是对一些著名的加州大学的详细比较: 公立大学:加州大学伯克利分校 (UC Berkeley):录取率: 14.5%(竞争激烈)。入学人数: 约42,000名学生。师生比: 20:1。研究经费: 每年超过10亿美元,特别是在科学、技术和工程领…

    2025年4月1日
  • 清华大学数学系分数线

    近日,清华大学和北京大学都在官网公布了2024年各省录取分数线,来看看你所在的省要多少分才能上清北吧!清北生们都是通过什么方式进入清华北大的呢? 各省本科普通批清华、北大录取分数线 北京大学 注:最终录取分数请以各省考试院公布的为准 北大在浙江省的录取分数线高达707分,在北京不限Ⅱ组(700分)、辽宁理科实验班类(702分)、黑龙江理科(705分)的分数线…

    2024年10月23日

联系我们

400-800-8888

在线咨询: QQ交谈

邮件:admin@example.com

工作时间:周一至周五,9:30-18:30,节假日休息

关注微信