中国古动物馆外墙三维可视化展示效果图(拟石科技制作)。
受访者供图志留纪古海洋VR场景灰模示意图(拟石科技制作)。
化石三维重建。
中国科学院古脊椎动物与古人类研究所(以下简称古脊椎所)研究员卢静最喜欢的鱼,是中国古动物馆中的“镇馆之宝”——保持了4亿年前古老面貌的“活化石”拉蒂迈鱼。在它身上能看到四足动物乃至人类身体的结构和器官的影子。
5月14日,中国科学院公众科学日期间,卢静把这一镇馆之宝和其他几种鱼类“搬”到了博物馆的外墙上。不同的是,它们只有骨骼,没有肉身。这些骨骼有的一会儿闪着炫酷的色彩,科技感十足;一会儿又呈现洁白的骨头质感,再配上故宫红的背景,复古且庄重。
这是卢静带领三维可视化团队第一次真正把三维重建和数字复原技术用于科普展示中。不仅如此,她还和艺术家们一起,探索了科学与艺术相结合的创作方式,用最先进的建模和渲染技术,让骨骼呈现出比真实更艺术、比艺术更真实的效果。
两年前,卢静开始在古脊椎所搭建三维重建和可视化平台,它正逐渐成为联结科研和科普两翼的重要的创新技术平台。
CT扫描只是第一步
古生物骨骼的精细呈现,首先要归功于断层扫描(CT)技术的发明。
CT最初是在医学和制造业中发展起来的,从上世纪90年代起,古生物学家开始尝试把它应用到化石研究中。但由于化石比生物体致密得多,且不同化石的物质成分千差万别,直接套用医用CT机器往往很难达到理想的扫描效果,研发古生物研究专用CT就成为了迫切需求。
2008年,古脊椎所与中国科学院高能物理研究所和中国科学院自动化研究所合作研制了全球首套专门应用于古生物化石研究的高精度CT机器,2011年投入使用。这使得古生物学家能够方便、快速、高质量地对不同大小的脊椎动物(含人类)化石及现生生物的内部精细形态和显微结构进行无损检测和重建。
“有一个简单的统计,从2011年至今,通过我们的CT机器扫描的化石样品有9000多件、现代生物样品2000多件,这些扫描数据在《自然》《科学》等国际顶级学术期刊及子刊上发表了150多篇论文。”卢静说,CT的应用已经成为古生物学的常规研究手段。
“很多人,包括研究人员都会误以为CT和医院里看X光片一样,扫描完就可以直接看结果了,实际上CT只是获取数据的第一步。”卢静解释,CT得到的原始数据只是一套谁也看不出是什么的图像数据,而我们最终想看到的是某个局部结构的三维形态信息,这就要对原始数据进行分割和重建,这样才能把精细的结构单元准确、清晰地呈现出来,进行分析和研究。
2023年1月,朱敏院士团队使用高精度CT和三维重建对一种保存完整的早期有颌鱼类——西屯副云南鱼进行了重新研究,结果发现,这条鱼的“腰带”,也就是相当于我们后肢部位骨骼结构的重建结果,和过去基于机械清修和外部观察的认知非常不同,这对有颌鱼类成对附肢特别是后肢的起源与演化产生了很大影响。
“形态学研究是古生物学的根基,只有通过CT和三维重建尽可能地把所有形态结构的解剖学特征全部提取出来,才能更好地助力古生物研究。”
她告诉《中国科学报》,在现生生物研究中,这项技术也大有可为,例如如果获得重要动物胚胎发育各个阶段的成套的三维扫描数据,就能够完整呈现生物个体发育中重要结构器官的变化全过程,在此基础上与分子生物学、发育生物学研究结合,对探索生命演化等这些重大科学问题有极大意义。
三维重建也有了“美图秀秀”
然而,三维重建工作在过去一直是劳动密集型产业。卢静介绍,目前,国际上三维重建的付费标准是80~140欧元/小时,且工作效率比较低。它依靠的是少数经过长期训练的“数字化石修理师”。
2016年,卢静在澳大利亚国立大学应用数学系做博士后,所在团队的研究方向正是CT和三维可视化。2017年回国后,她很快开办了三维可视化培训班,又于两年前建立了三维重建和可视化平台,不仅大大提升了三维重建的时效,同时显著降低了人力成本。
三维重建和可视化平台的目标不止于此,卢静和团队正在尝试的是基于化石、CT数据以及真实生物材料的古生物数字化研发。通过三维建模、三维复原、数字创作、动画制作、VR、AR及MR等技术方式对各类古生物(生物)资源进行有机整合,探索其在科研领域和虚拟世界里的创新应用。
“我们通过古生物三维动态模型的搭建,除了科学严谨地复原生物结构外,还可以用动态骨骼绑定技术,赋予模型运动能力,提升模型所包含的信息量和价值;独立原创设计出更真实丰富的生物体色构成;最后还可以衍生出三维动画、立体投影、虚拟现实VR/AR/MR/SR、模型雕塑等应用。”
为了提升化石和现代生物成像数据的可视化效果,卢静专门开发了一款用于处理三维表面模型的免费软件Vayu,集“美图秀秀”和“剪映”功能于一身,除了拥有编辑、渲染、标注、分析等可视化工具外,还自带VR模式以及快捷的动画制作方法,用于各种成果展示和教学过程。利用它,科研人员可以在最短时间内掌握三维表面模型的快速渲染和动画制作。
2022年9月,《自然》同期发表了朱敏院士团队4篇古鱼类学术论文,由三维可视化团队完成的沈氏棘鱼、梵净山鱼、黔齿鱼、土家鱼、秀山鱼复原图登上了《自然》封面。
传递真实的科学之美
卢静对三维可视化的探索最初源于科研需要,直到两年前,她发现生物的准确重建与复原对于公众了解古生物知识至关重要。
2020年4月,华为发布了基于河图技术的首款应用“华为AR地图”——一只巨型虚拟锦鲤“飘浮”在上海外滩的上空,形成了极强的视觉冲击力。
“我在网上看到图片后,触动特别大。”卢静谈道,“计算机虚拟技术已经有了极大的提升,但我们对生物复原的理解却有巨大的认知偏差。”
她发现,这条锦鲤无论从解剖结构还是体态上看,都不像一条真正的鱼,它也不可能游起来。
“艺术之美是蕴含在真实之中的,而复原的科学性体现的就是真实性。”卢静说,过去常常认为科学和艺术之间存在比较大的鸿沟,是因为既懂科学又懂艺术的人是稀缺品,因此,她希望把三维可视化团队打造成两者兼有的角色,希望它所提供的基于科学数据和艺术加工的复原成果展示,能够帮助公众提升对于生物世界的审美品位,让大家在欣赏一个生物形象时不单单只停留在视觉冲击上。
有了这样的认知,她意识到,三维可视化技术更应该走出学术圈,把所有古生物和现生生物的三维数字资产累积起来,搭建起整个史前生物的生活场景,最终植入任何真实场景和虚拟场景的数字展示中。而她最先想到的便是数字博物馆。
大家津津乐道的自然历史博物馆往往在欧美国家。法国自然历史博物馆有一个著名的大厅——比较解剖学大厅,专门展示动物的精美骨架。博物馆方为此邀请了一位摄影师为这些标本拍摄了一组极具科学性和复古美学的黑白照片,并出版了一本名为《演化》的图书,成为了科普图书中的一件精品。
“其实,我们国家的标本数量、质量和研究水平已经完全能与这些老牌自然博物馆比肩,而且,我们不乏珍贵的化石和现生生物标本,如果这些科学遗产不能被更多人看到,是很可惜的。”卢静说,如果能把它们用三维数字复原技术,以真实、极具美感的方式呈现在数字博物馆中,则可以彻底打破空间限制,在展示维度上超越那些老牌博物馆。
近年来,“梵高再现Van Gogh Alive”沉浸式数学光影展火爆30多个国家,许多国内观众都曾亲身感受这种数字虚拟技术带来的艺术体验。卢静坦言,珍贵的古生物三维复原、数字生物也能用同样的方式与大众见面。在她的理想中,未来的三维可视化展示既要达到世界顶尖水平,同时还要打造出具有中国特色的古生物IP。