近日,复旦大学计算机科学技术学院教授颜波团队发明了跨任务、多维度的图像增强基础人工智能模型(UniFMIR),突破了现有荧光显微成像的极限。相关研究成果发表于《自然-方法》。
发展至今,荧光显微镜的观测分辨率已达到纳米尺度。针对显微镜光学硬件和生物样本光敏感性带来的挑战,生命科学和计算机领域的科学家开始携手探索利用人工智能(AI)实现图像增强的办法。
复旦大学的AI for Science团队以“一站式集成”为目标,构建了首个“统一”的荧光显微镜图像增强人工智能基础模型,大幅提升在图像超分辨率重构、各向同性重构、3D去噪、图像投影和过程重建五大任务方向上的性能。
UniFMIR采用了基于Swin Transformer结构的模块来增强特征表示,可针对不同任务的网络流程共享相同的特征增强计算。通过大规模数据集对模型进行预训练,并使用不同图像增强任务的数据微调模型参数,UniFMIR展现出比专有模型更好的增强性能和泛化性。这意味着,加载了UniFMIR的荧光显微镜可能成为生命科学实验室中的“神器”。
颜波表示,该模型为荧光显微镜图像增强提供了一个通用的解决方案,通过简单的参数微调便可应用于不同任务、成像模式和生物结构。
未来,生命科学实验室的科学家可通过进一步扩展训练数据的数据量和丰富度,不断强化UniFMIR的图像重构能力。(记者 江庆龄)
相关论文信息:
https://doi.org/10.1038/s41592-024-02244-3
相关人物