SAM2 医学图像分割

视频演示

视频中四张图片分别为：沿z轴切片图像；真实肿瘤位置；不经过微调的SAM2-Large预测肿瘤位置；经过微调的SAM2-Large预测肿瘤位置

团队成员

• Shaohan Wang（王少涵）
• Ligeyan Li（李格言） · geyanli@umich.edu
• Jincheng Lyu（吕锦程） · GitHub
• Chloe Chen（陈玙） · GitHub · chloych@umich.edu

流程

• 读取 BraTS 多模态三维 NIfTI MRI 数据。
• 沿 z 轴将三维体数据切分为二维切片。
• 构建模型输入，并保存为 .npz 预处理文件。
• 在 SAM2 的部分 Transformer 层中应用 LoRA，实现参数高效微调。
• 在推理阶段进行伪视频前向与后向传播。

方法亮点

• 由于 SAM2 面向二维输入，因此将三维 MRI 体数据转换为二维切片。
• 预切片策略提升了训练效率和 GPU 利用率。
• 将 FLAIR 单模态复制为三通道输入，以适配 SAM2 结构并保留肿瘤敏感性。
• 在注意力层和 MLP 层中引入秩为 16 的 LoRA 适配器，仅微调约 0.3% 的参数。

我的贡献

• 设计 3D MRI 到 2D 切片的预处理流程。
• 实现 LoRA 微调，仅训练约 0.3% 参数。
• 搭建 SAM2 推理与伪视频传播流程。

结果

实验表明，低分辨率训练能够显著减少训练时间，但为了获得可接受的分割质量，仍然需要进行微调。若不进行微调而直接预测，则结果不可接受。

报告

报告仍在完善中。你可以在此查看当前草稿： 查看当前草稿

局限性

当前模型主要针对脑肿瘤分割，且仍需要人工标注一个初始切片作为提示输入。后续工作可以进一步提高可训练参数比例，并尝试使用更高分辨率的完整输入提升性能。