MedSAM3 实例分割
PanNuke Patch 与 Lizard WSI 结果分列展示，评估口径不同
作者报告结果PuzzleSeg · PanNukePuzzleSeg · Lizard WSI
.791
.867
.823
.707
.773
.705
.637
.865
.837
.468
.563
.308
结果按数据集与评估口径分别记录；不同数据集的数值不合并为统一基准。
病理分割框架
PuzzleSeg
先进的统一病理分割框架，标准化构建大小模型训练、评估与临床应用部署
统一 WSI 与 ROI 数据规范，接入可插拔模型，运行十亿像素级推理，并在切片级评估结果；从实验到部署，配置全程可复现。
WSI原生模型可插拔切片级评估实验可复现
MODEL DEMO
部署PuzzleSeg推理分割模型到PuzzleVision阅片器
使用PuzzleSeg框架训练并部署的Triplet-SAM推理分割模型，实现多尺度交互式特征识别，并基于自然语言推理后自动分割更多相关特征区域。
PUZZLESEG训练的模型推理演示GIF
架构介绍 · 1 / 2
贯穿分割全链路的三层统一架构
数据、执行与实验溯源三套统一接口，覆盖训练、十亿像素级推理、切片级评估与复现。
01
数据与空间层
从数据接入到十亿像素级推理，始终保持统一的坐标与尺度语义。
WSI / ROI 统一数据规范
坐标口径一致最高分辨率层坐标与 MPP 统一读取、分块与预处理。
十亿像素级原生推理
WSI 原生组织过滤、滑窗融合与稀疏存储兼顾显存和吞吐。
02
模型与执行层
用稳定接口连接不同模型、训练策略与分布式执行环境。
模型输出与注册统一
模型可插拔分割输出与注册表配置接入多类模型。
可组合的训练编排
高效微调组合损失、AMP、DDP、FSDP、ZeRO-3 与 PEFT / LoRA。
03
评估与溯源层
统一指标、配置和追踪记录，让每次实验都可信、可审计。
切片级评估
指标口径可信按切片汇总图块预测，解耦推理、指标与可视化。
可复现、可观测
实验可审计检查点携带配置，结合实验追踪与确定性设置。
架构介绍 · 2 / 2
从病理数据到可交付结果
控制、执行与产物三层协同，保持 WSI + ROI、最高分辨率层空间语义与图块到切片全程可追溯。
Hydra YAML 配置 + CLI 覆写实验配置与 CLI 覆写统一管理；YAML 配置随检查点保存 · Registry: 注册表驱动，按配置扩展 · Composable: 模块按配置组合 · Reproducible: 支持实验复现
1. 病理数据输入
统一接入 WSI、ROI 与公私有病理数据集
- WSI / ROI
- 公开与私有数据集
- 数据集转换器
2. 统一数据与空间规范
统一数据表示，保持最高分辨率层坐标语义
- Parquet / ROI 记录
- 最高分辨率层坐标
- 后端 → 数据集 → 切片
- NumPy → 模型无关的数据整理
3. PuzzleSeg 核心引擎
统一模型、训练与分布式执行
- Layer 4 · 分布式训练器Accelerate 统一单卡与多卡训练Accelerate · DDP · FSDP · ZeRO-3
- Layer 3 · 训练策略组合损失、PEFT 与优化调度分割 · 检测 · PEFT · 优化器 / 调度器
- Layer 2 · 处理器 + 模型统一预处理与后处理，覆盖语义与实例分割预处理 / 后处理 · 语义分割模型 · 实例分割模型
- Layer 1 · 注册表与接口规范注册表扩展数据集、变换、模型、处理器、损失与指标数据集 / 变换 · 模型 / 处理器 · 损失 / 指标
回调与可观测性生命周期钩子、日志、检查点与实验追踪
4. 推理与评估
同一引擎覆盖图块 / WSI，支持同步 / 异步
- 图块推理
- 滑窗 WSI
- 同步 / 异步评估
- 切片聚合语义 · 实例 · COCO mAP / cgF1
5. 产物与可视化
保留模型、配置、指标与可视化结果
- 检查点 + YAML 配置
- JSON 记录 / XLSX 记录
- W&B / 报告 / 叠加图
模型与任务覆盖
已支持的任务与模型
任务类型说明模型如何输出，输入 / 提示方式说明分割如何触发，二者彼此独立。模型接入状态单独标注，与任务能力分开迭代。
任务类型适配模型输入 / 提示方式平台能力模型接入状态
语义分割U-Net特定任务监督训练
面向特定任务训练，提供稳定的语义分割基线
已接入可提示概念分割SAM 3文本或视觉提示
提供文本或视觉提示分割，支持 LoRA 微调与图块 / WSI 评估
已接入推理式分割LISA图像与自然语言推理指令
结合图像与自然语言推理指令生成掩码，支持 LoRA 与 ZeRO-3
已接入目标检测——图像输入，自动检测
数据规范与输出接口已支持框标注；专用检测模型待接入
待接入性能对齐实验
面向具体任务的验证与复现结果
Dice
Mask IoU
IoU50 Recall
IoU75 Recall
PathLISA 推理式分割
相同 5 个数据集 · 相同 single-tile 记录粒度
参考结果PuzzleSeg
.212
.225
.111
.154
滑窗 WSI 评估提升精度
GlaS · 同一 PuzzleSeg U-Net · 对比图块与滑窗聚合
图块滑窗nnU-Net 参考
放大坐标轴（.82—.95）；Sliding-window 使结果与 nnU-Net 的差距缩小一半以上。
案例研究 · 基于 PuzzleSeg 构建
Triplet-SAM：报告驱动的分割，概念到掩码全程可追溯
Triplet-V1 生成结构化病理描述；解析器把其中受支持的描述项转成概念提示，SAM3 再把每个提示落到图像区域上。由此，选中的报告项与可查验的空间掩码建立起对应关系。
- 01报告生成Triplet-V1
读懂图像
病理多模态模型逐尺度阅读切片，输出结构化的病理描述。
图像→结构化发现 - 02概念抽取报告解析器
拆成概念
把报告里的每一条描述拆成一个可被分割模型消费的概念提示。
结构化发现→概念提示 - 03像素定位Triplet-SAM
落到像素
Triplet-V1 与 SAM3 联合推理，为每个概念生成一块空间掩码。
概念提示→空间掩码
输入图像
10× / 40× / 200× 三个尺度各取一例。
被选中的报告描述项，都可对应到一块可定位、可查验的掩码区域。
案例研究 · Triplet-SAM 在真实切片上的表现
同一块ROI，三个尺度的证据
左列是原始视野，中列是 Triplet-V1 输出的结构化描述，右列是 Triplet-SAM 据此生成的掩码。三行是同一个 ROI 的三个放大倍率，中列高亮的那一项就是右列掩码的生成依据。
一张乳腺穿刺 WSI，从全片定位到下面三个尺度共用的 ROI。
10×组织上下文肿瘤长在哪、占多少
- Tumor_presence
- 存在肿瘤性病变
- Tissue_parenchyma
- 密集
- Tissue_stroma
- 密集
- Normal_tissue_ratio
- 否
- Growth_pattern
- 实性巢状
- Stromal_background
- 纤维化
- Lobular_structure_preserved
- 无
- Ductal_structure_preserved
- 无
40×组织结构细胞怎么排列、间质什么状态
- Cell_polarity
- 消失
- Cell_overlapping
- 有
- Cell_sparsity
- 无
- Cytoplasmic_features
- 嗜酸性
- Nuclear_size_uniformity
- 否
- Nuclear_chromasia
- 深染
- Stroma
- 小血管浸润
200×细胞形态细胞核异型到什么程度
- Nuclear_atypia
- 重度
- Nuclear_membrane
- 明显不规则
- Chromatin_pattern
- 深染
- Apoptosis_or_necrosis
- 可见片状坏死 / 核碎裂
- Nucleolus_visibility
- 显著可见伴核多形性
- Nuclear_to_cytoplasmic_ratio
- 显著增高
- Cytoplasmic_secretions
- 无
- Mitotic_figures
- 可疑非典型
PUZZLESEG
把 PuzzleSeg 接入你的病理分割流程
PuzzleSeg 框架已集成至 PuzzleOmni 病理操作系统，支持病理分割大模型与小模型的本地化科研开发，并可将研发成果进一步部署至 PuzzleVision 阅片器，应用于真实临床场景。