开源框架

UnPuzzle先进全面的病理 AI 模型构建、
训练与部署框架

面向全球病理 AI 研究者的开源一体化框架,提供从数据处理到模型部署的全流程工具链,助力病理 AI 研究与应用。

访问 GitHub
UnPuzzle 框架示意图

UNPUZZLE

一个框架,连接病理 AI 研究的关键环节

在统一流程中灵活选择数据、模型与评估方法。

统一研究框架

提供标准化病理 AI 研究工具链,实现数据处理、模型训练、评估及部署流程的统一化,简化研究工作流程。

多算法兼容

支持多种深度学习框架与算法模型,具备灵活的接口设计,便于研究者快速集成并对比不同方法。

开源社区驱动

基于开源理念构建,鼓励全球研究者贡献代码和创新想法,形成活跃的技术交流生态系统。

高度可扩展

采用模块化架构设计,支持从单机到集群的灵活部署模式,满足不同规模的研究需求与计算资源配置。

UnPuzzle 支持的 ROI 与 WSI 模型示意

框架涵盖基础模型编码器、ROI 视觉基础模型与 WSI 聚合方法。

UnPuzzle 模型训练流程示意

以图像或提取后的特征为输入,支持区域级与切片级任务。

RESEARCH WORKFLOW

从你的研究问题开始

根据研究问题和现有数据,选择合适的建模路线。

01

为新课题建立基线

整理队列与标签,选择图像表征和任务配置,开展分类、回归或生存分析。

02

为现有数据选择模型

在相同任务与数据划分下更换编码器或 MIL 方法,比较预测性能与计算开销。

03

开发新的病理 AI 方法

接入自研模型或采用新的训练策略,在统一流程中评估其表现。

按分析尺度选择建模路线

WSI · 全切片建模

从全切片提取图像块特征,再通过 MIL 方法训练切片级预测模型。

01切片处理
02提取特征
03MIL 聚合
04训练与评估

ROI · 区域图像建模

以标注区域为输入,选择视觉基础模型,分析局部形态与研究目标的关系。

01区域与标签
02选择视觉基础模型
03模型训练
04结果汇总
查看公开仓库与文档

MODEL ECOSYSTEM

为研究任务选择合适的模型

WSI 任务可组合图像编码器与 MIL 方法;ROI 任务可选择视觉基础模型。

同一张切片经过图像块提取、特征编码、WSI 聚合与任务预测的流程
图像块经特征编码与切片级聚合,支持不同研究任务。

病理基础模型(视觉编码器)

提取 WSI 图像块特征,并在相同下游任务与评估条件下比较编码器。框架已支持模型构建与接入;使用者需从各模型官方渠道获取权重,并按要求申请访问或下载许可。

UNI / UNI2Virchow / Virchow2CONCHProv-GigaPathH-OptimusPLIP
浏览完整模型配置目录

找到 41 项配置

conch_v1模型页面
dim 512Patch 512 × 512 pxMPP ≈0.5 µm/px

MahmoodLab/conch

conch_v15模型页面
dim 768Patch 512 × 512 pxMPP ≈0.5 µm/px

MahmoodLab/conchv1_5

dim 1024Patch 256 × 256 pxMPP ≈0.5 µm/px

MahmoodLab/UNI

dim 1536Patch 256 × 256 pxMPP ≈0.5 µm/px

MahmoodLab/UNI2-h

gigapath模型页面
dim 1536Patch 256 × 256 pxMPP ≈0.5 µm/px

prov-gigapath/prov-gigapath

gigapath-flash模型页面
dim 384Patch 256 × 256 pxMPP ≈0.5 µm/px

prov-gigapath/prov-gigapath-flash

dim 2560Patch 224 × 224 pxMPP ≈0.5 µm/px

paige-ai/Virchow

virchow2模型页面
dim 2560Patch 224 × 224 pxMPP ≈0.5 µm/px

paige-ai/Virchow2

hoptimus0模型页面
dim 1536Patch 224 × 224 pxMPP ≈0.5 µm/px

bioptimus/H-optimus-0

hoptimus1模型页面
dim 1536Patch 224 × 224 pxMPP ≈0.5 µm/px

bioptimus/H-optimus-1

dim 768Patch 224 × 224 pxMPP ≈0.5 µm/px

bioptimus/H0-mini

dim 768Patch 224 × 224 pxMPP ≈0.5 µm/px

owkin/phikon

Patch 为 WSI 裁取区域的边长,不是模型内部的 token 尺寸;MPP 为目标分辨率。≈ 表示按倍率估算,实际值请以切片元数据为准;未规定表示模型资料未给出固定值。 参考提取配置

目录按配置项统计,同一模型的不同版本或规模分别计数。权重获取与使用条款请以原模型文档为准。

MULTI-TASK RESEARCH

一批切片,解锁多个研究问题

基于同一 WSI 队列,为不同研究问题配置分类、回归或生存分析任务,并分别设置标签、损失函数和评价指标。

任务配置示例 / 肺癌研究

从肺癌切片与标签出发

确定研究目标与标签,在统一的实验配置下训练模型,并分别评估各项任务。

WSI 图像块 → 基础模型特征 → 切片聚合 → 任务输出

分类

组织学分型

肺腺癌 / 肺鳞癌

HISTOLOGICAL_DIAGNOSIS
AUROC · F1
分类

病理分期预测

使用已有分期标签构建分类任务

AJCC_PATHOLOGIC_TUMOR_STAGE_reduced
分类指标
生存

总生存期分析

使用生存时间与结局事件标签

OS
C-index

REUSABLE RESEARCH ASSETS

每做一次实验,沉淀可以复用的研究基础

保存特征、配置、模型权重与结果,支持实验复现、任务扩展和后续训练。

01

带坐标的图像块特征

保存图像块特征与坐标,并记录编码器和处理设置,供后续实验复用。

features + coords_yx
02

训练记录与模型权重

保存训练日志与模型权重,便于复现实验或继续训练。

checkpoint · TensorBoard
03

任务指标与实验汇总

分别记录任务指标、模型配置与评估条件,便于比较实验结果。

results.json · summary

在相同任务下比较不同模型

比较编码器时固定下游聚合方法;比较 MIL 方法时复用同一编码器的特征。两种比较都应保持任务、队列和数据划分一致。

编码器对比更换编码器 · 固定 MIL 方法与任务设置
MIL 对比固定特征与数据划分 · 替换聚合方法

FROM RESEARCH TO USE

从个人实验走向团队协作与应用

使用 UnPuzzle 开展和复现实验,结合 PuzzleOmni 进行团队协作、数据治理与模型资产管理,再通过 PuzzleVision 将模型接入阅片流程。

学术研究

支持高校与科研机构开展病理 AI 方法研究。

产业研发

支持病理 AI 原型开发与方法比较。

医院科研

依托合规研究队列,探索临床相关问题。

AI INFRASTRUCTURE

基于UnPuzzle的AI基础设施服务

提供先进AI基础设施,从数据到算力,助力科研/产品部署

安全智算集群

依托数据中心,从数据治理到GPU集群,提供先进智算平台,按需配置,灵活计费

全流程数据治理与代码库支持

提供大规模广覆盖的数据,标准化的模型库,统一的代码框架,帮助研究者快速搭建实验,规模化研究价值,全程可复现。

先进模型部署及调用框架

基于MCP及标准化API框架部署大小模型,灵活配置公私算力/安全方案

先进科研合作

领先的病理AI专家团队,200+高影响力论文,丰富的学术积累赋能UnPuzzle科研合作

FAQ

关于 UnPuzzle,你可能还想了解

从自有队列、特征复用到新方法接入。

可以使用自己的医院或研究队列吗?

可以按框架要求准备图像或特征、任务标签与数据划分,并补充相应的数据集和任务配置。建模前需核对切片、标签与病例标识的对应关系。

每个任务都需要重新训练基础模型吗?

通常不需要。WSI 路线可先用预训练编码器提取图像块特征,再训练 MIL 模型完成下游任务。编码器与处理设置一致时,特征可供多个任务复用。

其他工具生成的特征可以接入吗?

可以转换后接入。WSI 下游任务使用包含 features 与 coords_yx 的 .safetensors 文件;接入前需核对特征维度、坐标顺序和切片标识。模型名称相同不代表文件可直接互换。

能加入自己的视觉基础模型或 MIL 方法吗?

可以按照框架的数据、模型与任务接口接入。方法特定的数据格式、损失函数或训练策略仍需适配。

权重、代码版本和引用信息在哪里找?

请查看 UnPuzzle 公开仓库及各模型的官方文档。部分预训练权重需单独下载或申请访问权限;使用前请核对代码版本、许可与引用要求。

开始构建你的病理 AI 研究流程

了解框架中的方法与配置,并结合自有数据开展实验。

查看 UnPuzzle GitHub