多模态视觉语言大模型(VLM)

Triplet V1
首个面向病理多尺度推理的基础大模型

Triplet V1 以跨倍率推理为核心能力,让模型像病理医生一样完成视觉规划、逐级验证与结论收敛,并输出可追溯的证据链。

Triplet V1 — AI 病理推理
输入病理分析问题...
1

跨倍率推理,全流程可解释

Triplet 特有多尺度可解释证据链训练,逐步循证推理,构建临床可审核的推理表达。

2

推理可交互,证据可回溯

逐级呈现从低倍组织结构到高倍细胞学证据,医生可随时修正与回溯,形成闭环推理。

3

人在回路数据飞轮

人机循环数据标注,AI生成+医生审核+返哺训练,构建数据-AI能力飞轮增长。

为什么是多尺度推理

病理诊断不是看一张图,而是先低倍扫全局,再中倍定位结构,最后高倍确认细胞学。Triplet 把这条跨倍率流程定义为模型的核心能力目标,并据此设计训练与评测。

放大动机

全景扫描:识别组织整体结构与异常区域分布,为多尺度推理提供起点。

WSI
WSI
图像描述

低倍镜下可见导管/腺泡结构紊乱伴间质纤维化及细胞密集,提示组织结构破坏;中倍镜显示上皮细胞排列紊乱、核增大深染、基底膜不完整及肌上皮缺失,提示上皮异型性进展;高倍镜下核异型性显著、核浆比增高、染色质不均及病理性核分裂象,符合恶性肿瘤细胞特征。

放大动机

导管/腺泡结构紊乱,间质纤维化,细胞密集

10×
10×
图像描述

在10×放大下,导管/腺泡排列不规则,部分区域呈背靠背结构,间质比例显著增加并伴硬化性改变,细胞核密集、大小不一,局部可见轻度炎性浸润,整体结构拥挤。

放大动机

上皮细胞排列紊乱,核增大深染,核仁明显,胞浆减少,基底膜不完整伴肌上皮缺失

20×
20×
图像描述

在20×放大下,组织结构不规则,上皮细胞呈巢状或条索状浸润性生长,细胞极性丧失,核体积增大、深染、大小不一,核仁明显,胞浆稀少,间质纤维化伴炎细胞浸润,基底膜连续性中断,肌上皮层缺失。

放大动机

细胞核异型性显著,核浆比增高,染色质深染且分布不均,核仁明显,可见病理性核分裂象

40×
40×
图像描述

在40×放大下,组织结构紊乱,细胞排列密集且极向丧失,核体积增大、形态不规则、染色质深染且分布不均,核仁显著,核浆比增高,间质纤维化伴炎细胞浸润,可见多处病理性核分裂象。

WSI逐级放大40×

Triplet V1 能做什么

跨倍率推理与证据连接

显式连接至少两个倍率证据,避免单尺度"猜答案"。

多区域异质性理解

学习一条 Path 上多个 ROI 的前后文关系,理解该路线对整张 WSI 的诊断意义。

结构化输出(适合临床复核)

每个倍率输出放大动机 Reason、图像描述 Caption,并形成跨尺度推理链与总结。

可选中英输出

支持中英表达,但主叙事聚焦在跨倍率推理与证据链能力。

核心机制:Triplet 三元结构

Triplet 用三元组数据结构组织学习:多尺度图像 + 选择理由与病理特征 + 路线的诊断意义与发现。每条路线是一条完整的跨尺度 Path(10x → 40x → 200x)。

Image:每条 Path 的多尺度 ROI 图像
Caption / Reason:该倍率下的结构描述与放大动机
Thinking / Summary:跨尺度证据链和诊断结论收敛

数据与平台:从标注到推理数据生产线

Triplet 数据审核平台面向多中心数据分布与模态多样性,构建高质量、多尺度、可解释的推理数据体系。

AI 生成阶段(自动化)

WSI 全局分析,生成 overview(低倍结构、组织分布、异质性)。

生成候选 Path,并为每个区域构建跨尺度 Path(10x -> 40x -> 200x)。

逐层生成 Reason / Caption / 推理链 / 总结。

医生审核阶段(Human-in-the-loop)

修正不合理的放大动机与不准确描述。

修订跨尺度推理链逻辑与最终总结。

审核通过后回流训练,进入下一轮数据迭代。

训练与评测

SFT 让模型理解证据路线;RL 让"会推理"可以被可靠衡量。

SFT:让模型理解证据路线

基于多尺度每个区域构建跨尺度 Path(10x → 40x → 200x),逐层学习 Reason / Caption / 推理链 / 总结,让模型先学会"为什么放大、看到了什么、如何归纳"。

RL:让"会推理"被可靠衡量

采用 leakage-aware 机制抑制文本捷径:先做 text-only 对抗推断筛查,若不看图也能答对则判定泄漏并迭代修正。随后用 GRPO 对齐,奖励答案正确性与跨尺度推理一致性,并约束输出格式稳定。

Triplet 迭代训练总览
跨尺度 VQA 数据构建管线
GRPO 强化学习训练机制

实验结果

在两个核心评测任务上,Triplet V1 均取得显著领先表现。

跨尺度多图 TripletVQA-Test 准确率

对应任务:Accuracy on cross-scale multi-image TripletVQA-Test

领域模型对应性(Correspondence)确认性(Confirmation)定位能力(Localization)解释能力(Explanation)诊断能力(Diagnosis)平均值
通用Qwen2.5VL-7B41.847.371.144.363.753.6
Gemini 3 Flash48.358.771.653.772.160.8
GPT-5.247.859.774.145.865.258.5
医疗LLaVA-Med-7B25.916.928.420.924.923.4
HuatuoGPT-V-7B37.845.865.746.855.750.3
Lingshu-7B47.363.762.748.361.256.6
病理Quilt-LLaVA32.314.445.330.329.430.3
CLOVER37.361.773.146.365.756.8
Patho-R131.840.359.756.268.751.3
Triplet V180.689.184.676.184.182.9
PathMMU 单图基准测试 · PubMed-Test 子集正确答案: (A)
病理图像
病理图像

题目

Based on the cellular morphology, which layer of stratified squamous epithelium is most prevalent on the left side of the image? Translation 基于细胞形态,哪一层的复层鳞状上皮在图像的左侧最常见?

ASpinous layer Translation 棘层
BBasal layer Translation 基底层
CGranular layer Translation 颗粒层
DKeratin layer Translation 角化层

模型回答对比

Qwen2.5-VL-7B
(B)
<think> The image shows a section of stratified squamous epithelium. On the left side, there appears to be a layer with large, round nuclei and a relatively thin cytoplasm, which is characteristic of the basal layer cells. These cells are located at the base of the epithelium and are responsible for cell division and renewal. The spinous layer typically has cells with intercellular bridges and a more compact appearance. The granular layer contains keratohyalin granules and is located above the spinous layer. The keratin layer is the outermost layer and is composed of flattened, keratinized cells. Given these observations, the most prevalent layer on the left side of the image is the basal laye </think> Translation 图像显示一段复层鳞状上皮。左侧可见一层具有大而圆的核和相对较薄的细胞质的细胞,这是基底层细胞的特征。这些细胞位于上皮基底部,负责细胞分裂和更新。棘层细胞通常具有细胞间桥和更紧密的外观。颗粒层含角质透明颗粒,位于棘层之上。角化层是最外层,由扁平的角化细胞组成。根据这些观察,图像左侧最常见的层是基底层。
PathoR1-7B
(B)
<think> The image shows stratified squamous epithelium with distinct layers. The left side displays cells that are smaller, tightly packed, and aligned perpendicular to the basement membrane, characteristic of the basal layer. This layer contains cuboidal to columnar cells with high nuclear-to-cytoplasmic ratios, which are typical of proliferative cells. The spinous layer (A) features flattened cells with intercellular bridges, the granular layer (C) contains flattened cells with keratohyalin granules, and the keratin layer (D) consists of anucleate, flattened cells. The basal layer (B) is the deepest and most proliferative layer, aligning with the observed cellular morphology. </think> Translation 图像显示具有明显分层的复层鳞状上皮。左侧可见较小、紧密排列且垂直于基底膜排列的细胞,为基底层特征。该层含有立方至柱状细胞,核质比高,是典型的增殖细胞。棘层(A)特征为具有细胞间桥的扁平细胞,颗粒层(C)含有角质透明颗粒的扁平细胞,角化层(D)由无核的扁平细胞组成。基底层(B)是最深且增殖最活跃的层,与观察到的细胞形态一致。
Gemini 3-Thinking
(B)
<think> The provided images display a stratified squamous epithelium characterized by a distinct layer of cells at the base. In the image, the blue arrows specifically point to the cuboidal, densely packed cells of the stratum basale, which are highlighted by brown Ki-67 nuclear staining. This layer is situated directly above the basement membrane and represents the most prevalent morphology on the left/lower boundary of the epithelial ribbon. Therefore, the cellular morphology aligns with the characteristics of the basal layer. </think> Translation 提供的图像显示以基底部一层明显的细胞为特征的复层鳞状上皮。图中蓝色箭头特别指向立方形、密集排列的基底层细胞,这些细胞通过棕色 Ki-67 核染色加以突出。该层位于基底膜正上方,代表上皮带左侧/下方边界最常见的形态。因此,细胞形态与基底层的特征一致。
Triplet V1
(A)
<think> The image shows stratified squamous epithelium with a predominance of spinous layer cells. Stratified squamous epithelium typically has multiple layers, but the spinous layer is characterized by polygonal cells with intercellular bridges. The basal layer contains cuboidal cells, the granular layer has flattened cells with keratohyalin granules, and the keratin layer consists of anucleate squames. The left side of the image aligns with the spinous layer due to its cellular morphology and arrangement. The other layers are inconsistent with the observed features, such as the basal layer's cuboidal cells or the granular layer's flattened cells. Thus, the correct answer is A. </think> Translation 图像显示以棘层细胞为主的复层鳞状上皮。复层鳞状上皮通常有多层,但棘层的特征是具有细胞间桥的多角形细胞。基底层含有立方细胞,颗粒层有含角质透明颗粒的扁平细胞,角化层由无核鳞片组成。图像左侧与棘层一致,因为其细胞形态和排列方式符合棘层特征。其他层与观察到的特征不一致,如基底层的立方细胞或颗粒层的扁平细胞。因此正确答案为 A。

案例数据来源于 Triplet-V1 论文,展示不同模型在跨尺度推理任务上的回答对比。

在线试用

上传或选择一张示例图像,体验 Triplet 的跨倍率推理输出。

提示:上传或选择一张示例图像,点击"开始分析"体验Triplet的推理能力,结果仅供参考。

图像输入

支持上传或使用预设图像

上传限制:单张图片,最大 10MB
也可直接点击下方预设图像进行试用。

分析结果

Triplet V1
在线试用结果仅用于产品演示,不作为医疗诊断依据。

接入Triplet

面向系统接入、工作流协作与研究版强化推理的三种形态。

Triplet API

把跨倍率推理能力接入你的系统:VQA、结构化描述、证据链输出、质控接口。

Triplet Agents(协作版)

面向工作流:区域选择 -> 证据汇总 -> 报告草拟 -> 人类医生监督闭环。

Triplet Reasoning Edition(研究/高级版)

基于 leakage-aware 数据构建 + GRPO 强化学习,进一步提升跨尺度一致性与可控输出。

FAQ

Triplet V1 的核心差异是什么?

跨倍率推理是第一能力。训练、数据与评测都围绕"证据链闭环"设计,不做单尺度黑箱判断。

你们的数据如何保证可信?

采用循环式 human-in-the-loop:AI 先产出,医生审核修正并反哺训练,持续提升数据质量与可追溯性。

申请 Triplet V1 合作接入

如果你希望在真实病理场景中验证跨倍率推理能力,欢迎联系团队获取早期访问、API 接入与 Agents 协作方案。