期刊封面
腾讯天衍实验室郑冶枫:医学影像AI为什么需要小样本学习和域自适应技术?(3)
基于魔方变换的自监督学习是我们去年发布的一个技术,首先给核磁的一个脑部图像的三维医学影像切一个魔方,八个魔方块(二阶魔方2×2×2)随机打乱,因为打乱方法很多,于是我们做了一个限制。我们还
可以将每个魔方块做旋转以及把一部分图像盖住做掩码,通过这些变换以后,希望可以恢复原来的魔方块。首先把每个魔方块接上一个编码器(卷积下载&卷积压缩),八个魔方共享编码器,我们因此得到特征向量,做三个分类:知道用哪个方式打乱的;每个魔方是否做了旋转;魔方块是否做了抠图或者其他变换,对魔方块进行训练,训练完了以后,编码器就可以拓展、迁移到其他任务上面。
这里面有两个问题,一个问题就是我们只训练了编码器,对于分类任务来说编码器足够了,但是分割任务还需要解码器。于是我们需要对解码器也进行了训练,我们会选取一个魔方片做旋转,今年我们即将发布魔方变换2.0。
这个工作我们不再是进行分类任务,而是做图像复原任务,每次选一个魔方片做旋转,把打乱的图像输入网络,目标是恢复原来的图像。是类似分割的任务,这样既可以训练编码器,也可以训练解码器。
训练完了之后我们可以把其迁移到分割任务上,做一键分割,我们用的魔方是高阶魔方,每个魔方片大概7层左右,如果完成打乱的话几乎不可能恢复原来的图像,所以我们随机选择做四次魔方片的旋转。
如果数据量比较少只有10%数据的话,上面第一行就是随机开始训练,分割出来之后大概只有58%左右准确率,用魔方变换2.0的话,分割率可以达到73.0%,有了巨大的提升。随着训练样本越来越多,分割的准确率可以达到82.9%,在这种情况下,我们还是有1个多百分点的提升。
介绍域自适应案例1:VideoGAN:视频风格转换
刚才提到了如何用小样本学习、缓解样本缺乏的问题,后面分享两篇论文讲解怎么去做自适应提高算法跨医院的泛化能力,下面介绍一下如何提升域自适案例。
第一个是我们做视频风格迁移(转换)的案例,我们做过很多结直肠内镜项目,通过内镜可以看里面有没有息肉,有的话就分割出来。从这张图片来看,左边的呈黄色,右边的偏白色,如果用一个数据量训练的话,图像出来的效果会很差。
为了解决域偏移问题,我们提出新型无监督域自适应的方法,来缓和偏移所导致的性能下降。
做输入端做图像分割的话,就是所谓的图像风格迁移,现在用的比较多的是CycleGAN,迁移到另外一个域的话,希望跟另外一个域的图像看起来一致,这个概念出来以后在娱乐场景下有很多应用,比如这是一张河边建筑物的照片,希望把这个照片迁移之后看到很眩酷的东西,比如把男生变成女生。
但是这种方法并不能马上应用于医疗。2018年我们发表了一篇论文,指出了这里面有一个致命的问题,迁移的时候会改变底层的组织结构,这是医疗当中所不允许的,所以我们要进行限制,保证迁移内容不变。
我们在刚刚的视频(结直肠数据集)里面用了配对的方法,每次输入网络的是两张图像,先做特征提取,中间有信息交换,最后会通过CycleGAN解码出来,我们发现两张图像配对以后可以保证整个视频迁移过去以后,视频是连续的,不会跳变,非常神奇地可以解决结构扭曲的问题。
这是一个结直肠内镜数据集,第一行是原始图像,最后一行是把原始图像迁移之后的风格,可以看到黄色的图像迁移成了白色的图像,风格迁移以后图像色调发生了很多的改变,但是我们这里可以看到图像内容本身、包括息肉完全没有发生改变。
从这个结直肠息肉分割结果来看,加了图像风格迁移之后有四个多百分点的提升。
介绍域自适应案例2:OP-Net:基于单张图像的风格转换
文章来源:《航空航天医学杂志》 网址: http://www.hkhtyxzz.cn/zonghexinwen/2020/0819/447.html
上一篇:北京朝阳医院童朝晖:半年“追疫”一万五千公里
下一篇:[文献]硫酸乙酰肝素蛋白聚糖在胶质母细胞瘤肿瘤微环境中的作用研究进展 |纪