图像转换是GAN的一个重要应用，不同于原始GAN结构从一个维度较低(如512x1)的噪声生成图像，图像转换则接受图像级别(如256x256x3)的输入，并在保证云输入图像主要特征(如结构、人脸id)的情况下输出具有其他风格的相同尺寸图像。

DTN

算法笔记

这里使用SVHN数据集作为源域、Mnist数据集作为目标域，使用上述DTN算法进行实验和效果复现，将SVHN的数字转换到Mnist风格的数据，并保持数字标签不变。

与CycleGAN不同，Pix2Pix算法是一个单向转换算法，如果需要在两个域互相转换，需要独立训练各自的(生成器、判别器)

算法目标：两个域的图像互相是对方的目标域，完成两个域之间的相互转换
算法细节：
- 训练数据：该算法是一个无监督算法，两个域之间的图像不存在对应关系
- 网络结构：两个域和互为目标域切存在各自的生成器和判别器，分别负责将图像从转向和从转向，当然地也存在两个判别器判断输入图像是否是来自或域
- 网络损失: 其中 $、$ 表示从域到域的生成器和从域到域的生成器，中表示循环一致性损失，也是CycleGAN实现在无监督方案下完成图像转换的核心，其核心思想是通过两个生成器将某个域图像转到另一个域再转换回自己域的时候，得到自己本身。

和CycleGAN同期出了两篇论文-DiscoGAN和DualGAN，这两篇论文的核心思想和上面的非常接近，甚至连损失函数都是基本一致的，即使用两个域的GAN损失和重构损失，具体算法示意图如下:

三者在网络结构上会略有不同:

	生成器	判别器
CycleGAN	采用感知损失(perceptual loss) 的风格迁移架构，有 Residual Block并且也用了 instance normalization	PatchGAN局部判别
DiscoGAN	和 DCGAN 比较相似，是和简单的 Conv-DeConv 结构	也是和DCGAN一样使用简单的结构
DualGAN	采用和 Pix2Pix相同的 U-Net 对称结构，同时也包含了 Residual Block以及WGAN损失	PatchGAN局部判别

我这里对DiscoGAN和DualGAN也做了简单复现，放一下效果吧:

	线稿转彩图	彩图转线稿
DiscoGAN复现效果
DaulGAN复现效果

算法目标：将真实图像转换为卡通风格的图像，同时保留原图的结构信息
算法细节：
- 训练数据：无需成对的(真实图片，卡通图片)数据集
- 算法先验：卡通片通常具有比较清晰的边界，所以这里的判别器会判断来自三个域中的哪一个域(真实图像、模糊边界的卡通图像、真实的卡通图像)
- 网络损失：其中判别器输出三类预测结果，其将真实照片和模糊了边界的卡通图像都当做是"假"图像，后者损失能够迫使生成器的结果具有像卡通图一样更加清晰的轮廓边界；其中表示内容损失，保证生成的卡通图像能够保持原图的语义信息。
- 训练策略：随机的网络初始化容易让GAN生成崩塌，这里作者提出了"Initialization phase"，即只使用(4-2)的内容损失进行预训练，然后再加上对抗损失一起训练。