コーネル大とAdobe：「写真らしさ」保ち画風変換、ゆがみ解消でリアルに
米コーネル大学とAdobeの研究チームは、写真の構図とリアルさを保ったまま、別画像のような雰囲気に変える技術を開発した。深層学習による画風（スタイル）変換*1で従来課題となっていた余計なゆがみや変換ミスを低減した。写真らしさはそのままで昼夜や季節を変えたり、画家の独特なタッチを適用したりできる。
論文
Deep Photo Style Transfer, Luan et al., arXiv:1703.07511, Mar 2017
研究の背景
深層学習によるスタイル変換はある画像に、別の絵や写真などの「参照画像」の画風を移植できる技術だ。画像認識に使われる「CNN（畳み込みニューラルネットワーク）」と呼ぶ技術を利用し、元画像との構図の違いと、参照画像とのスタイルの違い*2が同時に小さくなるような画像を新たに生成する。
ただ従来の手法は、写真のリアルさを維持したままスタイル変換を施すのが難しいという課題があった。仮に元の画像と参照画像がどちらも写真の場合でも、変換後に生成される画像は直線部分が波打つなど絵画のようなゆがみを生じてしまう。
今回のポイント
コーネル大とAdobeは、深層学習を実行する際の条件を工夫して問題を解決した。具体的には、変換後の画像が元画像の回転・拡大縮小・平行移動から大きく乖離しないように制約を加えた*3。
さらに、元画像と参照画像で意味合いの似た領域同士に限定して画風を移植できるような制約条件も追加した。これにより、例えば元画像中の建物部分に参照画像中の空（そら）部分のスタイルが誤って適用されるのを防ぐことができる。
新手法で変換した画像を人間の評価者にスコアづけしてもらったところ、「写真らしさ」と「スタイル変換の忠実さ」の両方で従来技術を上回った。
応用可能性
今回の技術は写真に写った風景の時間帯、天候、季節などを自由自在に変換することができ、幅広い分野で応用が期待される。
