株式会社キャンパスクリエイト

お客様の課題解決を
オープンイノベーションで実践する
広域TLO

(調布オフィス)
〒182-8585 東京都調布市調布ヶ丘1-5-1
国立大学法人電気通信大学産学官連携センター内

開放特許情報

特許情報

発明の名称 画像スタイル変換装置、画像スタイル変換方法および画像スタイル変換プログラム
技術分野 IT
出願日 平成29年2月14日
出願番号 特願2017-24688
公開番号 特開2018-132855
登録番号
出願人 国立大学法人電気通信大学
発明者 柳井 啓司
特許公報 PDFのダウンロードはこちらから
概要 【要約】リアルタイム処理を可能としつつ、任意のスタイルに変換することのできる、画像スタイル変換技術を提供する。

【特許請求の範囲】
【請求項1】
 変換元となる画像を入力する第1の画像入力部と、スタイル参照用の画像を入力する第2の画像入力部と、前記第1の画像入力部により入力された変換元となる画像を、事前の学習結果に基づいて変換後の画像に変換する、畳み込みニューラルネットワークによるエンコーダ・デコーダ・ネットワークと、前記第2の画像入力部により入力されたスタイル参照用の画像のスタイルを示すスタイル・ベクトルを抽出する、畳み込みニューラルネットワークによるスタイル抽出ネットワークと、前記スタイル抽出ネットワークにより抽出されたスタイル・ベクトルを、前記エンコーダ・デコーダ・ネットワークの中間層に結合する結合部と、前記エンコーダ・デコーダ・ネットワークから変換後の画像を取得して出力する画像出力部とを備えたことを特徴とする画像スタイル変換装置。
【請求項2】
 変換元となる画像を入力する画像入力部と、前記画像入力部により入力された変換元となる画像を、事前の学習結果に基づいて変換後の画像に変換する、畳み込みニューラルネットワークによるエンコーダ・デコーダ・ネットワークと、ユーザ設定に応じてスタイルを示すスタイル・ベクトルを生成するスタイル・ベクトル生成部と、前記スタイル・ベクトル生成部により生成されたスタイル・ベクトルを、前記エンコーダ・デコーダ・ネットワークの中間層に結合する結合部と、前記エンコーダ・デコーダ・ネットワークから変換後の画像を取得して出力する画像出力部とを備えたことを特徴とする画像スタイル変換装置。
【請求項3】
 前記結合部に与えられるスタイル・ベクトルを圧縮する圧縮部を備え、前記結合部は、圧縮後のスタイル・ベクトルを前記エンコーダ・デコーダ・ネットワークの中間層に結合することを特徴とする請求項1または2に記載の画像スタイル変換装置。
【請求項4】
 前記圧縮部は、主成分分析、非負行列因子分解法、または、ニューラルネットワークにより、スタイル・ベクトルを圧縮することを特徴とする請求項3に記載の画像スタイル変換装置。
【請求項5】
 前記圧縮後のスタイル・ベクトルを複製する複製部を備え、前記結合部は、複製後のスタイル・ベクトルを前記エンコーダ・デコーダ・ネットワークの中間層に結合することを特徴とする請求項3または4に記載の画像スタイル変換装置。
【請求項6】
 変換元となる画像およびスタイル参照用の画像を入力し、入力された前記スタイル参照用の画像のスタイルを示すスタイル・ベクトルを、畳み込みニューラルネットワークのスタイル抽出ネットワークにより抽出し、抽出された前記スタイル・ベクトルを、畳み込みニューラルネットワークのエンコーダ・デコーダ・ネットワークの中間層に結合し、入力された前記変換元となる画像を、前記エンコーダ・デコーダ・ネットワークにより、事前の学習結果に基づいて変換後の画像に変換し、前記エンコーダ・デコーダ・ネットワークから変換後の画像を取得して出力する、処理をコンピュータが実行することを特徴とする画像スタイル変換方法。
【請求項7】
 変換元となる画像を入力し、ユーザ設定に応じてスタイルを示すスタイル・ベクトルを生成し、生成された前記スタイル・ベクトルを、畳み込みニューラルネットワークのエンコーダ・デコーダ・ネットワークの中間層に結合し、入力された前記変換元となる画像を、前記エンコーダ・デコーダ・ネットワークにより、事前の学習結果に基づいて変換後の画像に変換し、前記エンコーダ・デコーダ・ネットワークから変換後の画像を取得して出力する、処理をコンピュータが実行することを特徴とする画像スタイル変換方法。
【請求項8】
 変換元となる画像およびスタイル参照用の画像を入力し、入力された前記スタイル参照用の画像のスタイルを示すスタイル・ベクトルを、畳み込みニューラルネットワークのスタイル抽出ネットワークにより抽出し、抽出された前記スタイル・ベクトルを、畳み込みニューラルネットワークのエンコーダ・デコーダ・ネットワークの中間層に結合し、入力された前記変換元となる画像を、前記エンコーダ・デコーダ・ネットワークにより、事前の学習結果に基づいて変換後の画像に変換し、前記エンコーダ・デコーダ・ネットワークから変換後の画像を取得して出力する、処理をコンピュータに実行させることを特徴とする画像スタイル変換プログラム。

本特許の活用に関心がある方はコチラよりお問合せください。