WaveNetの可能性
これまでの音声のモデル化では，音声が生成される過程を声道と音源とに分離することが一般的である（音声生成過程モデルと呼ばれる）．すなわち，音源とは声帯振動によって生じる空気の振動であり，この振動が舌や唇などで形成される空間（声道）を伝搬しながら変調をうけ，音声として放射される．この音声生成過程モデルは優れており，音声符号化，音声認識，音声合成などの音声処理に大いに貢献している．一方，厳密に見れば声の高さ（音源）を変えると声道の形状が微妙に変化するなど，声道と音源との相互作用があることも知られている．例えば，音声生成過程モデルに基づく音声分析合成系（VOCODER）では，声道を変えずに声の高さだけを変えると，不自然な合成音声になる．
これに対し，WaveNetは音声生成過程モデルに基づいておらず，過去の音声信号波形を利用して次のサンプリングデータを推定する方式であり．韻律特徴とスペクトル特徴とを同時にモデル化できる点が優れている．感情音声は声帯振動と声道形状が速く，且つ，大きく変化するため感情音声を合成するためには，多様でダイナミックな音声の特徴量を自由度高く表現することが求められる．そこで，本研究では，WaveNetを信号生成器とみなし，スペクトル，話者，感情などの補助情報を用いて条件付けをすることにより，多様な音響信号の生成を試みる．
左図はWaveNetの基本モデルである．時刻(t+1)の出力値の確率分布を，過去のN点の値から推定するモデルである．CNN（畳み込みニューラルネットワーク）構造を持つが，下位層から上位層へは全て接続されるのではなく，飛び飛びに接続されるのが特徴である．また，確率分布は，補助情報による条件下で推定されるのが一般的である．
２ステップによる学習
学習は２つのステップからなる．ステップ１では，大量の平常発声データを用いて，スペクトル情報と感情IDを補助情報としてWaveNetを学習する．ステップ２では，少量の感情音声データを用いて，感情IDだけを補助情報としてステップ１で学習したWaveNetモデルをチューニングする．
ステップ１の目的は，WaveNetに多様なスペクトルパタンを生成する能力を与えることである．ステップ２の目的は，感情IDだけから信号を生成するモデルを学習させることである．ステップ２ではスペクトル情報を利用したないため，調音結合などのバリエーションを学習データに反映する必要がないことから，学習データを少なくすることができる．
怒り（a）は，高い周波数帯域に強いスペクトル見られ，波形の振幅の変化幅が大きい，基本周波数は平常（ｃ）に比べて少し高い．喜び（ｂ）では，強いスペクトルは高低の周波数帯域の何れにおいても非常に強く出ている．基本周波数の変化が著しい．平常（ｃ）では，スペクトルの変化は少なく，低い周波数帯域に強いスペクトルが見られる．基本周波数は低く安定している．
