
REGZAの画質チューニング担当する、永井賢一氏

「メタブレイン」シリーズの開発、そして超解像技術をREGZAに搭載する作業を担当した、住吉肇氏

REGZAの商品企画を担当する、本村裕史氏
REGZAの超解像技術とはどんなものか? 技術的な解説をする前に、まずは「画質」をチェックしてみよう。
用意されたソースは、地デジの映像を想定した実写映像。すなわち、地デジの放送フォーマットで採用されている1440×1080の解像度で、REGZAを含め、最近主流のフルHDパネルの画素数(1980×1080)には足りていない映像である。
青空の下の芝生や建物など、その内容自身には特に問題はない。超解像技術を使っていない状態でも、「ああ、ディテールが豊かな映像だな」と感じるものである。REGZAの画質チューニングを担当する、東芝・デジタルメディアネットワーク社 テレビ事業部 TV設計第三部 参事の永井賢一氏は、「まあ、これでもきれいではあるんですが……」といいながら、超解像機能をオンにする。すると、画像は一変する。
建物の壁の質感や芝目のトーンなどが生まれ、全体のディテールがしっかりしてくる。といっても、エッジだけが持ち上がるような感じではない。「超解像技術」という言葉の通り、解像度が上がってきたようなイメージを受ける。横1440ドットでは再現できなかった部分が見えてきた、ということなのだろう。
「ちょっと面白いことに、超解像技術を使うことで、撮影者がどこにピントを合わせているか、といった部分が見えてくるんです」
永井氏はそう説明する。確かに、ディレクターズ・インテンションをしっかり感じるには、それだけ情報量が重要だ、ということなのだ。
解像度の低い映像からより高い解像度の映像を作り出し、失われたディテールを補完する機能が、REGZAに搭載された「超解像技術」の本質である。
だが、そういった話を聞いても半信半疑、という方も少なくないだろう。「情報が失われてしまったものが、映像処理で復活するのか? それは映像を勝手に“作って”しまっているのでは?」と不安に感じる人もいるだろう。
だが、REGZAの命である画像処理LSI「メタブレイン」シリーズの開発を担当し、今回の超解像技術をREGZAに搭載する作業も担当した、東芝デジタルメディアエンジニアリング株式会社 エンベデットシステムグループ プリンシパルエンジニアの住吉肇氏は、「超解像は映像を“作る”技術ではない」と否定する。
「超解像技術は、本来撮影時点では含まれていたはずの情報を、信号を送っていれば再現できるはずだった、より精細感のある情報、本来の質感を再現するためのものです。」
あったはずのものを「復元する」、それこそが超解像技術の狙いであり、今回のREGZAの狙うところなのだ。
デジタル技術において、映像はドットの集まりで表される。だから、ドット数が少なければ情報が少なくなり、映像のディテールは失われる……。
確かにその通りだ。だが、映像における「情報量」とは、ドットの数だけで表現されるものではない。周囲のドットがどんな色なのか、色がどのように変化しているかといったことも「情報」だ。映像には、我々が見て感じる以上の情報が含まれているのである。
「3年ほど前から、フルHDの液晶パネルが普及し始めました。しかし、そういったパネルにSD(アナログ放送やDVDの解像度)の映像を単純に表示すると、拡大率が大きく、ぼやけて見える、という問題がありました。もうちょっと精細感のあるものを表示することは出来ないか、ということで、超解像技術導入の検討が始まりました」
住吉氏はそう説明する。
多くのテレビやDVDレコーダーなどには、この問題に対処するため、「アップコンバート」「アップスケーリング」という技術が採用されている。これは、解像度の低い映像を拡大するための技術で、超解像技術もその一種と見ることができる。そもそも「超解像」という言葉は、東芝だけで生み出したものではない。撮影映像をより「高解像度化」する技術は、テレビだけでなく、様々なシーンで求められており、研究する団体・企業も多岐に渡る。
その中で、東芝の考える「超解像」の定義とはなにか?
それは「単なる拡大ではない」ということだ。
一般的に使われている「アップコンバート」「アップスケーリング」は、画像の「拡大」をいかに高精度に行うか、という技術といっていい。パソコンで写真を加工する際、グラフィックソフト内の「画像の拡大」という機能を使ったことがある人も多いはずだ。極論すれば、アップコンバート機能はそれらの機能と同じものである。無論、高画質を謳う機種の場合には、単純に拡大するのではなく、より精度の高い拡大を目指すような仕組みが取り入れられている。これだけでも様々なノウハウがあり、いかに美しいものを実現できるかが、メーカーの腕の見せ所ではあるのだが、すべてのシーンで完璧であるわけではない。
超解像には様々なアプローチがあるが、REGZAで採用されている超解像技術は「再構成法」と呼ばれるものである。 「一般的なアップコンバートでは、存在しない情報を補完する際、曲線で補完します。そのため、輝度変化がなめらかな曲線になってしまいやすく、正確な復元が難しいのです。REGZAの超解像技術では、画像本来の輝度値を持つ画素を増やすことで、高い精細感を持つ映像を復元できます」
住吉氏はそう説明する。
アップコンバートでは、映像のエッジ、すなわちディテールの部分が眠くなりやすい。そのため、エッジ先鋭化技術と組み合わせて使われることが多いのだが、それはあくまで「画質補正」であって、元の画像との関連性は薄い。そのため、場合によってはリアリティの薄い映像ができあがりやすいのが欠点だ。
だが、超解像技術では、元々の映像に存在する微少な最高域情報をできる限り再現できるため、元映像の持っているディテールに忠実な映像になるわけである。
ではなぜそうなるのか? そこで使われるのが「再構成法」である。
なにをやっているのかを理解するには、REGZAの超解像技術がどんなプロセスで行われているかを知るのが良いだろう。

一般的なアップコンバートの方式。補完する際、曲線で補完するので正確な復元が難しい

REGZAの超解像技術では、画像本来の輝度値を持つ画素を増やすことで、高い鮮鋭感を持つ映像を復元できるという
REGZAの超解像技術は、映像エンジン「メタブレイン・プレミアム」内に搭載された、超解像処理専用LSIが担当している。
超解像LSIの処理プロセスは以下の通りである。放送などから得られた映像は、最終的に表示される前に、超解像LSIへと入力される。その後超解像処理の後、液晶パネルへと表示するプロセスに移るわけだ。
超解像LSIは、1440×1080ドットの映像を、いったん通常の「アップコンバート」でフルHD化する。といっても、これは「仮」のもの。ここからがREGZAの超解像技術の眼目である。
アップコンバートされた「仮映像」を、今度はある処理を行って「ダウンコンバート」し、再び1440×1080ドットの映像を作る。この際に使われるのが、「撮像モデル関数」というものだ。
映像は、ビデオカメラで撮影された段階で情報が失われる。その様子をモデル化したものが「撮像モデル関数」。レンズから入った光の情報と、CCDを通り信号化されて記録された時の情報の「差」を、数学的にモデル化する手法である。理想的に言えば、「元映像」に「撮像モデル関数」を使って処理を行うと、「撮影し、1440×1080ドットになった映像」と同じものになるはずである。そこから逆に考えれば、1440×1080ドットの「低解像度映像」に、撮像モデル関数の「逆」を適用すれば、「元映像」になるはずなのだ。
だが、すでに述べたように、アップコンバートは「拡大」技術なので、元映像とまったく同じ映像にはならない。そこで、「放送されてきた映像」と、「撮像モデル関数を使って縮小した映像」を比べるわけだ。両者で違う部分とはすなわち、「アップコンバートが不自然である」部分。違う部分にだけ再度補正をかけ、フルHDの映像を「再構成」すれば、理想の元映像に近い画像が現れる、という仕組みである。
流れは複雑だが、要は「撮影された時のイメージに、映像を再構成していく」と考えればいいだろうか。拡大とは違う、という言葉の真意がここにある。
「理想的には、再構成を何サイクルも行っていくのがいいのですが、REGZAの場合は1サイクルで実現しています。これは、遅延を防ぎ、1フレーム(60分の1秒)で処理を終えるためです」と住吉氏は話す。画面全体に対し「超解像処理」をするだけでは、処理速度的にも、画質向上的にも不利であるため、まずは画像全体を解析、ディテール再現が必要な「テクスチャ部」と、リアルなエッジが必要な「エッジ部」、そして、特別な処理が必要ない「平坦部」に画像を分割、それぞれで最適な処理を行っている。
ここまで述べてきたように、REGZAの「超解像技術」は、主に地デジなどの1440×1080ドットの映像を、フルHDのクオリティに近づけることを狙ったものだ。DVDなどのSD映像(720×480ドット)にも超解像は働くが、狙いはやはり「地デジの高画質化」である。REGZAの商品企画を担当する、テレビ事業部 グローバルマーケティング部 参事の本村裕史氏は次のように語る。
「もちろん、DVDにも超解像は有効です。ですが、SDではやはり情報量が失われすぎていますから、地デジへの処理ほど、劇的な効果は出てきません。“地デジにはこんなに情報量があったのか”ということを楽しんでいただくことを狙っています」
また、地デジ対応のレコーダーとの連携にも、少し注意が必要だ。地デジ対応レコーダーの多くはアップコンバート機能を持っており、HDMIで入力する映像は、すでに「レコーダーでフルHDにアップコンバートされた映像」となっている。そのため、レコーダー側でアップコンバートする設定をマニュアルで外す必要がある。ご存じの通り、内蔵ハードディスクやUSBの外付けハードディスクなど、REGZAは「テレビで録画する」ことにこだわっており、その機能がユーザーに支持される一因ともなっている。放送を直接受信した場合に加え、こうした、内蔵ハードディスクやUSBの外付けハードディスクなど、REGZAを使って録画した映像を再生する場合は、特に設定なく、超解像処理された高画質で楽しむことができる。今回、超解像機能と録画機能がコンビになることで、「地デジをより美しく楽しむ」場合、他のビデオレコーダーよりもREGZAのハードディスクで録画し、再生した方が高画質になる、という、新しい魅力が生まれている。
REGZAで採用された超解像技術は、東芝の研究開発センターにて、3年ほど前から開発が進められてきたものだという。その後、テレビへの実装を目標に専用LSIが開発され、新REGZAへと搭載されることとなった。
だが、研究所で開発された技術が単純に搭載された、というわけではないようだ。住吉氏は次のように説明する。
「テレビに実際に搭載することになると、やはり独自の改良・ノウハウが必要になるんです。放送された映像には圧縮ノイズや伝送ノイズなどが乗っており、“撮影した時そのまま”の状態ではありません。ハイビジョンに見えて、実は放送局側でアップコンバートした映像である、というものもたくさんあります。そこに超解像処理だけをかけると、むしろ画質が悪化してしまい、品質的に“イエス”とはいえない映像になることも多いのです」
そこで生きてくるのが、これまで東芝がテレビで培ってきた高画質化技術である。圧縮ノイズを減らし、輝度信号・色信号を補正し、肌色の輝度領域を検出してなめらかにする、といった、「メタブレイン」の能力が存分に利用されることになる。 「画質はバランス。ひとつがかけるとだめになる、そこが難しい」(住吉氏)というが、まさにこれまでの積み上げがあってはじめて、超解像という新技術が生きてくることになる。
そのため、超解像技術以外の高画質化においても、新REGZAは大幅に機能が向上している。「おまかせドンピシャ高画質・プロ」がそのひとつである。例えば、明るい部屋でテレビを見ている際、暗い映像が表示されたとしよう。本来はきちんと正しい映像が表示されているのだが、なぜか「不自然」な明るさに感じることがある。
これは実は、人間の「錯視」が原因。同じ輝度の信号でも、「暗い中」にあるものと「明るい中」にあるものでは、人間の脳内で実際に感じられる明るさが異なるのである。
こういった部分も、新REGZAでは自動的に補正を加え、「相対的に自然に感じる」映像を実現している。
これらの高画質化は、やはり「見て」はじめて感じられるものだ。そのため今回東芝は、各種店頭にて「体感キャンペーン」を行う。冒頭で説明した、超解像解説用の映像を展示、ボタン一つで「超解像処理あり・なし」を切り替えながら、その効果を確かめられるようになっている。
画質は、なかなかスペックだけで理解できない。実際に体感し、「超解像技術の可能性」を感じていただきたい。
なおその際には、「最適視聴距離」の厳守をおすすめする。 「すべての高画質化技術は、最適な視聴距離で最大の効果を発揮するように調整しています。ですから、画面から、“画面の高さ×3”くらいの距離で見ていただけると良いでしょう」
永井氏もそう話す。この距離が、家庭でも最適な視聴距離。ぜひ、「自宅での視聴環境」を思い浮かべながらご体験いただきたい。