世の中には、曖昧なままで使われている言葉も数多い。マルチメディアもその一つではなかろうか。きちんとした定義があるのかどうか不明だが、なくても何となく理解されて使われているようである。ときにはテレビ、ラジオ、新聞、出版、電話、ファクシミリ、インタネットという類いの「情報伝達手段」としての社会学的なマルチメディア論もあるし、文字、音声、記号、図形、画像、データといった「情報表現手段」としての工学的なマルチメディア論もある。
この工学的なマルチメディア論では、人間と人間、人間と機械、機械と機械の間での情報通信をいかに効率化するかという観点での議論が極めて重要なものとなっている。たとえば情報をどういうメディアで表現したら、量的にも、速度的にも、また理解度の点でも都合がよいか、といったような議論である。とくにインタネットを初めとする各種の通信網では、通信路容量上の制限を克服し、画像を含むマルチメディア情報をいかに効率よく伝送するか、が一つの重要な課題である。
とくに情報の最終の受け取り手が機械の場合には、そのメディアをいかにして機械に理解させるかという「認識・理解問題」が主要な技術課題となる。したがってマルチメディア論は、一般の知的機械に必要とされる「センサーフュージョン」の問題とほぼ等価になってくる。幾つかのセンサー情報を融合して外界状況を機械に正しく理解させるのと同じように、幾つかのメディア情報を融合して、より高い理解度を達成しようとするものである。
中でもとくにビデオ映像のような動画像は、情報量も多く、最も重要なメディアの一つである。この動画像を、機械に実時間で認識させようとする困難な技術への挑戦が始まっている。まず手始めに、時間的に連続した一連のビデオ画面の中から、その画面間の急激な変化を検出する自動シーン分割技術が実現した。さらにこの技術の応用として、サブリミナル映像の自動検出装置も開発された。これは、一頃騒がれた宗教問題に端を発しており、今では、放送局に持ち込まれるビデオ映像を、この装置で放送前にチェック出来るようになっている。
この自動シーン分割技術のもう一つの応用例として、どの会社のどういうコマーシャル映像が、どの時間に放映されたかを自動的に監視するコマーシャル映像監視装置が開発された。映像の時間的変化を、カラー情報をもとにコード化し、あらかじめ記憶されたコマーシャル映像のコード情報と実時間で比較する方法である。映像の特徴だけでなく、音声・音響も含めたマルチメディアとしての特徴を比較することで、より強固な認識性能が得られることになる。
一方、受け取り手が人間の場合にはメディアの「再生問題」となり、マルチメディア論は「バーチャルリアリティ」の問題と等価になってくる。例えば、その情報の発生現場にあたかもいるかのような、臨場感ある情報として再現し、そこへの没入感を通して情報の理解度を高めようとする。
人間が受け手の典型例として、テレビ放送がある。これはもともとマルチメディアとしての特徴をもっている。動画像、音声・音響、文字といったメディアが混在して利用され、表情や動作、ときには手話といったような特殊な情報表現形態も内部情報として含まれているからである。受け手の人間に没入感を抱かせるための努力も従来から行われてきた。音声・音響のステレオ化、映像の大画面化・高精細化・立体化などもその典型例であろう。
この没入感は、放送内容によっても、また受け手の教養レベルや心理状況によっても左右されることがありうる。とくに心霊現象、オカルトの類いの内容だと、その影響は意外と大きい。実際には見てもいないことを、あたかも見たかのように錯覚させる。創られた映像を通しての経験に過ぎないのに、実体験として錯覚し、挙げ句の果て、その存在を信じてしまう人もいるようだ。だから映像は恐い。創る側の責任もまた大きい。
ところで、一般に良質の映像を作成するには、それなりに時間とコストが掛かるようである。そのため、これらを低減する手段として計算機の利用が進み、最近のテレビ映像や映画では、かなりコンピュータグラフィックスが活用されるようになった。しかし、それでもまだ、情景の3次元モデル化に時間が掛かるなど、問題は多い。
ところが最近、その解決に向けた幾つかの面白い技術が開発され、放送の現場でもかなり注目されるようになってきた。その一例はＴＩＰ（Tour into the picture）という技術で、一枚の絵だけから立体モデルを創り出し、その絵の中に入り込もうとするものである。この技術によれば、昔の銀座の写真が一枚あれば、時代の壁を超えて、その街を散歩しているかのようなビデオ映像を創ることができる。
もう一つの例はサイバー文楽と称する技術である。従来、絵コンテを一枚ずつ描いたり内挿したりして創っていたアニメーションが、この技術では、計算機中に人間の立体モデルをいったん創りさえすれば、あとはそれを文楽人形の操作に合わせて動かし、実時間で映像を創れるようになったのである。
これらの技術の進展には、音声や画像メディアの計算機による取扱いがかなり高速かつ容易に出来るようになり、さらに、これらのメディアを記憶するための半導体メモリ、磁気メモリ、光メモリなどといった「情報記憶手段」としてのメディアも、それぞれに大容量かつ多様化されてきたという背景がある。マルチメディア技術は、機械と人間が存在する限り、両者の接点での技術として今後益々重要となってくる。
