eiicon

国立大学法人 電気通信大学 大学院情報システム学研究科 森田 啓義 教授

大学・研究室
更新日:2018/07/11
  • スポーツ番組のハイライトシーンを、録画した動画の中から自動的に抽出し、ユーザが見たいハイライトシーンをいつでも素早く簡単に選択して見ることができる技術です。既存技術と比較し、処理速度が非常に高速な点と高精度検出が特徴であり、スマートフォンやタブレット端末へ実装可能です。サッカーや野球には既に実験済みですが、バスケットボール・ラグビー・相撲など、様々なスポーツ番組へ適用可能性があります。本技術の実用化に意欲的な企業を歓迎します。

    【簡略図】
    MPEG2スポーツ映像のハイライトシーン検出.jpg【背景】
     地上デジタルテレビ放送の普及に伴ってテレビ番組の録画作業が容易となり、視聴スタイルが急激に変化しています。特にスポーツ番組については、視聴者から様々なニーズが出てきています。例えば下記が挙げられます。
    1)スポーツ番組を自動録画しておき、帰宅後ハイライトシーンだけを見る。
    2)平日に録画したスポーツ番組のダイジェスト版を週末にゆっくり楽しむ。
    3)撮り溜めている番組から特定の選手のプレーだけを全部閲覧する。
    4)前日見た番組の面白かったシーンのタグ情報を友達同士で交換する、など。

     本テーマでは、これらのニーズに対し、録画したスポーツ番組の中から、ハイライトシーンを自動的に検出する技術をご提案します。処理速度が非常に高速なことから、スマートフォン・タブレット端末に実装可能な点が強みです。
     ※関連特許出願済み。

    【技術内容】
     本技術の原理は以下の通りです。地上デジタル波で送られている映像データがMPEG2で圧縮されていることを利用し、「MPEG符号化パラメータ」と呼ばれる動画像技術を用いて実現しています。

    1)HDDレコーダーで動画データ(MPEG2)を録画します。
    2)動画データに含まれている特徴量(色情報、動きベクトル、MBT)を基に、シーン検出プログラムによってハイライトシーンを検出します。
    3)ハイライトシーンの検出結果と時間情報タグを基に、ビデオクリップ・タイムスタンプ・サムネイル情報を生成します。
    シーン検出.JPG【技術・ノウハウの強み(新規性、優位性、有用性)】
     動画中からのハイライトシーン検出では、様々な研究事例がありますが、多くは処理速度、検出精度に課題がありました。本技術には2つの特徴があります。

    (MPEG2の特徴量を生かしたハイライトシーンの高速検出)
     「MPEG2の圧縮形態を保ったまま、MPEG2/4の特徴量(色情報、動きベクトル、MBT)を基に画像検索を行う」ことにより、ハイライトシーンを「高速に」検出しビデオクリップ化することが可能です。その優れた特徴から、番組を録画しながらハイライトシーンを検出し、録画後すぐに結果を表示することができる、ユーザにストレスを与えない実時間処理を実現しています。

    (同色領域の抽出技術による高精度検出)
     画像内の領域を細かく分割(マクロブロック化)し、隣り合うマクロブロック同士を比較して同色である領域を検出することで、天候や芝の模様のように動画データによって条件が変化するグラウンド領域を正確に抽出することができます。
    検出精度.JPGまた、検出精度を高めるため、番組中の各シーン(ショット)に応じた様々な技術的工夫をこらしています。

    例えばサッカーの場合、各ショットをおおよそ下記4通りに分類できます。

    Up Shot        :選手をアップして写したシーン。
    Center Long Shot :フィールド全体でのプレーを遠くから写したシーン。
    Goal Long Shot   :ゴール付近でのプレーを遠くから写したシーン。
    Nontelop Shot     :得点シーンのリプレイなど、テロップが無いシーン。

    ゴールシーンは、「Goal Long Shot」→「Nontelop Shot」→「Up Shotが複数枚続く」など特定の遷移パターンがあるため、識別することが可能です。

    ショット分類.JPGUp Shot」の判定は、動き補償サイズが16×8ピクセルのマクロブロック(16×8MB)と呼ばれる手法をうまく活用しています。マクロブロック法では、動画中における動きの方向の変化や動きの激しさをみています。「Center Long Shot」では動きがゆるやかであり方向にも規則性がありますが、「Up Shot」では激しく動く上に方向が分散するため、判別が可能です。

    up shot.JPG
    Goal Long Shot」では、「Center Long Shot」と比較してフィールド全体の角度が斜めになります。その傾き情報をハフ変換と呼ばれる手法によって求めることにより、「Goal Long Shot」を識別することが可能です。

    ハフ変換.JPGNontelop Shot」は、試合中断時(リプレイなど)のシーンを判別するための手法です。試合中断時はテロップが無い状態ですが、テロップ部分は動きベクトルが0であり、かつ周波数成分(AC)からエッジで囲まれている特徴があるため、その特徴量から有無を判別することが可能です。

    ノンテロップ.JPG

    このような工夫のもと、検出精度としても、野球では95%以上、サッカーでは80%以上を達成しており、実用に耐えうる精度の目処を立てています。

    【連携企業のイメージ】
     本技術の実用化を希望する企業を歓迎します。例えば、以下に該当する企業へご提案可能です。

    1)一般ユーザ向けのソフトウェアを開発・販売している企業。
    2)スマートフォン・タブレット端末用ソフトウェアを開発・販売している企業。
    3)動画像処理製品の開発・販売をしている企業。
    4)録画装置・再生機器を開発・販売している企業。
    5)他、本技術の活用、実用化に意欲がある企業。

    【技術・ノウハウの活用シーン(イメージ)】
     様々なスポーツ番組からのハイライトシーン検出へ適用可能です。例えば、下記の用途が考えられます。

    1)サッカー番組中のハイライトシーン閲覧
     フィールド全体を映しているロングショット、個人を映しているクローズアップショット、ゴール付近での映像、ゴールシーンなどの情報を区別してハイライト化することが可能です。詳しくは「技術・ノウハウの強み(新規性、優位性、有用性)」をご参照ください。

    2)野球番組中のハイライトシーン閲覧
     ホームランシーンや投球シーン、得点表示画面など、ハイライト化することが可能です。プレーの頭出しが簡単に行えます。

     ほか、バスケットボール・ラグビー・相撲など、様々なスポーツ番組へ適用できる可能性があります。

     なお、抽出したハイライトシーンを組み合わせてオリジナルの動画集を編集することもできます。このとき、映像データをサーバ上に置いておき、見たい場面、興味のあるシーンがデータ上のどこにあるかという情報、及びその編集情報をインデックスタグとすれば、大容量の映像データをそのまま伝送せずとも、ユーザ間で動画集の情報共有が可能です。

     また、スマートフォン、タブレット端末へ本ソフトウェアをダウンロードすれば、電車の中や移動中でも好みのハイライトシーンを閲覧することが可能です。
    処理が非常に高速である点を生かした新しい視聴スタイルと言えます。

    【技術・ノウハウの活用の流れ】
     基本的なソフトウェアは既に確立しています。お問い合わせ後、デモンストレーションや技術の詳細説明などさせていただきます。また、森田 教授は、動画像処理の専門家であり、MPEG2/4・画像符号化・データ圧縮などに関して豊富なノウハウがあります。これらの技術分野に関わる技術相談・共同研究へ対応可能です。
    森田研究室ホームページ.JPG ※森田研究室の研究分野

    【専門用語の解説】
    (動画像処理)
     動画像を静止画像の連続として扱い、その時間変化を見ることで、移動物体を見つけたり、カメラの動きを推定することができる技術です。MPEG2/4やH.264などで圧縮された動画が主な対象となります。

本掲載に関する責任者(オープンイノベーター)

オープンイノベーション推進ポータル

厳しい国際競争に勝ち抜くため、企業の研究開発戦略の手法として、産学連携・産産連携など外部の技術/ノウハウを有効に活用する「オープンイノベーション」が注目されています。 斬新な製品開発、付加価値の高い要素技術の確立、技術課題の効率的な解決、研究開発コスト削減など、オープンイノベーションは大きなメリットをもたらします。

ミッション

企業が外部機関を有効に活用する「オープンイノベーション戦略」を推進するための情報プラットフォームとなるべく立ち上げました。以下の指針に基づき、大学・企業の技術/ノウハウ/開放特許を結集

企業情報

企業名
株式会社キャンパスクリエイト
事業内容
「お客様の課題解決をオープンイノベーションで実践する広域TLO」をスローガンに様々なサービスを提供しています。
・産学官連携
・国際連携
・包括コンサルティング
・人材ソリューション
・シニア技術者の技術支援サービス
・ビジネスパートナー募集

他にも産業振興・地域振興のプロジェクト運営、自社での研究開発・製造・販売など様々な業務を行っています。
事業スキーム
当社のサービスは大きく2つの事業スキームから成り立っています。
・技術移転マネジメント事業
企業様のニーズに応じた産学連携のコーディネートを行っています。また、大学の技術を知的財産化し企業様へライセンスする活動や、大学発ベンチャーの立上げ支援などを行っています。

・ソリューション事業
企業様のニーズに応じて、マーケティング支援や公的支援事業の活用支援、人材支援など様々なソリューションを提供しています。

・広域的な連携体制
国立大学法人電気通信大学を活動拠点としつつ、様々な大学・企業と提携しています。
当社は国立大学法人電気通信大学から技術移転に関する業務委託を受け、発明の権利化を共同で行いながら、技術移転活動を行っています。

・オープンイノベーション推進ポータル
「オープンイノベーション推進ポータル」を運営し、様々な大学のシーズ、大学発ベンチャーの製品、産学連携による研究開発成果など、先端技術をご紹介しています。
 マッチングイベントなどの企画運営
 産学連携や地域の振興に繋がるイベントを企画しています。
 産業振興・地域振興
所在地
〒182-8585 東京都調布市調布ヶ丘1-5-1 国立大学法人電気通信大学産学官連携センター内
設立年月日
1999
外資区分
非外資
企業URL
http://www.campuscreate.com/
従業員数
10人〜100人未満
上場区分
非上場