国立大学法人 電気通信大学 情報システム学研究科 吉永 務 教授

更新日:2018/07/11
  • ビッグデータの高速処理を実現するために、ストレージ、光通信ネットワーク、FPGA、SSD等を密接に結合させたハードウェアと高効率の並列処理を組合せ、小型かつ安価なシステム構成でありながら、Hadoop、Impalaなど他の分散ソフトウェアと比べて10倍以上の高速化を実現する計算機システムを開発しています。ビッグデータの高速処理を希望する企業、ビッグデータ処理基盤を開発している企業、データベース処理について課題を抱えている企業など、連携に意欲がある企業を歓迎いたします。

    【簡略図】

    20141120102527.png【背景】
    世の中で流通するデータ量が膨大に増え、ビッグデータ化が進展しています。そして、ビッグデータを統計的に分析して特徴を抽出し、ビジネスへ生かすデータサイエンティストの活躍の場も増えています。
    このような傾向につれ、ビッグデータを高速に処理するデータベース処理基盤が普及しています。Hadoop、Impalaなどは代表的な手法ですが、ビッグデータ化につれて更に高速にデータを処理するニーズが高まっています。しかしそのためにデータベース処理基盤が大型化、高コスト化してしまってはビジネスメリットが薄れてしまいます。
    本研究では、ストレージ、光通信ネットワーク、FPGA、SSD等を密接に結合させたハードウェアと高効率の並列処理アルゴリズムを組合せ、小型かつ安価なシステム構成でありながら、Hadoop、Impalaなど他の分散ソフトウェアと比べて10倍以上の高速化を実現します。
    ビッグデータの高速処理を希望する企業、本システムの製品化に興味がある企業、ビッグデータ処理基盤を開発しており、本研究の成果を活用したい企業、データベース処理について課題を抱えている企業など、連携に意欲がある企業を歓迎いたします。

    【技術内容】
    ハードウェア構成は以下の通りです。
    □システム内部の通信ネットワークは、「高速インターコネクト」として、10Gbpsまでの通信速度を持つ光通信を使用しています。
    □ビッグデータを複数の計算機で効率良く並列処理するためのハードウェアとアルゴリズムを搭載した「分散メモリ型PCクラスタ」を開発しています。
    □データの中継と一次保存を行うための「共有ストレージ+OE」としてFPGAボードとSSDが組み込まれています。本システムではここで通信と演算の負荷を徹底的に効率化していることが特徴です。
    □データを保管するための「分散ストレージ」は大容量かつ低速、安価な一般のストレージです。
    20141120102932.png前記のとおり、FPGAボードを用いた高速処理に特徴があります。
    1.ビッグデータ処理に特化した専用のハードウェアにより、ワイヤースピード(理論上の最高通信速度)によるデータ処理
    2.データを複数の計算機で効率良く並列処理する機能(マルチノード並列処理)、
    3.光通信ネットワーク(10G-NW)に対応し、中間メモリであるフラッシュストレージ(SSD)を効果的に活用するインタフェース(I/O)機能を持っています。
    20141120103025.pngシステムは下記の通り小型です。FPGAボードが組み込まれています。
    20141120103200.png【技術・ノウハウの強み(新規性、優位性、有用性)】
    下記が性能評価結果です。
    4wordsでは、本システム(Aval)では9.15秒であり、Hadoop(738秒)の約80倍、Impala(136秒)の約15倍です。
    256wordでは、本システム(Aval)では13.5秒であり、Hadoop(5798秒)の約430倍、Impala(137.6秒)の約10倍の処理速度です。
    20141120103249.png計算機システムの効率低下は主に下記の「ネットワーク」「待機時間」によって起こります。それに対する本システムの特徴は以下の通りです。

    1.ネットワーク
    -計算機システム内では短距離であっても大量のデータが行き来します。ネットワークが遅い場合には遅延となり効率低下に繋がります。
    -本システムではネットワーク内のデータ伝送を光通信で行い、インタフェース部も光通信へ対応させることにより、高速化しています。
    2.待機時間
    -中継点でデータを一時的に保存するメモリには、保存可能なデータ容量に限りがあり、そのデータ容量を超えるデータ量が届いても保存できず、待機時間が発生し、遅延による効率低下に繋がります。
    -本システムでは専用のFPGAと接続したSSDと、効率的な並列処理アルゴリズムを搭載することにより、高効率化しています。

    下記のとおり、システムを構成する各コンポーネントであるCPU、SSD、ネットワーク等の計算機資源を大幅に効率化しています。
    20141128171408.png【連携企業のイメージ】
    1.ビッグデータの高速処理を希望する企業
    2.本システムの製品化に興味がある企業
    3.ビッグデータ処理基盤を開発しており、本研究の成果を活用したい企業
    4.データベース処理について課題を抱えている企業
    など、連携に意欲がある企業を歓迎いたします。

    データベース、並列処理、クラウドコンピューティング等のキーワードに関連して様々な研究を行っておりますので、上記に限らず技術指導や社内人材の育成も含めてお気軽にご相談ください。

    【技術・ノウハウの活用シーン(イメージ)】
    ビッグデータを高速に処理する必要がある場面で活用可能です。
    特に、ビッグデータを高速に処理したいが、システムを小型で安価にしたい、とのニーズに最適です。

    【技術・ノウハウの活用の流れ】
    本研究にご興味があればお気軽にお問合せください。
    システムのデモ紹介や技術の詳細なご説明など対応させていただきます。

    【専門用語の解説】
    (ビッグデータ)
    大容量のデジタルデータを指します。また、非定型でかつリアルタイム性が高いデータを扱うケースが多いことも特徴です。近年、ビッグデータを高速かつ簡単に分析できる技術が登場し、ビッグデータを活用すれば、これまで予想できなかった新たなパターンやルールを発見できることが明らかとなったことから注目されています。

    (Hadoop、Impala)
    Hadoopは大規模データの分散処理を支えるJavaソフトウェアフレームワークであり、フリーソフトウェアとして配布されています。アプリケーションが数千ノードおよびペタバイト級のデータを処理することを可能としています。
    Impalaは大規模並列処理(MPP)エンジンであり、Hadoopのデータに対してSQLを用いてクエリを実行できるソフトウェアです。

    (並列処理)
    コンピュータにおいて複数のプロセッサで1つのタスクを動作させることです。並列コンピューティングや並列計算とも呼ばれます。問題を解く過程はより小さなタスクに分割できることが多い、という事実を利用して処理効率の向上を図る手法です。
    大規模なタスクを複数の計算機で並列処理するためには、各計算機に仕事量を最適に割り当てるスケジューリングが非常に重要であり、割り当ての効率が悪いと遅延が発生してしまいます。
    吉永教授は並列コンピューティングについて長年研究しており、そのノウハウを本システムでは生かしています。

    (密結合)
    密結合とは、細分化された個々のコンポーネント同士が密接に結びついている状態を指します。逆に、コンポーネント間の結びつきが弱いシステムを疎結合と呼びます。
    密結合状態のシステムでは、緊密で高速な動作が可能となる利点がありますが、システム内で固有のインタフェースに基づいて接続されているため、一方が他方を容易に取り替えられない弱点もあります。
    本システムでは、ビッグデータのデータ処理に目的を特化し、システム全体の光通信ネットワーク化や専用FPGA等を使用した密結合ハードウェアと並列処理を組合せることにより、高速処理・小型・安価な計算機システムを実現しています。

    (SSD(フラッシュストレージ))
    記憶媒体としてフラッシュメモリを用いるドライブ装置であり、ハードディスクドライブ(HDD)と同じ接続インタフェースを備え、ハードディスクの代替として利用できます。SSDはハードディスクのようにディスクを持たないため、読み取り装置(ヘッド)をディスク上で移動させる時間(シークタイム)や、目的のデータがヘッド位置まで回転してくるまでの待ち時間(サーチタイム)がなく、高速に読み書きできます。
    また、HDDを備えたストレージに比べて、消費電力量が少ないことです。フラッシュストレージを使えば、家庭用の大型テレビ1台分の消費電力量で、20テラバイト(TB)のデータを保存できるという試算もあります。

本掲載に関する責任者(オープンイノベーター)

オープンイノベーション推進ポータル

厳しい国際競争に勝ち抜くため、企業の研究開発戦略の手法として、産学連携・産産連携など外部の技術/ノウハウを有効に活用する「オープンイノベーション」が注目されています。 斬新な製品開発、付加価値の高い要素技術の確立、技術課題の効率的な解決、研究開発コスト削減など、オープンイノベーションは大きなメリットをもたらします。

ミッション

企業が外部機関を有効に活用する「オープンイノベーション戦略」を推進するための情報プラットフォームとなるべく立ち上げました。以下の指針に基づき、大学・企業の技術/ノウハウ/開放特許を結集

企業情報

企業名
株式会社キャンパスクリエイト
事業内容
「お客様の課題解決をオープンイノベーションで実践する広域TLO」をスローガンに様々なサービスを提供しています。
・産学官連携
・国際連携
・包括コンサルティング
・人材ソリューション
・シニア技術者の技術支援サービス
・ビジネスパートナー募集

他にも産業振興・地域振興のプロジェクト運営、自社での研究開発・製造・販売など様々な業務を行っています。
事業スキーム
当社のサービスは大きく2つの事業スキームから成り立っています。
・技術移転マネジメント事業
企業様のニーズに応じた産学連携のコーディネートを行っています。また、大学の技術を知的財産化し企業様へライセンスする活動や、大学発ベンチャーの立上げ支援などを行っています。

・ソリューション事業
企業様のニーズに応じて、マーケティング支援や公的支援事業の活用支援、人材支援など様々なソリューションを提供しています。

・広域的な連携体制
国立大学法人電気通信大学を活動拠点としつつ、様々な大学・企業と提携しています。
当社は国立大学法人電気通信大学から技術移転に関する業務委託を受け、発明の権利化を共同で行いながら、技術移転活動を行っています。

・オープンイノベーション推進ポータル
「オープンイノベーション推進ポータル」を運営し、様々な大学のシーズ、大学発ベンチャーの製品、産学連携による研究開発成果など、先端技術をご紹介しています。
 マッチングイベントなどの企画運営
 産学連携や地域の振興に繋がるイベントを企画しています。
 産業振興・地域振興
所在地
〒182-8585 東京都調布市調布ヶ丘1-5-1 国立大学法人電気通信大学産学官連携センター内
設立年月日
1999
外資区分
非外資
代表者名
安田 耕平
企業URL
https://www.campuscreate.com/
従業員数
10人〜100人未満
平均年齢
38
資本金
3千万円〜1億円未満
上場区分
非上場
株主
電気通信大学のOB、教職員を中心とした個人出資
主要顧客
メーカーの研究開発部門、新規事業部門 等

メンバー