研究内容

研究テーマの一部を簡単に紹介します.もちろん,ここで紹介している事例以外にも,画像処理に関連した様々なテーマで幅広く研究に取り組んでいます.

画像処理と機械学習を用いた病変診断支援システムの開発

左:メラノーマ, 右:通常の痣

 図の左側は,皮膚がんの一種であるメラノーマ(悪性)の症例画像です.一方,右側はいわゆる『普通の痣』であり,病気には関係しない良性の画像です.これらはかなり似ているように見えますが,この研究では,AIの一種である「機械学習」の応用で悪性と良性を正しく見分ける方法を探っています.
 より具体的には,「良性と悪性の区別に役立つ画像特徴は何か」という問題に対し,その判断基準を(我々人間ではなく)機械学習によってコンピュータに決めさせる研究や,「それらの画像特徴を効率よく抽出するための処理手順をどうするか」といった画像処理手法の開発に取り組んでいます.最終的には,患部画像を与えただけで「これは◯◯%の確率でメラノーマです」と教えてくれるような,いわば,専門医の診断を支援しつつ病変の早期発見に役立つようなシステムの具現化を目指しています. 

患部のみを切り出して画像特徴を抽出するパイプラインの開発

 また,この研究で確立される(であろう)フレームワーク,つまり「画像からの病変部の切り出し → 病変部の特徴抽出と数値化 → 機械学習に基づく有効な特徴群の選択 → それらの特徴に基づく予測診断」という流れは,そのまま他の病変診断にも応用可能と考えられます.つまり,患部を画像に収めることが比較的容易な体の部位(細胞レベルの微細な部位ではなく,あくまでも組織レベルのまとまった部位ということになりますが)であれば,同様の診断支援システムを容易に実現できる可能性があります.一例として,我々の研究室では,マクロ画像を利用した子宮頸がんの早期予測などの研究にも取り組んでいます.

単視点または複視点画像からの3次元復元

空撮映像などの動画像を利用した3次元復元

 複数の視点から撮影された多くの2次元画像を利用して,それらに写された被写体の3次元情報を復元する(ステレオ法などと呼ばれる)研究は広く世界中で行われていますが,我々の研究室では特に,ドローンで撮影した空撮映像からイネの形状を復元する問題にチャレンジしています.イネに限らず,葉や茎などの画像においてはSIFTやORB等の画像特徴がそもそも抽出されにくく,復元される3次元点も極めてスパース(粗)なものとなってしまいます.そこでこの研究では,RGBの色情報から植生葉域を推測して,その領域を集中的に処理するアルゴリズムの開発や,より多くの特徴点が得られるような特徴抽出法の開発などに取り組んでいます.
 もし精度の高いイネ形状が復元できたとしたら,その復元モデルから株ごとの穂数や粒数といった,収量に直結するパラメータの計測・解析も可能となります.これらは従来,人手により地道に実施されていたタスクですから,本研究の実現によって大幅な省力化と効率化が見込めることになります.

空撮映像からの3次元復元
植生葉域のみに着目した復元

時系列画像群を利用した精度の高い画像間の点対応推定

 ステレオ法に基づいた3次元復元を実行する場合,鍵となるのは『異なる視点で撮影した複数の画像間において,如何に正しい点の対応を推定するか』にあります.これが上手く出来れば最終的な復元精度は高められますし,逆に誤りの多い推定しか出来ない場合は復元された3次元情報も信頼性のないものとなってしまいます.
 そこで我々の研究室では,なるべく誤りの少ない形で画像間の点対応を定める技術について研究しています.例えば,ドローンで撮影された映像を対象とすれば,時系列画像群(時間軸で順番が定まる複数の画像群)を容易に得ることができますから,それらを用いて得られる “オプティカルフロー” を追加の情報として利用できます.下の図は,オプティカルフローの併用によって誤対応を抑制した点対応推定の一例です.

SIFTやORB等の画像特徴を利用した場合の点対応マッチング(従来法の結果)
オプティカルフローの併用による誤対応の抑制(本研究)

単視点画像に写された平面の順次復元

 ステレオ法には,カメラ校正に手間がかかる,視点の異なる2枚(以上)の画像を準備できない場合は適用そのものが不可能,といった問題もあります.例えば,監視カメラ等で撮影された固定視点映像の一部とか,過去の資料写真などを対象とした場合,そもそも撮り直しができない状況ですので,ステレオ法が使えません.
 そこで,1枚だけのカメラ画像,つまり,単視点の画像だけから「物体の平面構造や高さ」「任意点間の距離」といった3次元情報を復元するための技術について研究を行っています.特に,画像の中の『平面』(の3次元パラメータ)を,僅かな手掛かりだけから順次,推定するアルゴリズムなどを開発しています.(どんな手掛かりを利用すればどんな3次元量が復元できるか,を考えることが研究のメインです)

平面順次推定の例
(\(h_1, h_2\)の実高さ情報等から平面①を推定 → 平面間の交線\(l_{12}\)から平面②を推定 → 交線\(l_{23}\)から平面③を推定 → … のように,実シーンのさまざまな手掛かりを利用すると順次,隣接平面が推定できる.平面①から⑤が定まれば,\(D_1\sim D_3\)などの実際の3次元距離がこの画像1枚だけで推定できる)

視覚障がい者支援のための画像処理技術開発

視覚障がい者にとって危険な箇所の例

 この研究は,画像認識技術を駆使した視覚障がい者向け歩行者支援システムの開発を主な目的としています.例えばモンゴルなどの開発途上国では,日本のような先進国とは異なり,現在でも道路等のインフラが整備されておらず,特に,歩行者専用の通路では,図に示したような破損や劣化の激しい箇所,工事中の箇所,マンホールが剥き出しの箇所,視覚障がい者誘導用ブロックが急にカーブしたり突然切れたりする箇所,などが至るところに見受けられます.このことは,視覚障がいをもつ人々が歩行する上では極めて危険,といわざるを得ず,何らかの対策が切望されているという現状があります.
 本研究では,歩行者に装着した小型カメラやスマートフォンなどで前方の画像を取得し,その画像中の危険物や危険箇所を推定・検出するとともに,歩行者に対してアラート音などで注意喚起できるような支援システムを開発します.将来的には,より細かな画像の分析・解析等によって,安全な歩行ルートを自動構築したり,そのお勧め経路を歩行者に効果的に提示できたりするシステムの実現を目指しています.

深層学習を利用した通常のマンホールと危険なマンホールの区別・検出

ここから下は過去の研究テーマです

地形図画像処理と地理情報システムの応用

 市販の地形図や測量図を画像処理して等高線を抽出し,これから1mメッシュ程度の高分解能DEM(Digital Elevation Model)を自動作成する技術開発を行いました.これは青森県の企業との共同研究という形で実施されたもので,既に技術移管済です.
 おおまかな処理の流れは,1. スキャナ等による地形図画像の入力,2. 色情報を使って等高線のみを抽出,3. 抽出された揃いで途切れのある等高線を自動的に整形・接続処理,4. 整形された等高線に自動で標高値を割り当て,5. 当研究室で開発した単調補間法により等高線画素以外のすべての画素に対する標高値を設定,というものです(下図パイプライン参照).

(上) 実写, (下) 生成DEM
海底地形図からのDEM生成例
任意分解能のDEMを生成するためのパイプライン

生体テクスチャ画像の認識に関する研究

牛の鼻紋パターンを識別するグラフマッチング的手法の開発
PCベースの鼻紋識別システムの開発

 人間の指紋,牛の鼻紋,鯨の尾びれ(フルーク)など,生物がもつ模様的なパターンは,その基本的な構造特徴が生涯,変化せず,しかも個体によってそれぞれ異なるため,個体識別に利用できることが広く知られています.このうち,指紋の認識システムは既に実用化され,さまざまな分野で実利用されていますが,例えば牛の鼻紋パターンなどは,牛の成長とともに無視できないほどの変形を受けてしまうため,指紋認識に用いられるような従来手法ではうまく対処できません.
 畜産業界では,和牛(特に肉牛)の価格上の問題から厳格な血統管理が行われており,その個体識別手段として鼻紋が利用されていました(現在はICタグの利用に移行しつつあります).この鼻紋の識別・照合作業が古くは人手により実施されていたため,我々の研究室ではその自動化にチャレンジしました.すなわち,成長とともに構造特徴が変形してしまうような,牛の鼻紋パターンに代表される生体テクスチャの認識・識別アルゴリズムについて研究を行いました.