日本語の指文字認識に関するAI研究が国際学術誌に掲載

本学360足球直播_新英体育在线¥下载官网工学専攻 修士課程を2025年3月に修了した近藤 多聞さん(指導教員:姜 有宣 教授)による研究成果が、国際学術誌『Electronics』(MDPI刊、SCIE収載、インパクトファクター2.9)に掲載されました。
本研究は、手指の関節角度から特徴を抽出し、ディープラーニングを用いて学習?認識することで、日本語の指文字を高精度に認識するAIモデルを構築したものです。

なお、近藤さんは現在、東京電力ホールディングス株式会社に勤務されています。

論文情報

論文タイトル

Recognition of Japanese Finger-Spelled Characters Based on Finger Angle Features and Their Continuous Motion Analysis

著者

Tamon Kondo, Ryota Murai, Zixun He, Duk Shin, Yousun Kang

掲載誌

Electronics, 2025, 14(15), 3052, DOI: https://doi.org/10.3390/electronics14153052

発行日

2025年7月30日

研究の概要

本研究では、日本語の指文字における複雑な手指動作の違いを識別するため、関節角度に基づいた特徴量を用いたディープラーニングモデルを開発しました。 特に、「が」「ざ」「ぱ」などの濁音?半濁音も含めた多様な指文字に対応できるよう、大規模な学習用データセットを独自に構築しています。

さらに、手話動作の開始点と終了点を自動で検出するアルゴリズムを導入することで、単語レベルでの認識性能を大きく向上させました。 これにより、実社会における応用が可能な高性能な指文字認識システムの基盤が構築されつつあります。

今後は、より多様な話者のデータ収集や、文脈情報を考慮した分割手法の導入を通じて、さらなる汎用性と精度の向上が期待されます。 本成果は、教育支援ツールや手話通訳システムの開発など、聴覚障害者支援に寄与することが期待されています。

研究助成

本研究は、本学の教育支援プログラム 「Co-G.E.I.(Cooperative Good Educational Innovation)チャレンジ2024」 の助成を受けて実施されました。

最後に、本研究におけるデータベース構築のために、手話動作の撮影にご協力いただいた皆様に、心より感謝と敬意を表します。

日本語指文字認識用ビデオデータセット「ub-MOJI」のHugging Face上での公開ページ: https://huggingface.co/datasets/kanglabs/ub-MOJI
ub-MOJI」データセットに収録された日本語指文字の実際の映像例