広島大学生体システム論研究室では筋電グループ，MEグループを中心に，新たな生分解圧電フィルムセンサを用いた生体信号計測法に関する研究に取り組んでおり，独自の生体信号処理アルゴリズムや機械学習アルゴリズムを用いてインタフェース応用や医療応用を進めています．この研究は圧電フィルムセンサの名前を冠した「picoleaf研究会」として展開しており，（株）村田製作所の森田 暢謙さん，森 健一さん，角田 知己さん，松本 龍彦さんらとの産学連携研究です．
今回新たに，手首装着型圧電フィルムセンサで皮膚表面変形を計測し，指のタッピング運動を機械学習的に識別することに成功し，IEEE Sensors Journal誌に論文が掲載されました．この論文誌”IEEE Sensors Journal”は”INSTRUMENTS & INSTRUMENTATION – SCIE”（Journal Impact Factor, Journal Citation Indicatorによるランキング）と”PHYSICS, APPLIED”（Journal Citation Indicatorによるランキング）いうカテゴリーのQ1ジャーナルで，筋電グループの城明 舜磨君（D3）の博士学位論文の一部となる予定です．
───────────────────────────────────
Finger-tapping Motion Recognition Based on Skin Surface Deformation Using Wrist-mounted Piezoelectric Film Sensors
Shumma Jomyo, Akira Furui, Tatsuhiko Matsumoto, Tomomi Tsunoda, and Toshio Tsuji
IEEE Sensors Journal, Volume: 24, Issue: 11, pp.17876-17884, doi: 10.1109/JSEN.2024.3386333, Date of Publication: 15 April 2024. (SCI, IF=4.3)
URL: https://ieeexplore.ieee.org/document/10500304
今後も，生分解圧電フィルムセンサpicoleafを用いた新たなヒューマンインタフェースの研究を進めていければと思っています．ひきつづきよろしくお願いします．
<論文内容>
The miniaturization of computers has led to the development of wearable devices in the form of watches and eyeglasses. Consequently, the narrower screen size has raised the issue of operability for text input. This problem can be resolved using external input devices, such as physical keyboards. However, this can impair portability and accessibility. This study proposes a finger-tapping motion recognition system using wrist-mounted piezoelectric film sensors to realize an input interface with high wearability and not limited by screen size. In the proposed system, biodegradable piezoelectric film sensors, which are highly compatible with biological signal measurement, are attached to the palmar and dorsal surfaces of the wrist to measure minute skin surface deformation during tapping. The system detects the occurrence of tapping movements for each finger by preprocessing the measured signals and calculating the total activity of all channels. It also recognizes the type of finger movement based on machine learning. In the experiment, we measured ten different signals, including five-finger flexion and extension, for 11 subjects, to evaluate the effectiveness of the proposed method. According to the experimental results, tapping recognition accuracy for time-series data was 77.5%, assuming character input. In addition, the time difference between the detected and actual taps was approximately 50 ms on average. Therefore, the proposed method can be utilized as an input interface for wristband-type wearable devices.
コンピュータの小型化に伴い、腕時計や眼鏡などのウェアラブル端末が開発されている．その結果，画面サイズが狭くなったことで，文字入力の操作性が問題になっている．この問題は，物理キーボードなどの外部入力デバイスを利用することで解決できるが，これは携帯性やアクセシビリティを損なう可能性がある．本研究では，画面サイズに制限されない装着性の高い入力インタフェースを実現するために，手首に装着した圧電フィルムセンサを用いた指タッピング動作識別システムを提案する。提案システムでは，生体信号計測と親和性の高い生分解性圧電フィルムセンサを手首の掌側および背側に装着し，指タッピング時の微小な皮膚表面の変形を計測する．測定した信号を前処理し，全チャンネルの活動量の合計を算出することで，各指のタッピング動作の発生を検出する．また，機械学習に基づいて指の動きの種類を認識する．実験では，提案手法の有効性を評価するために，11人の被験者に対して5本の指の屈曲と伸展を含む10種類の信号を計測した．実験の結果，文字入力を想定した時系列データに対するタッピング識別精度は77.5%であった．また，検出されたタップと実際のタップの時間差は平均約50msであった．したがって，提案手法はリストバンド型ウェアラブルデバイスの入力インタフェースとして利用できる可能性がある．
───────────────────────────────────
■ 「picoleaf研究会」に関連するこれまでの研究成果は以下の通りです．
Toward a Robust Estimation of Respiratory Rate using Cardiovascular Biomarkers: Robustness Analysis under Pain Stimulation
Ziqiang Xu, Toshiki Sakagawa, Akira Furui, Shumma Jomyo, Masanori Morita, Masamichi Ando, and Toshio Tsuji
IEEE Sensors Journal, Volume: 22, Issue: 10, pp. 9904-9913, Digital Object Identifier: 10.1109/JSEN.2022.3165880 , Publication Date: MAY 15, 2022 (SCI, IF=3.301)
Beat-to-beat Estimation of Peripheral Arterial Stiffness from Local PWV for Quantitative Evaluation of Sympathetic Nervous System Activity
Ziqiang Xu, Toshiki Sakagawa, Akira Furui, Shumma Jomyo, Masanori Morita, Masamichi Ando, and Toshio Tsuji
IEEE Transactions on Biomedical Engineering, Volume: 69, Issue: 9, pp. 2806-2816, Digital Object Identifier: 10.1109/TBME.2022.3154398 , September 2022 (SCI, IF=4.756)
Pressure-based Detection of Heart and Respiratory Rates from Human Body Surface using a Biodegradable Piezoelectric Sensor
Ziqiang Xu, Akira Furui, Shumma Jomyo, Toshiki Sakagawa, Masanori Morita, Tsutomu Takai, Masamichi Ando, and Toshio Tsuji
Proceedings of 43rd Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC’21), pp. 5415?5418, Virtual Conference due to COVID-19, Nov 1?5, 2021.
A Wearable Finger-Tapping Motion Recognition System Using Biodegradable Piezoelectric Film Sensors
Shumma Jomyo, Akira Furui, Tatsuhiko Matsumoto, Tomomi Tsunoda and Toshio Tsuji
Proceedings of 43rd Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC’21), pp. 6982?6986, Virtual Conference due to COVID-19, Nov 1?5, 2021.
───────────────────────────────────
