Researcher Profile and Settings

Affiliation

• ＜Faculty / Graduate School / Others＞

  Graduate School of Engineering / Department of Electrical and Electronic Engineering

• ＜Related Faculty / Graduate School / Others＞

  Faculty of Engineering / Department of Electrical and Electronic Engineering

Teaching

• Faculty of Engineering / Department of Electrical and Electronic Engineering, 2022, Electrical and Electronics Engineering Laboratory I and Safety Guidance A

  Link to Kobe Univ. syllabus
• Faculty of Engineering / Department of Electrical and Electronic Engineering, 2022, Electrical and Electronics Engineering Laboratory I and Safety Guidance

  Link to Kobe Univ. syllabus
• Faculty of Engineering / Department of Electrical and Electronic Engineering, 2022, Electrical and Electronics Engineering Laboratory I and Safety Guidance B

  Link to Kobe Univ. syllabus

Research Activities

Research Interests

• 行動認識
• ユビキタスコンピューティング
• ウェアラブルコンピューティング

Research Areas

• Informatics / Human interfaces and interactions

Committee Memberships

• Mar. 2020 - Present, 情報処理学会 ユビキタスコンピューティングシステム研究会 運営委員
• Dec. 2022, ユビキタス・ウェアラブルワークショップ2022, 運営委員(実行副委員長)
• Mar. 2022, インタラクション2022, 中継委員長
• Dec. 2021, ユビキタス・ウェアラブルワークショップ2021, 運営委員(ローカル)
• Sep. 2021, バーチャルリアリティ学会大会2021, 企画委員
• Dec. 2020 - Dec. 2020, ユビキタス・ウェアラブルワークショップ2019, 運営委員(ローカル・オンライン)
• 2020, インタラクション2021, 中継委員
• Dec. 2019, ユビキタス・ウェアラブルワークショップ2019, 運営委員(ローカル・ナイトセッション)

Awards

• Dec. 2022 電通国際情報サービス, MITテクノロジレビュー Innovators Under 35 Japan 2022 特別賞「ISID賞」

  大西鮎美

• Nov. 2022 MITテクノロジーレビュー, Innovators Under 35 Japan 2022

  大西鮎美

• Oct. 2022 情報処理学会, 特選論文, 圧力センサ付きスティックを用いた聴覚フィードバックによるフィールドホッケーのプッシュ上達支援システム

  岩本宗大, 大西鮎美, 寺田 努, 塚本昌彦

• Jun. 2019 情報処理学会マルチメディア , 分散, 協調とモバイルシンポジウム (DICOMO2020), ヤングリサーチャ賞

• Jul. 2018 情報処理学会マルチメディア , 分散, 協調とモバイルシンポジウム (DICOMO2018), 優秀プレゼンテーション賞

• Jun. 2017 情報処理学会マルチメディア , 分散, 協調とモバイルシンポジウム (DICOMO2017), 優秀プレゼンテーション賞

• Jul. 2015 情報処理学会マルチメディア , 分散, 協調とモバイルシンポジウム (DICOMO2016), 優秀プレゼンテーション賞

• Jul. 2014 情報処理学会マルチメディア , 分散, 協調とモバイルシンポジウム (DICOMO2014), ヤングリサーチャ賞

• Jul. 2014 情報処理学会マルチメディア , 分散, 協調とモバイルシンポジウム (DICOMO2014), 優秀論文賞

Published Papers

• Investigation of the Effect of Students’ Nodding on Their Arousal Levels in On-Demand Lectures

  Kotaro Sumida, Ayumi Ohnishi, Tsutomu Terada, Hiroshi Kato, Hideaki Kuzuoka, Yoshihiko Kubota, Hideyuki Suzuki

  Apr. 2023, 23, 3858, English

  [Refereed]

  Scientific journal

• 授業中の表出と集中度に基づく対面授業と遠隔リアルタイム授業の比較調査

  角田幸太郎, 大西鮎美, 寺田努, 加藤浩, 葛岡英明, 久保田善彦, 鈴木栄幸, 塚本昌彦

  Apr. 2023, 情報処理学会論文誌, 64 (4), 814 - 829, Japanese

  [Refereed]

  Scientific journal

• Development of a New Evacuation training program Including Child-centered Choice of Action and ICT-based Post-event Learning

  TANAKA Tatsuya, UTSUMI Sae, OHNISHI Ayumi, TERADA Tsutomu

  本研究の目的は，小学校低学年児童を対象とした児童主体の行動選択とICT活用型事後学習を含む新たな避難訓練プログラムを開発することである。開発されたプログラムは，危険とその対処法を踏まえた事前学習，及び，児童が学んだ災害特性に応じて避難経路や避難行動を主体的に選択する避難訓練の実施，さらに避難行動時の児童の発話や行動についてICT機器を用いて記録し，それらを用いたリフレクションを行う事後学習である。国立大学附属小学校第1学年児童31名を対象に，開発されたプログラムを実施した結果，次の3点が示唆された。（1）児童が，事前学習で学んだ災害特性を，避難経路選択や，避難行動選択の判断指標として活用していること，（2）児童が，自身の避難経路選択や避難行動選択の適切性を客観的に判断することができること，（3）児童が，プログラムの実施によって学んだ災害特性への知識を，教師主導の避難訓練においても適応していること。

  Japan Society for Science Education, 18 Dec. 2022, JSSE Research Report, 37 (4), 23 - 28, English

• A Wearable Device That Makes You Blink When You Should Blink

  Soichiro UTSUMI, Ayumi OHNISHI, Tsutomu TERADA, Masahiko TSUKAMOTO

  Sep. 2022, Proc. of 26th International Symposium on Wearable Computers (ISWC 2022), 69 - 73, English, International magazine

  [Refereed]

  International conference proceedings

• Extensible Neck: A Gesture Input Method to Extend/Contract Neck Virtually in Video See-through AR Environment

  Shinnosuke Yamazaki, Ayumi Ohnishi, Tsutomu Terada, Masahiko Tsukamoto

  With the popularization of head-mounted displays (HMDs), many systems for human augmentation have been developed. This will increase the opportunities to use such systems in daily life. Therefore, the user interfaces for these systems must be designed to be intuitive and highly responsive. This paper proposes an intuitive input method that uses natural gestures as input cues for systems for human augmentation. We investigated the appropriate gestures for a system that expands the movements of the user’s viewpoint by extending and contracting the neck in a video see-through AR environment. We conducted an experiment to investigate natural gestures by observing the motions when a person wants to extend his/her neck. Furthermore, we determined the operation method for extending/contracting the neck and holding the position through additional experiments. Based on this investigation, we implemented a prototype of the proposed system in a VR environment. Note that we employed a VR environment since we could test our method in various situations, although our target environment is AR. We compared the operability of the proposed method and the handheld controller using our prototype. The results confirmed that the participants felt more immersed using our method, although the positioning speed using controller input was faster than that of our method.

  01 May 2022, Sensors, 22 (9), English

  [Refereed]

  Scientific journal

  Link to Kobe Univ. Repository (Kernel)
• DeskWalk: An Exercise System that Replaces Key Inputs with Body Movements

  清水 裕介, 大西 鮎美, 寺田 努, 塚本 昌彦

  本論文では，パソコンを利用した作業時のキー入力を身体動作で置き換えることにより，運動不足を解消するシステム，DeskWalkを提案する．長時間の座位作業は健康に悪影響がある．歩行や立ち上がりを行うことでその影響を低減できるが，これらは作業の中断をともなう．DeskWalkは下肢に取り付けたストレッチセンサで歩行と同等に筋肉が動く動作を認識し，それらの対象動作にあらかじめ割り当てたキーの入力を行う．これにより，ユーザは座位作業を続けながら運動ができる．さらに，日常生活での運動を記録しておき，座位作業時にDeskWalkを用いて不足分の運動を補わせるアプリケーションを提案，実装した．評価実験の結果，DeskWalkは対象動作を平均F値0.98と高精度に認識できた．システム使用時は未使用時と比較して2割から3割程度入力速度が減少したが，通常のパソコン作業において問題のない速度で入力ができていた． We propose DeskWalk, which is an exercise system that replaces key inputs with body movements. Prolonged sitting significantly compromises health. Previous studies have shown that walking and standing during sedentary work can reduce the negative effects of prolonged sitting. However, these movements interrupt the work of the user. DeskWalk allows a user to exercise during his/her work. It recognizes the body movements using stretch sensors attached to the lower limbs and replaces them with preassigned key inputs. In preliminary experiments, we determined three target movements that involved muscle activities equivalent to walking. We implemented a system to measure steps using a smartphone and to perform exercises similar to the walking motion with DeskWalk. The average F-value of the motion recognition rate was 0.98. The input speed when using Deskwalk was 20% to 30% less than when not using Deskwalk, which was confirmed to be an acceptable speed for daily use.

  [出版社不明], 15 Feb. 2022, 情報処理学会論文誌, 63 (2), 468 - 481, Japanese

  [Refereed]

  Scientific journal

• Audio-based Wearable Multi-Context Recognition System for Apnea Detection

  Abidah Alfi Maritsa, Ayumi Ohnishi, Tsutomu Terada, Masahiko Tsukamoto

  Apnea or sleep apnea syndrome is a condition in which a person unconsciously stops breathing during a sleeping state for longer than a certain timeframe. Multiple long-term apnea events induce various impairments. However, apnea detection in hospitals is an intensive and complicated procedure, resulting in a high rate of non-diagnosis and a low awareness of the disease. Existing wearable devices for apnea detection mostly use heartbeat signal patterns and SpO2 levels to detect the disease; however, because apnea is a respiratory impairment, it is believed that using the breathing pattern is the most straightforward approach in apnea detection. Several recent studies investigated whether swallowing frequency during sleep can increase along with the apnea severity. However, the number of wearable devices using swallowing to detect apnea is extremely limited. Thus, this study proposes a wearable system to recognize human contexts such as breathing, heartbeat pattern, and swallowing using an audio sensor. Experiments were conducted to compare and obtain the most suitable parameters for the system such as the window sizes, types of audio feature values, and classification algorithms. A prototype of the device was built and is able to detect breathing, swallowing, heartbeat, oral sounds, and body movement. The results show the highest accuracy of 76.9% when using a 1-s window size and Mel's frequency cepstral coefficient features in contact microphone data.

  2021, ICIIBMS 2021 - 6th International Conference on Intelligent Informatics and Biomedical Sciences, 266 - 273, English

  [Refereed]

  International conference proceedings

• Gaze-Adaptive Subtitles Considering the Balance among Vertical/Horizontal and Depth of Eye Movement

  Yusuke Shimizu, Ayumi Ohnishi, Tsutomu Terada, Masahiko Tsukamoto

  Subtitles (captions displayed on the screen) are important in 3D content, such as virtual reality (VR) and 3D movies, to help users understand the content. However, an optimal displaying method and framework for subtitles have not been established for 3D content because 3D has a depth factor. To determine how to place text in 3D content, we propose four methods of moving subtitles dynamically considering the balance between the vertical/horizontal and depth of gaze shift. These methods are used to reduce the difference in depth or distance between the gaze position and subtitles. Additionally, we evaluate the readability of the text and participants' fatigue. The results show that aligning the text horizontally and vertically to eye movements improves visibility and readability. It is also shown that the eyestrain is related to the distance between the object and subtitles. This evaluation provides basic knowledge for presenting text in 3D content.

  IEEE COMPUTER SOC, 2021, 2021 IEEE INTERNATIONAL SYMPOSIUM ON MIXED AND AUGMENTED REALITY ADJUNCT PROCEEDINGS (ISMAR-ADJUNCT 2021), 127 - 132, English

  [Refereed]

  International conference proceedings

• Sensor-Based Motion Analysis of Paralympic Boccia Athletes.

  Ayumi Ohnishi, Tsutomu Terada, Masahiko Tsukamoto

  Springer, 2021, Advances in Networked-Based Information Systems - The 24th International Conference on Network-Based Information Systems (NBiS-2021)(NBiS), 249 - 257

  [Refereed]

  International conference proceedings

• Design and Implementation of Push Pass Practice Support System for Field Hockey with Auditory Feedback.

  Munehiro Iwamoto, Ayumi Ohnishi, Tsutomu Terada, Masahiko Tsukamoto

  ACM, 2021, MUM, 56 - 61

  [Refereed]

  International conference proceedings

• A Labeling Support System for Participants' Situated Assessments by Multi-modal Sensing.

  Ayumi Ohnishi, Kyosuke Kondo, Hiroshi Kato, Tsutomu Terada, Hideaki Kuzuoka, Yoshihiko Kubota, Hideyuki Suzuki, Masahiko Tsukamoto

  ACM, 2021, iiWAS, 625 - 634

  [Refereed]

  International conference proceedings

• Wearable System for Promoting Salivation.

  Kai Washino, Ayumi Ohnishi, Tsutomu Terada, Masahiko Tsukamoto

  ACM, 2021, AHs '21: Augmented Humans International Conference 2021(AHs), 215 - 222, English

  [Refereed]

  International conference proceedings

• FaceRecGlasses: A Wearable System for Recognizing Self Facial Expressions Using Compact Wearable Cameras.

  Hiroaki Aoki, Ayumi Ohnishi, Naoya Isoyama, Tsutomu Terada, Masahiko Tsukamoto

  ACM, 2021, AHs '21: Augmented Humans International Conference 2021(AHs), 55 - 65, English

  [Refereed]

  International conference proceedings

• A Method for Estimating Doctor's Fatigue Level in Operating a Surgical Robot Using Wearable Sensors.

  Ayumi Ohnishi, Hayate Tohnan, Tsutomu Terada, Minoru Hattori, Hisaaki Yoshinaka, Yusuke Sumi, Hiroyuki Egi, Masahiko Tsukamoto

  IEEE, 2021, 19th IEEE International Conference on Pervasive Computing and Communications Workshops and other Affiliated Events, 38 - 43, English

  [Refereed]

  International conference proceedings

• プッシュアップバーに取り付けた圧力センサによるプッシュアップフォーム識別デバイスの設計と実装

  三重孝雄, 大西鮎美, 寺田 努, 塚本昌彦

  Jun. 2020, 情報処理学会マルチメディア， 分散， 協調とモバイルシンポジウム(DICOMO 2020), 2020, 1184 - 1193

  Symposium

• ウェアラブルだるまさんがころんだ: プレーヤ及び観客の納得感を考慮した機械判定システムを用いたゲームの実装と運用

  柳生 遥, 三木隆裕, 大西鮎美, 土田修平, 寺田 努, 塚本昌彦

  Jun. 2020, 情報処理学会マルチメディア， 分散， 協調とモバイルシンポジウム(DICOMO 2020), 2020 (1), 1161 - 1171

  Symposium

  Link to Kobe Univ. Repository (Kernel)
• 手術ロボット操作時におけるウェアラブルセンサを用いた疲労度推定手法

  大西鮎美, 東南 颯, 寺田 努, 服部 稔, 好中久晶, 寿美裕介, 恵木浩之, 塚本昌彦

  Lead, Jun. 2020, 情報処理学会マルチメディア， 分散， 協調とモバイルシンポジウム(DICOMO 2020), 2020 (1), 1394 - 1402

  Symposium

  Link to Kobe Univ. Repository (Kernel)
• パソコンを利用した作業時のキー入力を身体動作で置き換えることによる運動不足解消システム

  清水裕介, 大西鮎美, 寺田 努, 塚本昌彦

  Jun. 2020, 情報処理学会マルチメディア， 分散， 協調とモバイルシンポジウム(DICOMO 2020), 2020 (1), 823 - 831

  Symposium

  Link to Kobe Univ. Repository (Kernel)
• 刺激により唾液分泌量増加を促す顎下部装着型ウェアラブルデバイスの提案

  鷲野 海, 大西鮎美, 寺田 努, 塚本昌彦

  Jun. 2020, 情報処理学会マルチメディア， 分散， 協調とモバイルシンポジウム(DICOMO 2020), 2020 (1), 807 - 814

  Symposium

  Link to Kobe Univ. Repository (Kernel)
• フィールドホッケーにおける圧力センサ付スティックを用いた技術向上支援システムの設計と実装

  岩本宗大, 大西鮎美, 寺田 努, 塚本昌彦

  Jun. 2020, 情報処理学会マルチメディア， 分散， 協調とモバイルシンポジウム(DICOMO 2020), 2020 (1), 567 - 576

  Symposium

  Link to Kobe Univ. Repository (Kernel)
• A Method of Gas Source Localization from Sensor Network using Machine Learning

  Worachat Arunothaikrit, Ayumi Ohnishi, Shuhei Tsuchida, Tsutomu Terada, Masahiko Tsukamoto

  Jun. 2020, 情報処理学会マルチメディア， 分散， 協調とモバイルシンポジウム(DICOMO 2020), 2020, 1120 - 1125

  Symposium

• マルチモーダルセンシングによる状況内評価のラベリング支援手法

  近藤杏祐, 加藤 浩, 大西鮎美, 寺田努, 葛岡英明, 久保田善彦, 鈴木栄幸, 塚本昌彦

  Mar. 2020, インタラクション2020 論文集, 1103 - 1108

  Symposium

• DeskWalk: an exercise system by replacing key inputs with body movements.

  Yusuke Shimizu, Ayumi Ohnishi, Tsutomu Terada, Masahiko Tsukamoto

  ACM, 2020, MoMM '20: The 18th International Conference on Advances in Mobile Computing and Multimedia(MoMM), 202 - 209, English

  [Refereed]

  International conference proceedings

• Wearable statues game: a real-world multiplayer game using automatic judgment with accelerometers.

  Haruka Yagyu, Takahiko Miki, Ayumi Ohnishi, Shuhei Tsuchida, Tsutomu Terada, Masahiko Tsukamoto

  ACM, 2020, MoMM '20: The 18th International Conference on Advances in Mobile Computing and Multimedia(MoMM), 192 - 201, English

  [Refereed]

  International conference proceedings

• An Auditory Feedback System to Improve the Foot Pressure Balance for Runners

  Ayumi Ohnishi, Isao Nishiyama, Tsutomu Terada, Masahiko Tsukamoto

  Lead, ACM, 02 Dec. 2019, Proceedings of the 17th International Conference on Advances in Mobile Computing & Multimedia, 94 - 101

  [Refereed]

  International conference proceedings

• Comparative Evaluation on Labeling Methods; Hand-operated, Self-assessment, and Sensor-based Estimation, for Estimating Participants’ Expression in Discussions

  近藤杏祐, 加藤浩, 大西鮎美, 寺田努, 葛岡英明, 久保田善彦, 鈴木栄幸, 塚本昌彦

  Sep. 2019, 電子情報通信学会技術研究報告, 119 (236), 9 - 14

  Symposium

• ヒトリス：健康促進を目的として体と頭を複合的に使わせるインタラクティブゲーム

  大西鮎美, 柳生 遥, 仙波 拓, 寺田 努, 塚本昌彦

  Lead, Jul. 2019, 情報処理学会マルチメディア, 分散, 協調とモバイルシンポジウム (DICOMO 2019) 論文集, 2019 (1), 1863 - 1870

  Symposium

• A Posture and Gesture Recognition Method using Foot Pressure Sensors

  Ohnishi Ayumi, Terada Tsutomu, Tsukamoto Masahiko

  Lead, Apr. 2019, Journal of Information Processing, 27

  [Refereed]

• 授乳中のスマートフォン操作の有無による母親と乳児の体勢データの比較

  中川 遼, 大西 鮎美, 吉田 さちね, TERADA TSUTOMU, 船戸 弘正, TSUKAMOTO MASAHIKO

  Mar. 2019, インタラクション, Japanese

  Symposium

• A Method for Structuring Meeting Logs using Wearable Sensors

  Ohnishi Ayumi, Murao Kazuya, Terada Tsutomu, Tsukamoto Masahiko

  Lead, Mar. 2019, Internet of Things, 5, 140 - 152, English

  [Refereed]

  Scientific journal

• A Method for Recognizing Postures and Gestures Using Foot Pressure Sensors.

  Ayumi Ohnishi, Tsutomu Terada, Masahiko Tsukamoto

  2019, J. Inf. Process., 27, 348 - 358

  Scientific journal

  Link to Kobe Univ. Repository (Kernel)
• Effect of using smartphone during breast-feeding

  Haruka Nakagawa, Sachine Yoshida, Ayumi Ohnishi, Tsutomu Terada, Hiromasa Funato, Masahiko Tsukamoto

  ACM Press, 2019, Proceedings of the 2019 ACM International Joint Conference on Pervasive and Ubiquitous Computing and Proceedings of the 2019 ACM International Symposium on Wearable Computers - UbiComp/ISWC '19, 1190 - 1193

  [Refereed]

  International conference proceedings

• A Meeting Log Structuring System Using Wearable Sensors

  OHNISHI Ayumi, MURAO Kazuya Murao, TERADA Tsutomu, TSUKAMOTO Masahiko

  Springer, Sep. 2018, The 7th International Workshop on Advances in Data Engineering and Mobile Computing (DEMoC-2018), 841 - 852, English

  [Refereed]

  International conference proceedings

• 授乳時における母親のスマートフォン操作と乳児のぐずりの関係調査

  中川 遼, 大西 鮎美, 吉田 さちね, TERADA TSUTOMU, 塚本 昌彦

  Jul. 2018, 情報処理学会マルチメディア，分散，協調とモバイルシンポジウム(DICOMO2018) 論文集, 2018 (1), 330 - 337, Japanese

  Symposium

• 自閉スペクトラム症者へのコミュニケーション支援に向けた他者表情提示システムの検討

  堀江 彩太, 大西 鮎美, 和田 真, TERADA TSUTOMU, TSUKAMOTO MASAHIKO

  Jul. 2018, 情報処理学会マルチメディア，分散，協調とモバイルシンポジウム(DICOMO2018) 論文集, 2018 (1), 1463 - -1472, Japanese

  Symposium

• 筋電センサを用いたふきんの絞り方の評価

  大西 鮎美, 浦田 由希, TERADA TSUTOMU, TSUKAMOTO MASAHIKO

  Jul. 2018, 情報処理学会マルチメディア，分散，協調とモバイルシンポジウム(DICOMO2018) 論文集, 2018 (1), 804 - -811, Japanese

  Symposium

• A Motion Recognition Method Using Foot Pressure Sensors

  OHNISHI Ayumi, TERADA Tsutomu, TSUKAMOTO Masahiko

  ACM, Feb. 2018, The 9th Augmented Human Conference (AH 2018), 10:1 - 10:8, English

  [Refereed]

  International conference proceedings

• 装着型センサを用いた読み聞かせ時の興味推定手法の評価

  OHNISHI Ayumi, HAMA Yasuichi, SAITO Kaoru, TERADA Tsutomu, TSUKAMOTO Masahiko

  Dec. 2017, ユビキタスウェアラブルワークショップ(UWW2017)論文集, 13, Japanese

  Symposium

• 授乳中の母親のスマートフォン操作と乳児のぐずりの関係調査

  NAKAGAWA Haruka, OHNISHI Ayumi, YOSHIDA Sachine, TERADA Tsutomu, TSUKAMOTO Masahiko

  Dec. 2017, ユビキタスウェアラブルワークショップ(UWW2017)論文集, 31, Japanese

  Symposium

• Wearable Statues Game: Implementation and Actual Use of a Real-word Multiplayer Game using Automatic Judgement with Wearable Acelerometers

  三木 隆裕, 大西 鮎美, 出口 嵐以貴, 土田 修平, 伊藤 悠真, 寺田 努, 塚本 昌彦

  09 Sep. 2017, エンタテインメントコンピューティングシンポジウム2017論文集, (2017), 174 - 183, Japanese

• 足圧分布センサを用いた姿勢認識手法

  OHNISHI Ayumi, TERADA Tsutomu, TSUKAMOTO Masahiko

  Jun. 2017, 情報処理学会シンポジウムシリーズマルチメディア，分散，協調とモバイルシンポジウム(DICOMO2020)論文集, 2017 (1), 810 - 818, Japanese

  Symposium

• Toward interest estimation from head motion using wearable sensors: A case study in story time for children

  Ayumi Ohnishi, Kaoru Saito, Tsutomu Terada, Masahiko Tsukamoto

  Learning activities were evaluated using questionnaire survey, video, or audio. However, these methods have the following problems. First, writing on the questionnaire paper is difficult, especially for little children. Second, because the answering questionnaires was performed after the experiments were finished. They were different temporally and spatially from the scene to be evaluated. Moreover, sometimes participants has forgot the part of the contents. Finally, by recording video or audio, we can look back at each scene and evaluate them, however, video or audio analysis takes a very long time. This research aims to solve these three problems and evaluate natural reactions first, for children of a low age group, second, including changes in the state of participants during an activity, and third, as much as possible without wasting time and effort. In this paper, during storytelling events for children, we attempted to obtain the values of acceleration and angular velocity sensors with sensors placed on the participant’s heads, and tried to estimate their motions and degree of interests. Motions were calculated using the F-value, with accuracies of 0.66 in “Sitting state”, 0.26 in “Sitting again”, 0.47 in “Wriggling”, and 0.93 in “Playing with hands”. From these results, “Playing with hands” had the highest degree of interest, with a motion recognition rate of 0.93 in F-value. Comparing the proposed method with the video evaluation later, the proposed method can obtain the evaluation result during the learning activity. Therefore, by feeding back the estimation result in real time, we can make improvements while doing activities.

  Springer Verlag, 2017, Lecture Notes in Computer Science (including subseries Lecture Notes in Artificial Intelligence and Lecture Notes in Bioinformatics), 10272, 353 - 363, English

  [Refereed]

  International conference proceedings

• 足圧分布センサを用いた姿勢推定手法

  Ayumi OHNISHI, Kazuya MURAO, Tsutomu TERADA, Masahiko TSUKAMOTO

  Dec. 2016, ユビキタスウェアラブルワークショップ (UWW2016) 論文集, 24, Japanese

  Symposium

• 装着型センサを用いた読み聞かせ時の動作認識と興味推定にむけて

  Ayumi OHNISHI, Kaoru Saitou, Tsutomu TERADA

  Jul. 2016, 情報処理学会マルチメディア，分散，協調とモバイルシンポジウム(DICOMO2016) 論文集, 1175 - -1182, Japanese

  Symposium

• 装着型センサを用いた会議ログの構造化システム

  Ayumi OHNISHI, Kazuya MURAO, Tsutomu TERADA, Masahiko TSUKAMOTO

  Jul. 2014, 情報処理学会シンポジウムシリーズ マルチメディア，分散，協調とモバイルシンポジウム (DICOMO2014) 論文集, 2014 (1), 1860 - 1868, Japanese

  [Refereed]

  Symposium

MISC

• 振付師が意識した楽曲パートをダンサーに共有することによる振付指導手法

  寺坂 亮祐, 大西 鮎美, 寺田 努, 塚本 昌彦

  ダンスショーでは，ダンサーが振付師の指導通りに踊るが，振付師は口では説明できないリズムの取り方をした振付を作成する場合があり，その部分を指導することが難しい．それ故にダンサーは複雑なリズムの振付に対し，どのようにリズムを取って踊っていいかわからない．そこで、振付師が意識した楽曲パートをダンサーに伝えられるシステムを提案した．調査と実験の結果，本システムに対する需要と効果が期待できることがわかった．

  23 Aug. 2021, (2021), 126 - 134, Japanese

  Link to Kobe Univ. Repository (Kernel)
• 遠隔授業の質向上に向けた顔映像と心拍情報に基づく対面授業と遠隔リアルタイム授業の比較調査

  角田 幸太郎, 大西 鮎美, 寺田 努, 加藤 浩, 葛岡 英明, 久保田 善彦, 鈴木 栄幸, 塚本 昌彦

  COVID-19 の影響で遠隔授業が急速に増加しているが，どのように遠隔授業を行えば授業の質が高まるかは模索の段階である．遠隔授業の質を高めるために，現在の大学等の授業では，双方向性を確保することが重視されている．遠隔授業には多様な形式があるが，授業形式によって双方向性の度合いが異なると考えられる．しかし，双方向性の違いが授業の質に与える影響はまだ調査されていない．そこで本論文では，双方向性の違いが授業の質に与える影響を調査するため，対面授業と，遠隔リアルタイム授業で他の学習者の顔映像が映る場合と映らない場合の 3 つの授業形式における受講者の顔映像と心拍情報を取得し，各授業形式における受講者の集中度や覚醒度を調査した．同時に，遠隔授業での表出を対面と比較した．調査の結果，講師と対面する状態，遠隔リアルタイムで顔を映す状態，遠隔リアルタイム授業で顔を映さない状態の順で受講者の集中度，覚醒度が高いことがわかった．また，遠隔授業における表出が相手を意識した評価行動であるとは結論付けられなかった．これらの結果より，遠隔授業で顔を映すこと，そして対面授業で講師が受講者に働きかけるように，遠隔授業でも講師が受講者に働きかけることが遠隔授業の質を高めると考えられる．

  23 Jun. 2021, 2021 (1), 363 - 373, Japanese

  Link to Kobe Univ. Repository (Kernel)
• 首を自在に伸縮できるビデオシースルーARシステムのための操作方法の検討

  山崎 晋之介, 大西 鮎美, 寺田 努, 塚本 昌彦

  ヘッドマウントディスプレイなどの頭部装着型デバイスの普及に伴い，それらを用いた人間の身体拡張に関する研究が注目を集めている．身体拡張システムの操作方法においてコントローラなどの入力デバイスを用いると咄嗟の操作が難しいことや操作を覚える必要があることといった問題がある．そこで，本研究では直観的に操作が行えるように人間の自然な動作 (ジェスチャ) を入力のキーにする．本論文では，広角・高解像度のカメラが搭載されているビデオシースルー AR を用いて首を自在に伸縮・移動することによって視点の移動を拡張する身体拡張システムを題材とし，このようなシステムのためのジェスチャ入力方法を検討した．提案システムとして VR 空間内の迷路で首が上方向に伸びる身体拡張システムを実装した．そして，検討したジェスチャによる操作とコントローラによる操作で操作性を比較するための評価実験を行った．実験の結果，被験者に共通してコントローラによる操作が操作性において優れていることが分かった．また，主観評価ではジェスチャによる操作で没入感が得られるということが分かった．

  23 Jun. 2021, 2021 (1), 1341 - 1349, Japanese

  Link to Kobe Univ. Repository (Kernel)
• 適切な瞬目タイミングを考慮した反射性瞬目誘発システム

  内海 壮一朗, 大西 鮎美, 寺田 努, 塚本 昌彦

  集中時等における瞬目の減少は，ドライアイをはじめとする様々な疾患を引き起こす原因となる．瞬目を促す手法については数多くの研究が行われてきた．しかし，視覚情報の変化が激しい状況で瞬目を促すと，瞬目によって視界が遮られた瞬間に重要な情報を見逃してしまう恐れがある．そこで本研究では，瞬目によって視界が遮断されても問題のないタイミングで反射性瞬目を誘発することで，ユーザのタスクに支障をきたさないように瞬目を増加させるシステムを提案する．本論文ではまず，簡単なコンピュータゲームのプレイ中にゲーム画面を遮断することで，適切な瞬目タイミングを調査する実験を行った．その結果，不適切な瞬目タイミングの存在とゲーム中における適切な瞬目タイミングの個人差が確認された．次に，空気を目に向けて吐出するデバイスを実装し，ゲーム中にシステムを使用した際の反射性瞬目の誘発率と瞬目回数を調査した．瞬目の誘発率は 21.4% と低かったが，瞬目回数は無刺激と比較して増加した．

  23 Jun. 2021, 2021 (1), 197 - 204, Japanese

  Link to Kobe Univ. Repository (Kernel)
• ダイバー同士の水中会話を支援するための深層学習を用いた音声認識手法

  土田 修平, Worachat Arunothaikrit, Haomin Mao, 大西 鮎美, 寺田 努, 塚本 昌彦, 滝口 哲也

  23 Jun. 2021, 2021 (1), 317 - 324, Japanese

  Link to Kobe Univ. Repository (Kernel)
• Color-Path:手本動作のAR表示によるヘアアレンジ再現支援システム

  松井菜摘, 大西鮎美, 寺田努, 塚本昌彦

  2021, 日本ソフトウェア科学会研究会資料シリーズ(Web), (94)

• こめかみ部の血流の測定から唾液分泌量を予測するメガネ型ウェアラブルシステムの設計と実装

  鷲野海, 大西鮎美, 寺田努, 塚本昌彦

  2021, 情報処理学会研究報告(Web), 2021 (HCI-195)

• スポーツにおける機械判定システムのための人の納得感に基づく判定基準調整手法

  柳生遥, 大西鮎美, 土田修平, 寺田努, 塚本昌彦

  2021, 情報処理学会研究報告(Web), 2021 (HCI-195)

• ストレッチセンサを用いた常時膝角度推定によるサポータ型怪我防止システム

  桐野江高太, 大西鮎美, 寺田努, 塚本昌彦

  2020, 日本ソフトウェア科学会研究会資料シリーズ(Web), (91)

• 視覚・聴覚フィードバックによるフィールドホッケーのプッシュ練習支援システムの提案と実装

  岩本宗大, 大西鮎美, 寺田努, 塚本昌彦

  2020, 日本ソフトウェア科学会研究会資料シリーズ(Web), (91)

• A Method of Gas Source Prediction and Localization from Sensor Network using Machine Learning

  Worachat Arunothaikrit, Ayumi Ohnishi, Tsutomu Terada, Masahiko Tsukamoto

  Dec. 2019, ユビキタス・ウェアラブルワークショップ (UWW2019) 論文集, 48

• 授乳中のスマートフォン操作が母親および乳児の体勢データに与える影響の調査

  中川 遼, 大西鮎美, 吉田さちね, 寺田 努, 船戸弘正, 塚本昌彦

  Dec. 2019, ユビキタス・ウェアラブルワークショップ (UWW2019) 論文集, 24

• 発電機能をもつシューズを用いた発電量に基づく状況認識手法

  大西鮎美, 寺田 努, 塚本昌彦

  Dec. 2019, ユビキタス・ウェアラブルワークショップ (UWW2019) 論文集, 66

• 表情・頭部姿勢・瞬きの情報に基づく状況内評価の推定

  近藤杏祐, 加藤 浩, 大西鮎美, 寺田 努, 葛岡英明, 久保田善彦, 鈴木栄幸, 塚本昌彦

  Dec. 2019, ユビキタス・ウェアラブルワークショップ (UWW2019) 論文集, 8

• 視線と頭部動作を用いたウェアラブルロボットアームの制御手法

  木村拓己, 大西鮎美, 寺田 努, 塚本昌彦

  Dec. 2019, ユビキタス・ウェアラブルワークショップ (UWW2019) 論文集, 60

• 無電源センシングシューズを用いた歩行推定のための発電量と歩行状態の関係調査

  大西 鮎美, TERADA TSUTOMU, TSUKAMOTO MASAHIKO

  Dec. 2018, ユビキタスウェアラブルワークショップ (UWW2018) 論文集, 24, Japanese

• 中川 遼, 大西鮎美, 吉田さちね, 寺田 努, 船戸弘正, 塚本昌彦

  中川 遼, 大西 鮎美, 吉田 さちね, TERADA TSUTOMU, 船戸 弘正, TSUKAMOTO MASAHIKO

  Dec. 2018, ユビキタスウェアラブルワークショップ (UWW2018) 論文集, 7, Japanese

• 場の雰囲気フィードバックのための状況内評価と自己申告評価の関係調査

  近藤 杏祐, 大西 鮎美, 加藤 浩, TERADA TSUTOMU, TSUKAMOTO MASAHIKO

  Dec. 2018, ユビキタスウェアラブルワークショップ (UWW2018) 論文集, 11, Japanese

• 加速度データによるミーティング時の状況認識

  OHNISHI Ayumi, MURAO Kazuya, TERADA Tsutomu, TSUKAMOTO Masahiko

  ヘッドセットに装着した加速度センサで話し合い時の状態を記録し，記録したデータとミーティング中の録画動画からミーティング中の状態を判定した．

  Dec. 2013, ユビキタス・ウェアラブルワークショップ2013 (UWW 2013)論文集, 7, Japanese

Research Projects

• 疲労時五感の定式化と疲労時能力をAIで補正する五感拡張装置の開発

  科学技術振興機構, 戦略的創造研究推進事業(ACT-X), Oct. 2021 - Mar. 2024, Principal investigator

• 衝撃発電素子を用いた無電源ウェアラブル行動認識技術の確立

  大西 鮎美

  日本学術振興会, 科学研究費助成事業 若手研究, 若手研究, 神戸大学, Apr. 2021 - Mar. 2024

• 神戸市立青少年科学館における研究成果のインタラクティブな常設展示空間の共創

  寺田 努, 大西鮎美

  神戸大学, 令和4年度地域連携事業, Apr. 2022 - Mar. 2023

• 小学校におけるICTを活用した新たな避難訓練方式の実証的検証

  寺田 努, 大西鮎美

  神戸大学, 令和3年度 地域連携事業, Apr. 2021 - Mar. 2022

• System development for aggregating learners' expressive acts corresponding to mental states and feeding the results back to learners

  加藤 浩, 寺田 努, 大西 鮎美, 葛岡 英明, 鈴木 栄幸, 久保田 善彦

  Japan Society for the Promotion of Science, Grants-in-Aid for Scientific Research Grant-in-Aid for Scientific Research (B), Grant-in-Aid for Scientific Research (B), The Open University of Japan, Apr. 2018 - Mar. 2021

  議論時にリアルタイムで参加者の表出データを取得するために次のような実験装置を開発した．実験装置は，議論の当事者自身がポジティブ/ネガティブな心的状態かどうかを自己申告するためのワイヤレス押しボタン（bluetooth接続）とそれを収集・記録・集計するためのスマホアプリ，頭部の動きを検知するモーションセンサーと瞬きを検知する眼電位センサーを内蔵する眼鏡型デバイス（JINS MEME）とそのデータを収集・記録・集計するためのスマホアプリ，心電位計とモーションセンサーを内蔵する心拍センターとそのデータを収集・記録・集計するためのスマホアプリ，および動作主の表情をとらえるビデオカメラ（スマホ）からなる． 上記実験装置を用いて研究討議の場面からデータを取得し，分析した．動作主の顔動画から人手でポジティブ/ネガティブと分類した表出データと，動作主本人が押しボタンによって申告したポジティブ/ネガティブの心的状態との一致度を調べたところ，評価基準を甘めに見積もっても74～90％程度の一致率しかなく，自己申告データを機械学習のための教師データとして用いるには精度が不十分だということが判明した．しかも，押しボタンを押すという行為が議論への没頭の妨げになり，押すか押さないかの判断やタイミングもむずかしいということが分かった．このため，自己申告データではなく，表情を分析するソフトを用いてポジティブ/ネガティブの判断ができるかどうかを検証してみることにした． 今後は表情分析ソフトまたは人手による解析データを教師データとして，主として眼鏡型デバイスから動作主のポジティブ/ネガティブの状態を推測することを目標に研究開発する．