Research
Event-based Visual Microphone
マイクを使わない新しい音の記録システムを開発しました。
従来手法のLDVやハイスピードカメラには高コストであることや、撮影速度と解像度のトレードオフが課題でした。そこで輝度変化のみを記録するイベントカメラを用いた手法を提案し、音の再構築に成功しました。この手法は明るい照明を必要とせず、低コストで音を記録することができ、振動や音の測定において新しい可能性を提供する。従来のマイクでは困難なほど遠くの音を記録できたり、狙った音のみをクリアに記録できる可能性を秘めています。
We have developed a new sound recording system that does not require a microphone. Conventional methods such as LDV and high-speed cameras had issues with high cost, and the trade-off between shooting speed and resolution. Therefore, we propose a method using an event camera that only records changes in brightness, and we have successfully reconstructed the sound. This method does not require bright light, can record sound at a low cost, and offers new possibilities in the measurement of vibrations and sounds. It has the potential to record sounds from distances that are difficult with conventional microphones, and to clearly record only targeted sounds.
Air Talk-Starter
ろう・難聴者が抱える最大の問題の一つに話しかけられたことに気づけないことがあります。聴覚障害は外見や行動だけでは障害の有無やその程度に気がつかず、話しかけられても気がつかない様からコミュニケーションの機会の損失を大きく受けています。 Air Talk-Starterは空気渦輪を話しかけられた人の頭部に当てることでその方向を提示し、コミュニケーションの入り口を作りやすくします。
One of the biggest challenges that deaf and hard-of-hearing individuals face is not realizing when they are being spoken to. It's hard to notice the presence or degree of hearing impairment just by appearance or behavior, and not realizing when they're being spoken to often leads to significant losses in communication opportunities. Air Talk-Starter aims to mitigate this problem by directing a vortex of air at the person being spoken to, thereby indicating the direction from which the communication is coming and making it easier to initiate a conversation.
Drone Badminton
Drone Badmintonは、ドローンを球として用いることで、弱視者が空中で移動する球を認識しラリーを行う競技を可能にします。プレイヤーは専用のラケットとドローンを用意するだけで、競技を行うことが出来ます。私たちはラケットのガットの代わりにセンサーを取り付けることで、フレームを通過したドローンが自動で相手方向に移動するシステムを開発しました。本プロダクトは弱視者競技の種類を大幅に拡大する可能性を秘めていると同時に、中途弱視者はかつて可能だった上を向いてラケットを振るといった競技を再体験することが出来ます。
Drone Badminton makes it possible for visually impaired people to participate in a rally sport that involves recognizing a ball moving in the air, by using a drone as the ball. Players only need to prepare a specialized racket and a drone to participate. We have developed a system where the drone automatically moves in the opponent's direction once it passes through the frame, by attaching sensors in place of the racket strings. This product not only holds the potential to significantly broaden the variety of sports for the visually impaired, but also allows those with partial vision loss to re-experience sports where one used to look up and swing a racket.
EMS-Supported Throwing
この研究では、EMSと予測を組み合わせた学習支援システムを提案し、アンダーハンドスローの制御能力を向上させるためにリリースポイントを教示するためにシステムを使用し、学習効果を確認した。実験結果から、EMSはボールのリリースポイントを教示するのに効果的であったことが示され、EMSを応用して運動学習を支援する可能性があることが示唆された。
In this study, we propose a learning support system that combines EMS (Electrical muscle stimulation) and prediction. The system is used to instruct the release point in order to improve underhand throw control ability, and we verified its learning effect. Experimental results showed that EMS was effective in instructing the release point of the ball, suggesting potential for supporting motor learning by applying EMS.
How See the Colorful Scenery?
視覚障害者向けの周囲の説明アプリは色の説明が不十分であるため、研究者らは追加の説明を加えて視聴体験を試みた。実験では色を想像できるという意見があったが、説明が理解しにくいという意見もあった。今後は、障害者向けの説明文に基づいたコーパスを生成し、詳細かつ瞬時に風景を理解することを目指している。
Because existing description apps for visually impaired people often don't provide sufficient information about colors, researchers added extra descriptions to try and enrich the visual experience. In the experiments, while some participants expressed that they could imagine the colors, others found the descriptions hard to understand. Going forward, the aim is to build a corpus based on descriptions for people with disabilities, with a view to allowing for instantaneous and detailed comprehension of landscapes.
職歴
名古屋大学 情報学部 自然情報学科 入学 2017/04 ~ 2020/03
筑波大学 情報メディア創成 編入 2020/04 ~ 2022/03
産業技術総合研究所・テクニカルスタッフ 2020/12 ~2021/03
Sportip iOSエンジニア 2021/04〜2022/08
筑波大学 大学院 情報学学位プログラム 入学 2022/04 ~ 現在
SONY Group R&D インターン 2022/9/1~9/31
OMRON SINIC X Research Intern 2023/10 ~ 現在
Publication
国際学会(査読有)
Event-based Visual Microphone, Ryogo Niwa, Tatsuki Fushimi, Kenta Yamamoto, and Yoichi Ochai,
proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR) Workshops, pp. 4054-4055, 2023Demonstrating SHITARA: Sending Haptic Induced Touchable Alarm by Ring-shaped Air vortex, Ryosei Kojima, Akihisa Shitara, Tatsuki Fushimi, Ryogo Niwa, Atsushi Shinoda, Ryo Iijima, Kengo Tanaka, Sayan Sarcar, and Yoichi Ochiai, Conference on Human Factors in Computing Systems
(CHI' 23) hot desk demoA Preliminary Study on Eye Contact Framework toward Improving Gaze Awareness in Video Conferences, Kazuya Izumi, Shieru Suzuki, Ryogo Niwa, Atsushi Shinoda, Ryo Iijima, Ryosuke Hyakuta, and Yoichi Ochiai, Human Computer Interaction International 2023 (HCII' 23)
EMS-Supported Throwing:Preliminary investigation on EMS-supported training of movement form, Ryogo Niwa, Kazuya Izumi, Shieru Suzuki, and Yoichi Ochiai , Human Computer Interaction International 2022 (HCII' 22)
How See the Colorful Scenery?: The Color-centered Descriptive Text Generation for the Visually Impaired in Japan, Chieko Nishimura, Naruya Kondo, Takahito Murakami, Maya Torii, Ryogo Niwa, and Yoichi Ochiai , Human Computer Interaction International 2022, (HCII' 22)
査読なし
Event-based Visual Microphone: Non-contact Vibration Sensing using Event Camera, Ryogo Niwa, Tatsuki Fushimi, Kenta Yamamoto, and Yoichi Ochiai, 日本音響学会講演論文集, pp. 529-532, 2023
SHITARA: Sending Haptic Induced Touchable Alarm by Ring-shaped Air vortex, Ryosei Kojima, Akihisa Shitara, Fushimi Tatsuki, Ryogo Niwa, Atsushi Shinoda, Ryo Iijima, Kengo Tanaka, Sayan Sarcar, and Yoichi Ochiai,
arxiv https://arxiv.org/abs/2301.08107
Presentation
Event-based Visual Microphone: Non-contact Vibration Sensing using Event Camera, Ryogo Niwa, Tatsuki Fushimi, Kenta Yamamoto, and Yoichi Ochiai, 音響学会第150回(2023年秋季)研究発表会
EMS-Supported Throwing:Preliminary investigation on EMS-supported training of movement form, Ryogo Niwa, Kazuya Izumi, Shieru Suzuki, and Yoichi Ochiai, Human Computer Interaction International 2022
Grants and Awards
Grants and Awards
令和5年度 筑波大学校友会江崎賞 受賞
つくばスカラシップ研究奨励奨学金 対象者
学振特別研究員 DC1 2024.04.01 ~ 2027.03.31, 安全な光学式マイクロフォンの開発と新たなインタラクションの提案, 230 万円
音響学会 学生優秀発表賞 第27回(2023年秋季研究発表会)
リバネス研究費 incu・be賞 奨励賞
2023/4/1 ~ 「関西みらい共同研究助成金」200万円獲得
大阪市カーボンニュートラル(CN)等新技術ビジネス創出支援事業 万博サポートプロジェクト 100万円
CREST AIP ネットワークラボ長賞 受賞, 41名中トップ5名
CREST AIPチャレンジ 研究費100万円獲得
Drone Badminton, 貞末真明, 皆川達也, 田中賢吾, 丹羽遼吾, 伏見龍樹, 落合陽一. アクセンチュアインタラクティブ賞, 第27回学生CGコンテスト
ゆる楽器ハッカソン 優秀賞
ナイルハッカソン 優勝 賞金30万円獲得