Calm Sense

製品概要

動画はこちらです

背景(製品開発のきっかけ、課題等）

我々は日常生活の中でよく英語の文書に触れます。それは単なる読解問題を解くだけでなく、研究などを円滑に行うために英語論文を理解しないといけません。ですが長くて難しい英語文書を読むと途中で意味がわからなくなり焦ってしまうこともよくあります。焦れば焦るほど、理解の役に立てず、自信がなくなり諦めやすくなります。そこで私たちは今回、こういう繊細な気持ちを検知して、肝心の時にユーザを助けることで英文書の理解力向上のための「Calm sense」を開発してみました。

製品説明（具体的な製品の説明）

特長

• ユーザの指に装着する皮膚電気反射(GSR)センサとESP32ユニットの処理で焦りとそのレベルを検知できます。
• センサーデータをAIで解析して焦りの有無・レベルを精確に示すのにニューラル・ネットワークを活用しました。
• 文書をChatGPTによっていくつかの問題を出します。
• ユーザの焦りのレベルに基づき、違う段階に違うヒントを与えます。

解決出来ること

長くて難しい英文書を理解できないことと、理解できないことによる焦り・不安などの状況を支援します。

今後の展望

皮膚電気反射のレベルは人それぞれです。プロダクトを誰にでも効果的に使えることが今後の努力次第です。

注力したこと（こだわり等）

開発技術

活用した技術

API・データ

• ESP32 Hardware API
• FastAPI
• OpenAI API
• SQLite
• 皮膚電気的感情検出データセット

フレームワーク・ライブラリ・モジュール

• ディープニューラルネットワークフレームワークMLP
• データ収集、可視化、前処理モジュールです
• Reflexライブラリ
• Pytorchライブラリ

デバイス

• ESP32シングルチップ
• GSR皮膚電気センサ
• PC

独自技術

ハッカソンで開発した独自機能・技術

• ESP32とGSRを使って気分の変化を検知するハードウェアを開発しました
• ユーザーの読書内容を検知し、読書支援機能を提供するアプリを開発しました
• 感情の変化を検知するディープニューラルネットワークを設計し訓練しました