論文の概要: BoT-Feedback: Grounding Multimodal Reasoning in Biomechanical Evidence for Explainable Human Action Feedback
- arxiv url: http://arxiv.org/abs/2610.06972v1
- Date: Sat, 03 Oct 2026 20:22:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.484823
- Title: BoT-Feedback: Grounding Multimodal Reasoning in Biomechanical Evidence for Explainable Human Action Feedback
- Title（参考訳）: BoT-Feedback:説明可能なヒューマンアクションフィードバックのためのバイオメカニカルエビデンスにおけるマルチモーダル推論
- Abstract要約: 構造化バイオメカニカルエビデンスにおけるMLLM推論の基盤となるフレームワークであるBoT-Feedbackを紹介する。
私たちの重要な貢献は、4段階の推論フレームワークであるBiomechanics of Thought(BoT)です。
バイオメカニカルエビデンスにおける根拠的推論は、フィードバックの品質、解釈可能性、堅牢性を一貫して改善することを示す。
- 参考スコア（独自算出の注目度）: 12.151605559533337
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Multimodal Large Language Models (MLLMs) have demonstrated impressive capabilities in visual understanding and multimodal reasoning, yet they remain fundamentally limited in Human Action Feedback Generation. Existing methods infer coaching feedback directly from visual observations, producing generic advice, limited interpretability, and physically implausible hallucinations. In contrast, expert human coaches diagnose performance through explicit biomechanical reasoning over joint kinematics, posture, and body dynamics. We introduce BoT-Feedback, a framework that grounds MLLM reasoning in structured biomechanical evidence. Our key contribution is Biomechanics of Thought (BoT), a four-stage reasoning framework that progressively identifies the action, localises the critical body regions, analyses quantitative biomechanical differences between expert and student performances, and synthesises interpretable coaching feedback. To support this reasoning process, we develop a plug-and-play Biomechanical Data Parser (BDP) that converts videos into structured biomechanical descriptors and an alignment strategy that temporally matches expert and student motions. We further introduce BiomAF, a benchmark containing paired teacher-student videos, 3D skeletons, biomechanical attributes, and expert-coaching annotations. Experiments across twelve open- and closed-source MLLMs demonstrate that grounding reasoning in biomechanical evidence consistently improves feedback quality, interpretability, and robustness while substantially reducing biomechanical hallucinations. BoT-Feedback improves the average expert evaluation score from 2.07 to 2.95 (+40%), enabling compact open-source MLLMs to approach the performance of substantially larger proprietary systems for explainable action feedback generation.
- Abstract（参考訳）: MLLM(Multimodal Large Language Models)は、視覚的理解とマルチモーダル推論において印象的な能力を示してきたが、ヒューマンアクションフィードバック生成において基本的に制限されている。
既存の方法では、視覚的観察から直接コーチングのフィードバックを推測し、一般的なアドバイス、限定的な解釈可能性、そして身体的に不明瞭な幻覚を生み出す。
対照的に、熟練した人間のコーチは、関節キネマティクス、姿勢、身体力学に対する明示的な生体力学的推論を通して、パフォーマンスを診断する。
構造化バイオメカニカルエビデンスにおけるMLLM推論の基盤となるフレームワークであるBoT-Feedbackを紹介する。
我々の主要な貢献は、4段階の推論フレームワークであるBiomechanics of Thought(BoT)であり、行動の段階的識別、重要な身体領域のローカライズ、専門家と学生のパフォーマンスの定量的な生体力学的差異の分析、解釈可能なコーチングフィードバックの合成である。
この推論プロセスを支援するために,動画を構造化バイオメカニカル記述子に変換するプラグイン・アンド・プレイ型バイオメカニカル・データ・パーサ(BDP)を開発した。
さらに,教師と学生のペアビデオ,3Dスケルトン,バイオメカニカル属性,専門家によるコーチングアノテーションを含むベンチマークであるBiomAFを紹介する。
12個のオープンおよびクローズドソースMLLM実験により、バイオメカニカルエビデンスにおける基礎的推論は、フィードバックの品質、解釈可能性、堅牢性を一貫して改善し、バイオメカニカル幻覚を著しく低減することを示した。
BoT-Feedbackは、平均専門家評価スコアを2.07から2.95(+40%)に改善し、コンパクトなオープンソースMLLMが、説明可能なアクションフィードバック生成のためのより大規模なプロプライエタリシステムの性能にアプローチできるようにする。
関連論文リスト
- MyoMechanix: Biomechanically-Grounded Compositional Skilled Activity Understanding and Coaching [17.624375413094025]
myoMechanixは、筋肉の活動と運動を一致させる重み付けアクションのためのマルチモーダルエコシステムである。
38人の被験者から7,500以上のアクションのサンプルがあり、同期されたマルチビューRGBビデオ、3Dポーズ、3Dポーズ、sEMG、追加の生理的シグナルがある。
CUBISTは、きめ細かい誤差属性とフィードバック生成のための分解分解分解を行う。
論文 参考訳（メタデータ） (2026-08-26T17:56:33Z) - BioKD: Selective Physiology-to-Video Knowledge Distillation via Reliability Gate for Emotion Recognition [6.1225603994944775]
本稿では,BioKDと呼ばれる信頼性の高い生理・ビデオ知識蒸留フレームワークを提案する。
知識伝達の強度を適応的に調節することにより、信頼できない生理的監督によって引き起こされる負の伝達を抑制する。
DEAPとAMIGOSの実験は、BioKDが代表的ベースラインを一貫して上回っていることを示している。
論文 参考訳（メタデータ） (2026-08-06T13:30:13Z) - MMBU: A Massive Multi-modal Biomedical Understanding Benchmark to Probe the Perception Capabilities of Vision-Language Models [83.50100003741628]
ビジョンと言語モデル(VLM)は、バイオメディカルイメージングを変革する大きな可能性を秘めている。
本稿では,MMBU(Massive Multimodal Biomedical Understanding)ベンチマークを紹介する。
今までで最大のビジョンと言語ベンチマークで、35のサブモダリティと豊富な構造化メタデータをカバーしている。
論文 参考訳（メタデータ） (2026-06-04T20:24:47Z) - BioHuman: Learning Biomechanical Human Representations from Video [11.653644899302542]
既存のモーションキャプチャーデータセットから筋肉の活性化を推定するためのシミュレーションベースのフレームワークを提案する。
本稿では,モノクロ映像を入力とし,人間の動きと筋の活性化を共同で予測するエンド・ツー・エンド・エンド・モデルであるBioHumanを提案する。
論文 参考訳（メタデータ） (2026-05-14T12:36:53Z) - From 3D Pose to Prose: Biomechanics-Grounded Vision--Language Coaching [19.008659008661542]
BioCoachは、ストリーミングビデオからのフィットネスコーチングのためのビジョン言語フレームワークである。
視覚的な外観と3D骨格のキネマティクスを、新しい3段階のパイプラインで融合させる。
オリジナルのQEVD対応チップでは、テキストの品質と正しさをほぼ一定タイミングで改善する。
論文 参考訳（メタデータ） (2026-03-27T19:26:28Z) - Beyond Description: Cognitively Benchmarking Fine-Grained Action for Embodied Agents [52.14392337070763]
CFG-Benchは、きめ細かな動作インテリジェンスを体系的に評価する新しいベンチマークである。
CFG-Benchは、1,368のキュレートされたビデオと19,562の3つのモダリティからなる質問応答ペアからなる。
CFG-Benchに関する包括的評価から,MLLMの先導者は,物理的相互作用の詳細な指示を生成するのに苦慮していることが明らかとなった。
論文 参考訳（メタデータ） (2025-11-24T02:02:29Z) - Talking Tennis: Language Feedback from 3D Biomechanical Action Recognition [0.0]
本研究は,運動データから重要な生体力学的特徴を抽出する新しい枠組みを開発する。
これらの特徴は脳卒中の有効性と外傷リスクに影響を及ぼす関係を解析し、フィードバック生成の基礎を形成する。
実験的な設定は、分類性能と解釈可能性に関するこのフレームワークを評価し、説明可能なAIとスポーツバイオメカニクスのギャップを埋める。
論文 参考訳（メタデータ） (2025-10-04T19:55:30Z) - Advancing AI Research Assistants with Expert-Involved Learning [84.30323604785646]
大規模言語モデル (LLM) と大規模マルチモーダルモデル (LMM) は、生物医学的な発見を促進することを約束するが、その信頼性は未定である。
ARIEL(AI Research Assistant for Expert-in-the-Loop Learning)は,オープンソースの評価・最適化フレームワークである。
LMMは詳細な視覚的推論に苦しむのに対し、最先端のモデルでは流動性はあるが不完全な要約を生成する。
論文 参考訳（メタデータ） (2025-05-03T14:21:48Z) - MS-MANO: Enabling Hand Pose Tracking with Biomechanical Constraints [50.61346764110482]
筋骨格系と学習可能なパラメトリックハンドモデルMANOを統合し,MS-MANOを作成する。
このモデルは骨格系を駆動する筋肉と腱の力学をエミュレートし、結果として生じるトルク軌跡に生理学的に現実的な制約を与える。
また,マルチ層パーセプトロンネットワークによる初期推定ポーズを改良する,ループ式ポーズ改善フレームワークBioPRを提案する。
論文 参考訳（メタデータ） (2024-04-16T02:18:18Z) - ProBio: A Protocol-guided Multimodal Dataset for Molecular Biology Lab [67.24684071577211]
研究結果を複製するという課題は、分子生物学の分野に重大な障害をもたらしている。
まず、この目的に向けた最初のステップとして、ProBioという名前の包括的なマルチモーダルデータセットをキュレートする。
次に、透明なソリューショントラッキングとマルチモーダルなアクション認識という2つの挑戦的なベンチマークを考案し、BioLab設定におけるアクティビティ理解に関連する特徴と難しさを強調した。
論文 参考訳（メタデータ） (2023-11-01T14:44:01Z) - BiomedGPT: A Generalist Vision-Language Foundation Model for Diverse Biomedical Tasks [68.39821375903591]
汎用AIは、さまざまなデータ型を解釈する汎用性のために、制限に対処する可能性を秘めている。
本稿では,最初のオープンソースかつ軽量な視覚言語基盤モデルであるBiomedGPTを提案する。
論文 参考訳（メタデータ） (2023-05-26T17:14:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。