論文の概要: BiomechGPT: Towards a Biomechanically Fluent Multimodal Foundation Model for Clinically Relevant Motion Tasks
- arxiv url: http://arxiv.org/abs/2505.18465v1
- Date: Sat, 24 May 2025 02:15:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-27 16:58:42.441048
- Title: BiomechGPT: Towards a Biomechanically Fluent Multimodal Foundation Model for Clinically Relevant Motion Tasks
- Title（参考訳）: BiomechGPT:臨床関連動作タスクのためのバイオメカニカルフルレント・マルチモーダル・ファンデーション・モデルを目指して
- Authors: Ruize Yang, Ann Kennedy, R. James Cotton,
- Abstract要約: さまざまなタスクにまたがる動作に関する質問と回答のマルチモーダルデータセットを作成しました。
このデータセットを用いて,マルチモーダルなバイオメカニクス言語モデルであるBiomechGPTを開発した。
以上の結果から,BiomechGPTは活動認識,運動障害の同定,診断,臨床成績の評価,歩行測定など,様々なタスクにおいて高いパフォーマンスを示すことが示された。
- 参考スコア（独自算出の注目度）: 3.097167420381722
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Advances in markerless motion capture are expanding access to biomechanical movement analysis, making it feasible to obtain high-quality movement data from outpatient clinics, inpatient hospitals, therapy, and even home. Expanding access to movement data in these diverse contexts makes the challenge of performing downstream analytics all the more acute. Creating separate bespoke analysis code for all the tasks end users might want is both intractable and does not take advantage of the common features of human movement underlying them all. Recent studies have shown that fine-tuning language models to accept tokenized movement as an additional modality enables successful descriptive captioning of movement. Here, we explore whether such a multimodal motion-language model can answer detailed, clinically meaningful questions about movement. We collected over 30 hours of biomechanics from nearly 500 participants, many with movement impairments from a variety of etiologies, performing a range of movements used in clinical outcomes assessments. After tokenizing these movement trajectories, we created a multimodal dataset of motion-related questions and answers spanning a range of tasks. We developed BiomechGPT, a multimodal biomechanics-language model, on this dataset. Our results show that BiomechGPT demonstrates high performance across a range of tasks such as activity recognition, identifying movement impairments, diagnosis, scoring clinical outcomes, and measuring walking. BiomechGPT provides an important step towards a foundation model for rehabilitation movement data.
- Abstract（参考訳）: マーカーレスモーションキャプチャーの進歩は、バイオメカニカル・ムーブメント・アナリティクスへのアクセスを拡大し、外来医院、入院病院、セラピー、自宅から高品質なムーブメント・データを得ることが可能になった。
これらの多様な状況における移動データへのアクセスの拡大は、下流の分析を実行することの難しさを増している。
エンドユーザが望むすべてのタスクに対して、別々にbespoke分析コードを作成することは、どちらも難解であり、その基盤となる人間の動作の共通した特徴を活用できない。
近年の研究では、トークン化運動を付加的なモダリティとして受け入れるための微調整言語モデルが、運動の記述的キャプションを成功に導くことが示されている。
本稿では,このような多モーダルな動き言語モデルが,運動に関する詳細な,臨床的に意味のある疑問に答えられるかどうかを考察する。
我々は500人近い被験者から30時間以上のバイオメカニクスを収集した。
これらの動きの軌跡をトークン化した後、さまざまなタスクにまたがる動作関連質問と回答のマルチモーダルデータセットを作成しました。
このデータセットに基づいて,マルチモーダルなバイオメカニクス言語モデルであるBiomechGPTを開発した。
以上の結果から,BiomechGPTは活動認識,運動障害の同定,診断,臨床成績の評価,歩行測定など,様々なタスクにおいて高いパフォーマンスを示すことが示された。
BiomechGPTはリハビリテーション運動データの基礎モデルに向けた重要なステップを提供する。
関連論文リスト
- KinTwin: Imitation Learning with Torque and Muscle Driven Biomechanical Models Enables Precise Replication of Able-Bodied and Impaired Movement from Markerless Motion Capture [2.44755919161855]
高品質な運動分析は、運動科学とリハビリテーションに大きな恩恵をもたらす可能性がある。
臨床実習において,模擬学習を用いて高品質な運動分析を可能にする可能性を示す。
論文 参考訳（メタデータ） (2025-05-19T17:58:03Z) - Scaling Wearable Foundation Models [54.93979158708164]
センサ基礎モデルのスケーリング特性を計算,データ,モデルサイズにわたって検討する。
最大4000万時間分の心拍数、心拍変動、心電図活動、加速度計、皮膚温度、および1分間のデータを用いて、私たちはLSMを作成します。
この結果から,LSMのスケーリング法則は,時間とセンサの両面において,計算や外挿などのタスクに対して確立されている。
論文 参考訳（メタデータ） (2024-10-17T15:08:21Z) - ViKL: A Mammography Interpretation Framework via Multimodal Aggregation of Visual-knowledge-linguistic Features [54.37042005469384]
MVKLは,マルチビュー画像,詳細な表示,報告を含む最初のマルチモーダルマンモグラフィーデータセットである。
このデータセットに基づいて、教師なし事前学習のチャラリングタスクに焦点を当てる。
視覚,知識,言語機能を相乗化するフレームワークであるViKLを提案する。
論文 参考訳（メタデータ） (2024-09-24T05:01:23Z) - A Graph-based Approach to Human Activity Recognition [5.323279718522213]
本稿では,リアルタイムデータセットの拡張から重要な洞察を効率的に抽出する手法を提案する。
Inertial Measurement Units (IMU) と Global Navigation Satellite Systems (GNSS) の受信機からのデータを利用することで, 競技成績を有向グラフを用いて解析することができる。
本手法はバイアスロンデータを用いて興味のある特定の点や複雑な動きのシーケンスを検出する。
論文 参考訳（メタデータ） (2024-08-19T17:51:00Z) - ProBio: A Protocol-guided Multimodal Dataset for Molecular Biology Lab [67.24684071577211]
研究結果を複製するという課題は、分子生物学の分野に重大な障害をもたらしている。
まず、この目的に向けた最初のステップとして、ProBioという名前の包括的なマルチモーダルデータセットをキュレートする。
次に、透明なソリューショントラッキングとマルチモーダルなアクション認識という2つの挑戦的なベンチマークを考案し、BioLab設定におけるアクティビティ理解に関連する特徴と難しさを強調した。
論文 参考訳（メタデータ） (2023-11-01T14:44:01Z) - DiverseMotion: Towards Diverse Human Motion Generation via Discrete
Diffusion [70.33381660741861]
テキスト記述に基づく高品質な人間の動作を合成するための新しいアプローチであるDiverseMotionを提案する。
我々のDiverseMotionは、最先端のモーション品質と競争力の多様性を達成できることを示す。
論文 参考訳（メタデータ） (2023-09-04T05:43:48Z) - Multimodal video and IMU kinematic dataset on daily life activities
using affordable devices (VIDIMU) [0.0]
本データセットの目的は,日常活動の認識と運動解析のために,手頃な価格の患者総運動追跡ソリューションへの道を開くことである。
i)選択した運動の臨床的関連性、(ii)安価なビデオとカスタムセンサーの併用、(iii)3Dボディのポーズ追跡とモーション再構成のマルチモーダルデータ処理のための最先端ツールの実装。
論文 参考訳（メタデータ） (2023-03-27T14:05:49Z) - Markerless Motion Capture and Biomechanical Analysis Pipeline [0.0]
マーカーレスモーションキャプチャーは、正確な動き分析へのアクセスを拡大する可能性がある。
当パイプラインでは,リハビリテーション病院における運動の正確なバイオメカニカル推定値の取得が容易である。
論文 参考訳（メタデータ） (2023-03-19T13:31:57Z) - MoDi: Unconditional Motion Synthesis from Diverse Data [51.676055380546494]
多様な動きを合成する無条件生成モデルであるMoDiを提案する。
我々のモデルは、多様な、構造化されていない、ラベルなしのモーションデータセットから完全に教師なしの設定で訓練されている。
データセットに構造が欠けているにもかかわらず、潜在空間は意味的にクラスタ化可能であることを示す。
論文 参考訳（メタデータ） (2022-06-16T09:06:25Z) - Relational Graph Learning on Visual and Kinematics Embeddings for
Accurate Gesture Recognition in Robotic Surgery [84.73764603474413]
本稿では,マルチモーダルグラフネットワーク(MRG-Net)の新たなオンラインアプローチを提案し,視覚情報とキネマティクス情報を動的に統合する。
本手法の有効性は, JIGSAWSデータセット上での最先端の成果で実証された。
論文 参考訳（メタデータ） (2020-11-03T11:00:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。