論文の概要: Vision-Language Models for Occupational Physical Exposure Assessment: Estimating External Hand Forces in Manual Material Handling Tasks from RGB Video
- arxiv url: http://arxiv.org/abs/2608.22586v1
- Date: Sun, 23 Aug 2026 20:45:00 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.797066
- Title: Vision-Language Models for Occupational Physical Exposure Assessment: Estimating External Hand Forces in Manual Material Handling Tasks from RGB Video
- Title（参考訳）: 作業体被曝評価のための視覚言語モデル:RGBビデオによる手動ハンドリング作業における外力推定
- Abstract要約: 外手力は、職業的身体曝露と傷害リスクの生体力学的解析に重要な入力である。
視覚言語モデル(VLM)に基づくパイプラインを用いて,RGBビデオから動的,三軸,両側の手力の推定を行った。
- 参考スコア（独自算出の注目度）: 0.91196622823436
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: External hand forces are important inputs to biomechanical analyses of occupational physical exposure and injury risk, yet continuous force measurements during manual material handling (MMH) typically requires instrumented objects or specialized sensing. We evaluated a vision-language model (VLM)-based pipeline that combines task-specific textual cues, visual representations, and known box mass to estimate dynamic, triaxial, bilateral external hand forces from RGB video. Thirty-five healthy young adults performed five MMH tasks involving lifting, carrying, pushing, and pulling with box masses of 6, 9, and 12 kg. The pipeline used text-guided localization of participant and handled-object regions of interest (ROIs), pretrained vision-transformer feature extraction, and transformer-based temporal regression. Performance was evaluated using leave-one-subject-out validation across seven camera-view conditions (three single-view and four multi-view conditions) and four ROI strategies. Overall, root mean square error was ~4.7-5.6 N for the horizontal and mediolateral force components and ~10.6-11.0 N for the vertical component. Including the handled object as a second ROI generally improved force estimation, with some of the largest benefits under single-camera conditions, whereas pixel-level segmentation provided little additional improvement. Multi-camera capture provided the clearest benefit for peak-force estimation, particularly for the vertical component, whereas differences in overall frame-level error among camera configurations were comparatively modest. These findings demonstrate the feasibility of estimating continuous, bilateral, directional hand-force estimates from RGB video and known load mass without requiring sensors on the worker or handled objects as model inputs, supporting the development of more scalable occupational physical exposure and risk assessments.
- Abstract（参考訳）: 外手力は、職業的物理的露出と損傷リスクの生体力学的解析に重要な入力であるが、手動材料ハンドリング(MMH)における連続的な力測定は、通常、計器的な物体や特殊な感覚を必要とする。
我々は,タスク固有のテキストキュー,視覚表現,既知のボックスマスを組み合わせた視覚言語モデル(VLM)を用いたパイプラインを評価し,RGBビデオから動的,三軸的,左右的外力の推定を行った。
健常成人35人は,6,9,12kgの箱塊を持ち上げる,搬送する,押す,引っ張る5つのMMH作業を行った。
このパイプラインは、参加者のテキスト誘導による局所化と、関心領域の処理対象領域(ROI)、事前訓練された視覚変換器特徴抽出、およびトランスフォーマーに基づく時間回帰を用いた。
7つのカメラビュー条件(3つのシングルビューと4つのマルチビュー条件)と4つのROI戦略(4つのROI戦略)を比較して評価した。
総じて、ルート平均二乗誤差は水平方向と中間方向の力成分で ~4.7-5.6 N、垂直方向の力成分で ~10.6-11.0 N であった。
処理対象を第2のROIとして含むと、一般的に力推定が向上し、単一カメラ条件下での最大の利点がいくつかあるが、ピクセルレベルのセグメンテーションはほとんど改善されなかった。
マルチカメラキャプチャは、特に垂直成分において、ピーク力推定の最も明確な利点となったが、カメラ構成におけるフレームレベルの誤差の差は比較的緩やかであった。
以上の結果から, 作業者や処理対象をモデル入力として必要とせず, RGBビデオと既知の負荷量から連続的, 双方向的, 指向的手力推定が可能であり, よりスケーラブルな作業物理的露出とリスク評価の開発を支援することが示唆された。
関連論文リスト
- PhysBrain 1.5: From Vision-Language Models to Physical Foundation Models [60.567497085815724]
PhysBrain 1.5は、物理的な環境を理解し、アクションを生成し、将来の状態を予測するための統一モデルである。
事前トレーニングは、人間のインタラクションビデオから完全に具体化された監督を引き出す。
一般的なマルチモーダル機能を維持しながら、14のベンチマークで最高のオープンソース結果を達成する。
論文 参考訳（メタデータ） (2026-09-14T03:25:46Z) - StableHand: Quality-Aware Flow Matching for World-Space Dual-Hand Motion Estimation from Egocentric Video [16.34074981480264]
本研究では,エゴセントリックビデオから相互作用する2つの手の世界空間4次元運動を復元するためのフローマッチングフレームワークを提案する。
以上の結果から,StableHandは,最強のベースラインと比較して,W-MPJPEを20～25%削減できることを示す。
論文 参考訳（メタデータ） (2026-05-18T15:33:15Z) - Event-based SLAM Benchmark for High-Speed Maneuvers [68.148886127117]
イベントベースのカメラはバイオインスパイアされたセンサーで、独立して、マイクロ秒の解像度で明るさの変化に非同期に反応する。
既存のイベントベースのアプローチは、高速操作による動きのぼかしを緩和することに成功したが、多くの制限に悩まされた。
イベントベースの状態推定のためのベンチマークフレームワークであるEvSLAMを導入する。
論文 参考訳（メタデータ） (2026-04-27T04:36:41Z) - HandVQA: Diagnosing and Improving Fine-Grained Spatial Reasoning about Hands in Vision-Language Models [14.981963881449486]
人間の手のきめ細かい説明を理解することは、ロボットによる外科手術のような高精細な設定において重要である。
現在の視覚言語モデル(VLM)は、特に複雑で明瞭な手ポーズの解釈において、きめ細かい空間的推論に苦しむ。
本稿では,視覚的質問応答による詳細な手指解剖の理解を評価するための大規模診断ベンチマークであるHandVQAを紹介する。
論文 参考訳（メタデータ） (2026-03-27T12:42:26Z) - Generalized Hand-Object Pose Estimation with Occlusion Awareness [87.10073091219066]
1枚のRGB画像から一般的な3次元手動ポーズ推定は、物体の外観や相互作用パターンに大きな変化があるため、依然として困難である。
我々は,オクルージョン認識を用いた汎用的手動ポーズ推定フレームワークであるGenHOIを提案する。
論文 参考訳（メタデータ） (2026-03-19T15:19:23Z) - Vision-Language Models for Ergonomic Assessment of Manual Lifting Tasks: Estimating Horizontal and Vertical Hand Distances from RGB Video [0.91196622823436]
Revised NIOSH Lifting Equation (RNLE)は、水平(H)と垂直(V)の手の距離に依存するタスクを持ち上げるための人間工学的リスク評価ツールである。
RGBビデオストリームからHとVを非侵襲的に推定するための革新的視覚言語モデル(VLM)の有用性を評価した。
論文 参考訳（メタデータ） (2026-02-24T08:01:49Z) - MEgoHand: Multimodal Egocentric Hand-Object Interaction Motion Generation [28.75149480374178]
MEgoHandは、エゴセントリックなRGB、テキスト、初期手ポーズから物理的にプラウジブルなハンドオブジェクトインタラクションを合成するフレームワークである。
手首の翻訳誤差と関節回転誤差の大幅な低減を実現し、手首の微細な関節構造を正確にモデル化する能力を強調している。
論文 参考訳（メタデータ） (2025-05-22T12:37:47Z) - Dyn-HaMR: Recovering 4D Interacting Hand Motion from a Dynamic Camera [49.82535393220003]
Dyn-HaMRは、野生のダイナミックカメラで撮影されたモノクロビデオから4Dグローバルハンドモーションを再構築する最初のアプローチである。
提案手法は,4次元メッシュ・リカバリにおいて最先端の手法を著しく上回ることを示す。
これにより、動くカメラでモノクロビデオから手の動きを復元するための新しいベンチマークが確立される。
論文 参考訳（メタデータ） (2024-12-17T12:43:10Z) - RoMeO: Robust Metric Visual Odometry [11.381243799745729]
ビジュアルオドメトリー(VO)は、視覚入力からカメラのポーズを推定することを目的としている。
既存のアプローチでは、この困難なシナリオ下で堅牢性が欠如し、目に見えないデータ(特に屋外)に一般化できない
本稿では,事前学習した深度モデルから,これらの問題を解決する新しい手法であるRoMeO(Roust Metric Visual Odometry)を提案する。
論文 参考訳（メタデータ） (2024-12-16T08:08:35Z) - Kinematic-Structure-Preserved Representation for Unsupervised 3D Human
Pose Estimation [58.72192168935338]
大規模インスタディオデータセットの監視を用いて開発された人間のポーズ推定モデルの一般化可能性については疑問が残る。
本稿では,2対あるいは2対の弱い監督者によって抑制されない,新しいキネマティック構造保存型非教師付き3次元ポーズ推定フレームワークを提案する。
提案モデルでは,前方運動学,カメラ投影,空間マップ変換という3つの連続的な微分可能変換を用いる。
論文 参考訳（メタデータ） (2020-06-24T23:56:33Z) - Measuring Generalisation to Unseen Viewpoints, Articulations, Shapes and
Objects for 3D Hand Pose Estimation under Hand-Object Interaction [137.28465645405655]
HANDS'19は、現在の3Dハンドポーズ推定器(HPE)がトレーニングセットのポーズを補間し、外挿する能力を評価するための課題である。
本研究では,最先端手法の精度が低下し,トレーニングセットから外れたポーズでほとんど失敗することを示す。
論文 参考訳（メタデータ） (2020-03-30T19:28:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。