論文の概要: FEEL (Force-Enhanced Egocentric Learning): A Dataset for Physical Action Understanding

• arxiv url: http://arxiv.org/abs/2603.15847v1
• Date: Mon, 16 Mar 2026 19:29:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-18 17:42:06.962441
• Title: FEEL (Force-Enhanced Egocentric Learning): A Dataset for Physical Action Understanding
• Title（参考訳）: FEEL (Force-Enhanced Egocentric Learning): 身体行動理解のためのデータセット
• Authors: Eadom Dessalene, Botao He, Michael Maynord, Yonatan Tussa, Pavan Mantripragada, Yianni Karabati, Nirupam Roy, Yiannis Aloimonos,
• Abstract要約: 我々は,egocentric videoを用いた最初の大規模データセットペアリング力測定であるFEEL(Force-Enhanced Egocentric Learning)を紹介する。 FEELには、キッチン環境で自然に記述されていない操作を行う、約300万の強制同期フレームが含まれている。 FEELを2種類のタスクに適用することにより,身体行動理解のための力の有用性を実証する。
• 参考スコア（独自算出の注目度）: 16.232514691223596
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce FEEL (Force-Enhanced Egocentric Learning), the first large-scale dataset pairing force measurements gathered from custom piezoresistive gloves with egocentric video. Our gloves enable scalable data collection, and FEEL contains approximately 3 million force-synchronized frames of natural unscripted manipulation in kitchen environments, with 45% of frames involving hand-object contact. Because force is the underlying cause that drives physical interaction, it is a critical primitive for physical action understanding. We demonstrate the utility of force for physical action understanding through application of FEEL to two families of tasks: (1) contact understanding, where we jointly perform temporal contact segmentation and pixel-level contacted object segmentation; and, (2) action representation learning, where force prediction serves as a self-supervised pretraining objective for video backbones. We achieve state-of-the-art temporal contact segmentation results and competitive pixel-level segmentation results without any need for manual contacted object segmentation annotations. Furthermore we demonstrate that action representation learning with FEEL improves transfer performance on action understanding tasks without any manual labels over EPIC-Kitchens, SomethingSomething-V2, EgoExo4D and Meccano.
• Abstract（参考訳）: FEEL(Force-Enhanced Egocentric Learning)は,エゴセントリックビデオを用いたカスタムピエゾ抵抗グローブから収集した,最初の大規模データセットペアリング力である。 我々の手袋はスケーラブルなデータ収集を可能にし、FEELはキッチン環境での自然な無記述操作の300万の強制同期フレームを含み、その45%は手動接触を含む。 力は物理的相互作用を駆動する根本原因であるため、物理的な行動理解にとって重要な原始である。 本研究では, FEEL を用いた身体動作理解における力の有用性を,(1) 時間的接触セグメンテーションと画素レベルの接触物体セグメンテーションを共同で行う接触理解, (2) 力の予測がビデオバックボーンの自己指導的事前学習目的として機能する行動表現学習の2つの課題に適用した。 我々は,手動で接触したオブジェクトのセグメンテーションアノテーションを必要とせずに,最先端の時間的接触セグメンテーション結果と競合ピクセルレベルのセグメンテーション結果を得る。 さらに,FEELを用いた行動表現学習は,EPIC-Kitchens,Something-V2,EgoExo4D,Meccanoなどの手動ラベルを使わずに,行動理解タスクの伝達性能を向上させることを示した。

関連論文リスト

• Robust Egocentric Referring Video Object Segmentation via Dual-Modal Causal Intervention [58.05340906967343]
  Egocentric Referring Video Object (Ego-RVOS)は、言語クエリで説明されているように、人間のアクションに積極的に関与する特定のオブジェクトを、一人称ビデオに分割することを目的としている。 既存の手法はしばしば苦労し、データセット内の歪んだオブジェクト-アクションのペアリングから急激な相関を学習する。 本稿では,強力なトレーニング済みRVOSをエゴセントリックドメインに適応させるプラグイン因果フレームワークであるCausal-Referring(CERES)を紹介する。
  論文  参考訳（メタデータ） (2025-12-30T16:22:14Z)
• BimArt: A Unified Approach for the Synthesis of 3D Bimanual Interaction with Articulated Objects [70.20706475051347]
  BimArtは3Dバイマニュアルハンドインタラクションを音声オブジェクトと合成するための新しい生成手法である。 まず, 物体軌道上に配置された距離ベースの接触マップを, 音声認識特徴表現を用いて生成する。 学習された接触は手の動き生成装置のガイドに使われ、物体の動きや調音のための多彩で現実的なバイマニュアルの動きが生成されます。
  論文  参考訳（メタデータ） (2024-12-06T14:23:56Z)
• Dynamic Reconstruction of Hand-Object Interaction with Distributed Force-aware Contact Representation [47.940270914254285]
  ViTaM-Dは、動的手・物体の相互作用を分散触覚で再構築するための視覚触覚フレームワークである。 DF-Fieldは手動物体相互作用における運動エネルギーとポテンシャルエネルギーを利用する力覚接触表現である。 ViTaM-Dは、剛性および変形性の両方のオブジェクトの復元精度において、最先端の手法より優れている。
  論文  参考訳（メタデータ） (2024-11-14T16:29:45Z)
• AugInsert: Learning Robust Visual-Force Policies via Data Augmentation for Object Assembly Tasks [7.631503105866245]
  本研究は,ペグ・イン・ホール・アセンブリ・タスクにおける多感覚ポリシーの堅牢性を評価することを目的とした,新しい因子に基づく評価フレームワークを提案する。 オブジェクトアセンブリにおいて,どの要素が最大の一般化課題となるのかを考察し,簡易な多感覚データ拡張手法について検討する。 我々は、力覚センサーが、我々のコンタクトリッチアセンブリータスクにおいて最も情報に富むモダリティであり、視覚が最も情報に乏しいことを発見した。
  論文  参考訳（メタデータ） (2024-10-19T04:19:52Z)
• CaRe-Ego: Contact-aware Relationship Modeling for Egocentric Interactive Hand-object Segmentation [14.765419467710812]
  エゴセントリック・インタラクティブ・ハンドオブジェクト・セグメンテーション(EgoIHOS)は補助システムにおける人間の行動を理解する上で重要である。 従来の手法では、視覚的特徴のみに基づいて、手とオブジェクトの相互作用を別個の意味圏として認識していた。 本稿では,2つの側面から手と物体の接触を強調するCaRe-Egoを提案する。
  論文  参考訳（メタデータ） (2024-07-08T03:17:10Z)
• Benchmarks and Challenges in Pose Estimation for Egocentric Hand Interactions with Objects [89.95728475983263]
  ロボティクス、AR/VR、アクション認識、モーション生成といったタスクにおいて、自己中心的な視点からこのようなインタラクションを理解することが重要である。 我々は、AmblyHandsとARCTICデータセットに基づいたHANDS23チャレンジを、慎重に設計されたトレーニングとテストの分割に基づいて設計する。 提案手法の結果と近年のリーダーボードのベースラインに基づいて,3Dハンド(オブジェクト)再構成タスクの徹底的な解析を行う。
  論文  参考訳（メタデータ） (2024-03-25T05:12:21Z)
• Team I2R-VI-FF Technical Report on EPIC-KITCHENS VISOR Hand Object Segmentation Challenge 2023 [12.266684016563733]
  本稿では,EPIC-KITCHENS VISOR Hand Object Challengeへのアプローチを提案する。 提案手法は,PointRend(Point-based Rendering)法とSAM(Seegment Anything Model)法を組み合わせたものである。 既存の手法の強みを効果的に組み合わせ,改良を施すことで,VISOR HOSチャレンジで第1位を獲得しました。
  論文  参考訳（メタデータ） (2023-10-31T01:43:14Z)
• Learning Fine-grained View-Invariant Representations from Unpaired Ego-Exo Videos via Temporal Alignment [71.16699226211504]
  我々は,エゴセントリックな映像とエゴセントリックな映像を時間内に整列させることにより,視点に不変なきめ細かいアクション特徴を学習することを提案する。 そこで本研究では,2つの鍵設計を持つ自己教師型埋め込み手法であるAE2を提案する。 評価のために,エゴ・エクソ・コンテキストにおけるきめ細かい映像理解のためのベンチマークを構築した。
  論文  参考訳（メタデータ） (2023-06-08T19:54:08Z)
• Fine-Grained Egocentric Hand-Object Segmentation: Dataset, Model, and Applications [20.571026014771828]
  11,243枚のエゴセントリックな画像からなるラベル付きデータセットを,手とオブジェクトのピクセルごとのセグメンテーションラベルで提供する。 私たちのデータセットは、ハンドオブジェクトの接触境界をラベル付けした最初のものです。 我々の堅牢なハンドオブジェクトセグメンテーションモデルとデータセットは、下流の視覚アプリケーションを強化または有効化するための基本的なツールとして機能することを示します。
  論文  参考訳（メタデータ） (2022-08-07T21:43:40Z)
• Forecasting Action through Contact Representations from First Person Video [7.10140895422075]
  接触を中心とした表現とモデルを導入し,そのモデルを用いて行動予測と予測を行う。 これらのアノテーションを使用して、期待される近い将来のアクションの新たな低レベル表現を生成するモジュールをトレーニングします。 予測モジュールの上に、アクション予測と予測のためのフレームワークであるEgo-OMGを適用します。
  論文  参考訳（メタデータ） (2021-02-01T05:52:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。