論文の概要: Learning Precise Affordances from Egocentric Videos for Robotic Manipulation

• arxiv url: http://arxiv.org/abs/2408.10123v2
• Date: Mon, 15 Sep 2025 15:39:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-16 17:26:22.627455
• Title: Learning Precise Affordances from Egocentric Videos for Robotic Manipulation
• Title（参考訳）: ロボットマニピュレーションのためのエゴセントリックビデオからの精度向上学習
• Authors: Gen Li, Nikolaos Tsagkas, Jifei Song, Ruaridh Mon-Williams, Sethu Vijayakumar, Kun Shao, Laura Sevilla-Lara,
• Abstract要約: Affordanceは、オブジェクトが提供する潜在的なアクションとして定義されており、AIエージェントの具体化に不可欠である。 本研究では,エゴセントリックなビデオを取り込んで,人間のラベリングを伴わない正確なアベイランスアノテーションを出力する,完全なアベイランス学習システムを提案する。 また,ツールの把握やロボット・ツー・ヒューマン・ツールのハンドオーバといった,手頃なロボット操作を容易にするフレームワークについても紹介する。
• 参考スコア（独自算出の注目度）: 25.929092988536087
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Affordance, defined as the potential actions that an object offers, is crucial for embodied AI agents. For example, such knowledge directs an agent to grasp a knife by the handle for cutting or by the blade for safe handover. While existing approaches have made notable progress, affordance research still faces three key challenges: data scarcity, poor generalization, and real-world deployment. Specifically, there is a lack of large-scale affordance datasets with precise segmentation maps, existing models struggle to generalize across different domains or novel object and affordance classes, and little work demonstrates deployability in real-world scenarios. In this work, we address these issues by proposing a complete affordance learning system that (1) takes in egocentric videos and outputs precise affordance annotations without human labeling, (2) leverages geometric information and vision foundation models to improve generalization, and (3) introduces a framework that facilitates affordance-oriented robotic manipulation such as tool grasping and robot-to-human tool handover. Experimental results show that our model surpasses the state-of-the-art by 13.8% in mIoU, and the framework achieves 77.1% successful grasping among 179 trials, including evaluations on seen, unseen classes, and cluttered scenes. Project page: https://reagan1311.github.io/affgrasp.
• Abstract（参考訳）: Affordanceは、オブジェクトが提供する潜在的なアクションとして定義されており、AIエージェントの具体化に不可欠である。 例えば、そのような知識は、エージェントにナイフを切断するためのハンドルまたは安全にハンドオーバするためのブレードでつかむように指示する。 既存のアプローチは目覚ましい進歩を遂げているが、余剰研究はデータ不足、一般化の貧弱、現実世界の展開という3つの大きな課題に直面している。 具体的には、正確なセグメンテーションマップを備えた大規模なアベイランスデータセットが欠如しており、既存のモデルはさまざまなドメインや新しいオブジェクトやアベイランスクラスをまたいだ一般化に苦慮している。 本研究では,(1)自己中心型ビデオを取り込んで,人間のラベルを付けずに正確な空きアノテーションを出力する完全空き学習システムを提案し,(2)幾何学的情報と視覚基盤モデルを活用して一般化を促進させるとともに,(3)ツールの把握やロボット・ツー・ヒューマン・ツールのハンドオーバといった,空きを指向したロボット操作を支援するフレームワークを提案する。 実験結果から,本モデルはmIoUの13.8%を上回り,目に見えるクラスや散らかったシーンの評価を含む179の試験において,77.1%の獲得が達成された。 プロジェクトページ: https://reagan1311.github.io/affgrasp.com

関連論文リスト

• Information-Theoretic Graph Fusion with Vision-Language-Action Model for Policy Reasoning and Dual Robotic Control [22.74768543283102]
  Graph-Fused Vision-Language-Action (GF-VLA)は、デュアルアームロボットシステムがタスクレベルの推論と実行を可能にするフレームワークである。 GF-VLAはまずシャノン情報に基づく手がかりを抽出し、最も高いタスク関連性を持つ手や物体を識別する。 クロスハンド選択ポリシーは、明示的な幾何学的推論なしで最適な割り当てを推測する。
  論文  参考訳（メタデータ） (2025-08-07T12:48:09Z)
• Being-H0: Vision-Language-Action Pretraining from Large-Scale Human Videos [66.62109400603394]
  本稿では,大規模な人体ビデオで訓練された視覚・言語・行動モデルであるBeing-H0を紹介する。 提案手法は,人間のビデオからの大規模VLA事前学習,3次元推論のための物理空間アライメント,ロボット作業のためのポストトレーニング適応を組み合わせた,新しいトレーニングパラダイムである物理インストラクションチューニングに重点を置いている。 本研究では,手の動き生成と指示の結果としてのBeat-H0の卓越性を実証的に示すとともに,モデルやデータサイズにもよく対応している。
  論文  参考訳（メタデータ） (2025-07-21T13:19:09Z)
• Web2Grasp: Learning Functional Grasps from Web Images of Hand-Object Interactions [37.334138196925025]
  器用な多指ロボットの手を使って物体を効果的に操るためには,機能的把握が不可欠である。 自然と機能的なオブジェクトの相互作用を描写するため,Web画像から人間の把握情報を抽出する手法を提案する。 安価なWebソースから得られた比較的低品質なHOIデータは、機能的把握モデルを効果的に訓練できることを示す。
  論文  参考訳（メタデータ） (2025-05-07T16:13:17Z)
• A Data-Centric Revisit of Pre-Trained Vision Models for Robot Learning [67.72413262980272]
  事前訓練された視覚モデル(PVM)は現代のロボティクスの基本であるが、その最適構成は定かではない。 セマンティック・ボトルネックを導入してオブジェクト中心の表現を誘導する手法であるSlotMIMを開発した。 提案手法は,画像認識,シーン理解,ロボット学習評価において,従来の作業よりも大幅に改善されている。
  論文  参考訳（メタデータ） (2025-03-10T06:18:31Z)
• Modeling Fine-Grained Hand-Object Dynamics for Egocentric Video Representation Learning [71.02843679746563]
  エゴセントリックなビデオ理解では、手や物体の動きと相互作用は自然によって重要な役割を果たす。 本研究では,細粒度ハンドオブジェクトのモデリングをビデオ表現学習プロセスに統合することを目的とする。 EgoVideoは,手の動き情報を微粒化するための,新しい軽量モーションアダプタを備えたモデルである。
  論文  参考訳（メタデータ） (2025-03-02T18:49:48Z)
• Affordance-Guided Reinforcement Learning via Visual Prompting [51.361977466993345]
  Keypoint-based Affordance Guidance for Improvements (KAGI) は、視覚言語モデル(VLM)によって形成される報酬を自律的なRLに活用する手法である。 自然言語記述によって指定された実世界の操作タスクにおいて、KAGIは自律的なRLのサンプル効率を改善し、30Kのオンライン微調整ステップでタスク完了を成功させる。
  論文  参考訳（メタデータ） (2024-07-14T21:41:29Z)
• HOIMotion: Forecasting Human Motion During Human-Object Interactions Using Egocentric 3D Object Bounding Boxes [10.237077867790612]
  本稿では,人間と物体の相互作用における人間の動き予測の新しい手法であるHOIMotionを提案する。 提案手法は,過去の身体のポーズやエゴセントリックな3Dオブジェクト境界ボックスに関する情報を統合する。 HOIMotionは、最先端の手法よりも大きなマージンで一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2024-07-02T19:58:35Z)
• Information-driven Affordance Discovery for Efficient Robotic Manipulation [14.863105174430087]
  環境との双方向な相互作用はこの問題を軽減することができると我々は主張する。 我々は,本手法の理論的正当性を提供し,シミュレーションと実世界の課題の両方において,そのアプローチを実証的に検証する。 IDAをダブした本手法は,複数のアクションプリミティブに対する視覚的アベイランスの効率的な発見を可能にする。
  論文  参考訳（メタデータ） (2024-05-06T21:25:51Z)
• Human Activity Recognition Using Self-Supervised Representations of Wearable Data [0.0]
  HAR(Human Activity Recognition)のための正確なアルゴリズムの開発は、大規模な実世界のラベル付きデータセットの欠如によって妨げられている。 ここでは、トレーニング中に見えない実世界のデータセットで評価した場合、高い性能を有する6クラスHARモデルを開発する。
  論文  参考訳（メタデータ） (2023-04-26T07:33:54Z)
• Adversarial Auto-Augment with Label Preservation: A Representation Learning Principle Guided Approach [95.74102207187545]
  本研究では,事前自由な自律的データ拡張の目的が表現学習の原則から導出可能であることを示す。 そこで我々は,既存の手法にシームレスに最適化し,シームレスに統合できる目的に対して,実用的なサロゲートを提案する。
  論文  参考訳（メタデータ） (2022-11-02T02:02:51Z)
• H-SAUR: Hypothesize, Simulate, Act, Update, and Repeat for Understanding Object Articulations from Interactions [62.510951695174604]
  The Hypothesize, Simulate, Act, Update, and Repeat (H-SAUR) is a probabilistic generative framework that generated hypotheses about objects articulate given input observed。 提案手法は,現在最先端のオブジェクト操作フレームワークよりも優れていることを示す。 我々は、学習に基づく視覚モデルから学習前の学習を統合することにより、H-SAURのテスト時間効率をさらに向上する。
  論文  参考訳（メタデータ） (2022-10-22T18:39:33Z)
• Sim-to-Real 6D Object Pose Estimation via Iterative Self-training for Robotic Bin-picking [98.5984733963713]
  コスト効率の良いロボットグルーピングを容易にするために,シミュレート・トゥ・リアルな6次元オブジェクトのポーズ推定のための反復的自己学習フレームワークを提案する。 我々は、豊富な仮想データを合成するためのフォトリアリスティックシミュレータを構築し、これを初期ポーズ推定ネットワークのトレーニングに利用する。 このネットワークは教師モデルの役割を担い、未ラベルの実データに対するポーズ予測を生成する。
  論文  参考訳（メタデータ） (2022-04-14T15:54:01Z)
• Understanding Egocentric Hand-Object Interactions from Hand Pose Estimation [24.68535915849555]
  本稿では,エゴセントリックな画像を含むデータセットをペアワイズにラベル付けする手法を提案する。 また、収集したペアワイズデータを用いて、効率的なエンコーダ-デコーダスタイルのネットワークをトレーニングします。
  論文  参考訳（メタデータ） (2021-09-29T18:34:06Z)
• One-Shot Object Affordance Detection in the Wild [76.46484684007706]
  Affordance Detectionは、画像内のオブジェクトの潜在的なアクション可能性を特定することを指す。 我々は、人間の行動目的を推定し、それを転送して、すべての候補画像から共通価格を検出するワンショットアフォーダンス検出ネットワーク(OSAD-Net)を考案する。 複雑なシーンと豊富なアノテーションによって、当社のPADv2データセットは、アベイランス検出メソッドをベンチマークするためのテストベッドとして使用することができます。
  論文  参考訳（メタデータ） (2021-08-08T14:53:10Z)
• Where is my hand? Deep hand segmentation for visual self-recognition in humanoid robots [129.46920552019247]
  本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。 ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
  論文  参考訳（メタデータ） (2021-02-09T10:34:32Z)
• Visual Imitation Made Easy [102.36509665008732]
  本稿では,ロボットへのデータ転送を容易にしながら,データ収集プロセスを単純化する,模倣のための代替インターフェースを提案する。 我々は、データ収集装置やロボットのエンドエフェクターとして、市販のリーチ・グラブラー補助具を使用する。 我々は,非包括的プッシュと包括的積み重ねという2つの課題について実験的に評価した。
  論文  参考訳（メタデータ） (2020-08-11T17:58:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。