Fugu-MT 論文翻訳(概要): VLAff: Vision-Language-Affordance Model for Unified Actionable Affordances

論文の概要: VLAff: Vision-Language-Affordance Model for Unified Actionable Affordances

arxiv url: http://arxiv.org/abs/2608.05215v1
Date: Wed, 05 Aug 2026 10:15:55 GMT
ステータス: 翻訳完了
システム内更新日: 2026-08-07 17:43:06.63214
Title: VLAff: Vision-Language-Affordance Model for Unified Actionable Affordances
Title（参考訳）: VLAff:一元化可能なアクティベーションのためのビジョン・ランゲージ・アクディデンスモデル
Abstract要約: 私たちは、具体的とは無関係な、オブジェクト中心の実行可能な余裕を学ぶフレームワークを構築します。視覚言語モデルに基づく統合基盤モデルであるVLAffを導入し、すべての行動可能な価格の相互関係を学習する。 VLAffは、ビジュアルアベイランス予測における最先端のパフォーマンスを達成し、実際のロボットアプリケーションに効果的に適用することができる。
参考スコア（独自算出の注目度）: 13.931853652256015
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Learning manipulation skills from human videos is promising for scalable robot learning. However, the embodiment mismatch between humans and robots makes this challenging. One promising solution is to learn object-centric actionable affordances that are embodiment-agnostic. In this work, we propose a framework that leverages egocentric human videos with state-of-the-art 3D Structure-from-Motion and hand mesh reconstruction to extract actionable affordances such as visual, grasp, and trajectory affordances that explicitly encode where to interact, how to grasp, and how to move. We construct EgoAffordance, a large-scale dataset comprising 204K episodes with 5.6M visual affordances and 11.6M grasp and trajectory affordances. Building on this, we introduce VLAff, a large vision-language model-based unified foundation model that learns cross-modal correlations across all actionable affordances. Given a visual observation and instruction, VLAff generates visual affordance heatmaps, grasp poses, and trajectories, which are then converted into directly executable actions by utilizing 3D scene information. Through extensive experiments, we demonstrate that VLAff not only achieves state-of-the-art performance on visual affordance prediction, but can also be effectively applied to real robot applications such as zero-shot manipulation and affordance-guided robot learning.
Abstract（参考訳）: 人間のビデオから操作スキルを学ぶことは、スケーラブルなロボット学習に有望だ。しかし、人間とロボットの身体的ミスマッチは、これを困難にしている。有望な解決策の1つは、具体的でないオブジェクト中心の実行可能な価格を学習することである。本研究では,エゴセントリックな人間ビデオと最先端の3D構造と手メッシュ再構築を活用して,視覚的,把握的,軌跡的といった,対話の場所,把握方法,移動の仕方を明確にエンコードする,行動可能な余裕を抽出するフレームワークを提案する。 EgoAffordanceは、204Kのエピソードと5.6Mの視覚的空き時間、11.6Mの把握と軌道的空き時間からなる大規模データセットである。 VLAffは大規模な視覚言語モデルに基づく統合基盤モデルであり、あらゆる行動可能な価格の相互関係を学習する。視覚的な観察と指示が与えられた後、VLAffは3Dシーン情報を利用して視覚的なアベイランス・ヒートマップ、グリップポーズ、トラジェクトリを生成し、直接実行可能なアクションに変換する。広汎な実験により、VLAffは視覚的アベイランス予測の最先端性能を達成するだけでなく、ゼロショット操作やアベイランス誘導型ロボット学習といった実際のロボット応用にも効果的に適用できることを示した。

関連論文リスト

From Human Videos to Robot Manipulation: A Survey on Scalable Vision-Language-Action Learning with Human-Centric Data [71.22409934108924]
人間のビデオは豊富で、豊富な相互作用を捉え、現実世界の操作に多様な意味と物理的な手がかりを提供する。この調査は、人間のビデオがビジョン・ランゲージ・アクション(VLA)モデルの効果的な知識にどのように変換されるか、統一された視点を提供する。この領域では、非構造化動画をトレーニング可能なエピソードに構造化すること、エンボディメントと視点の不均一性の下でロボットが実行可能なアクションにビデオから制御すること、現実世界の展開性能と転送効率をよりよく予測する評価プロトコルを設計すること、の3つのオープンな課題を強調している。
論文参考訳（メタデータ） (2026-05-18T06:19:16Z)
PAWS: Perception of Articulation in the Wild at Scale from Egocentric Videos [90.4816165292854]
既存の学習ベースの手法は、高品質な3Dデータと手動アノテーションによる教師付きトレーニングに大きく依存している。そこで本研究では,手動物体間相互作用からオブジェクトの調音を直接抽出する手法であるPAWSを提案する。提案手法は,HD-EPICやArti4Dを含む公開データセット上で評価し,ベースラインよりも大幅に改善された。
論文参考訳（メタデータ） (2026-03-26T15:16:51Z)
ConLA: Contrastive Latent Action Learning from Human Videos for Robotic Manipulation [27.54751123419347]
人間のビデオからロボットポリシーを学習するための教師なし事前学習フレームワークであるConLAを提案する。人間のビデオのみに事前学習を行うことで、実際のロボット軌道事前学習で得られた性能を初めて上回ります。
論文参考訳（メタデータ） (2026-01-31T06:40:57Z)
CLAP: Contrastive Latent Action Pretraining for Learning Vision-Language-Action Models from Human Videos [73.51386721543135]
本稿では,映像から視覚的潜伏空間をロボット軌道から受容的潜伏空間に整列させるフレームワークであるContrastive Latent Action Pretraining (CLAP)を提案する。 CLAPは、ビデオの遷移を量子化され、物理的に実行可能なコードブックにマッピングする。本稿では,命令追従やオブジェクトの一般化に優れた自己回帰モデルであるCLAP-NTPと,高頻度かつ高精度な操作のために設計されたRectified FlowベースのポリシーであるCLAP-RFの両方を提供する二重形式VLAフレームワークを提案する。
論文参考訳（メタデータ） (2026-01-07T16:26:33Z)
Scalable Vision-Language-Action Model Pretraining for Robotic Manipulation with Real-Life Human Activity Videos [42.86535655563404]
我々は、任意の手動ビデオのための完全自動化された総合的人間活動分析手法を開発した。大量のエゴセントリックなビデオを処理し、100Mエピソードと26Mフレームを含む手動VLAトレーニングデータセットを作成します。我々は手動VLAモデルアーキテクチャを設計し、このデータセット上でモデルを事前訓練する。
論文参考訳（メタデータ） (2025-10-24T15:39:31Z)
MimicDreamer: Aligning Human and Robot Demonstrations for Scalable VLA Training [40.45924128424013]
低コストな人間によるデモンストレーションをロボットで使用可能な監視に変換するフレームワークであるMimicDreamerを提案する。視覚的アライメントのために,高忠実度ロボットデモビデオを生成するビデオ拡散モデルH2R Alignerを提案する。視点安定化のためにEgoStabilizerを提案する。動作アライメントのために,人間の手の動きをロボットフレームにマッピングし,制約付き逆運動学解法を適用する。
論文参考訳（メタデータ） (2025-09-26T11:05:10Z)
Being-H0: Vision-Language-Action Pretraining from Large-Scale Human Videos [66.62109400603394]
本稿では,大規模な人体ビデオで訓練された視覚・言語・行動モデルであるBeing-H0を紹介する。提案手法は,人間のビデオからの大規模VLA事前学習,3次元推論のための物理空間アライメント,ロボット作業のためのポストトレーニング適応を組み合わせた,新しいトレーニングパラダイムである物理インストラクションチューニングに重点を置いている。本研究では,手の動き生成と指示の結果としてのBeat-H0の卓越性を実証的に示すとともに,モデルやデータサイズにもよく対応している。
論文参考訳（メタデータ） (2025-07-21T13:19:09Z)
VidBot: Learning Generalizable 3D Actions from In-the-Wild 2D Human Videos for Zero-Shot Robotic Manipulation [53.63540587160549]
VidBotは、WildのモノクルなRGBのみの人間ビデオから学習した3Dアベイランスを使って、ゼロショットロボット操作を可能にするフレームワークである。 VidBotは、人間の日常的なビデオを利用してロボットの学習をよりスケーラブルにする。
論文参考訳（メタデータ） (2025-03-10T10:04:58Z)
Visual Affordance Prediction for Guiding Robot Exploration [56.17795036091848]
我々は,ロボット探索を導くための視覚能力の学習手法を開発した。 VQ-VAEの潜伏埋め込み空間における条件分布の学習にはTransformerベースのモデルを用いる。本稿では,ロボット操作における視覚的目標条件付きポリシー学習において,目標サンプリング分布として機能することで探索を導くために,トレーニングされた余裕モデルをどのように利用できるかを示す。
論文参考訳（メタデータ） (2023-05-28T17:53:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。