Fugu-MT 論文翻訳(概要): Learning Skills from Historical Action Trajectories: Action Experience Dictionary for World Action Models

論文の概要: Learning Skills from Historical Action Trajectories: Action Experience Dictionary for World Action Models

arxiv url: http://arxiv.org/abs/2609.40219v2
Date: Fri, 02 Oct 2026 05:19:23 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-06 00:14:29.976243
Title: Learning Skills from Historical Action Trajectories: Action Experience Dictionary for World Action Models
Title（参考訳）: 歴史的行動軌跡から学ぶ:世界行動モデルのための行動体験辞書
Abstract要約: World Action Models(WAM)は、視覚力学予測とアクション生成を結合するが、操作タスク間のアクションエクスペリエンスの再利用を明示的にサポートしていない。本研究では,歴史的行動軌跡を共有行動埋め込みにエンコードするアクション体験辞書(AED)を開発した。シミュレーション・ベンチマークと実世界のクロス・エボディメント・セッティングの実験により,AEDの有効性が検証された。
参考スコア（独自算出の注目度）: 129.76412745258145
License: http://creativecommons.org/licenses/by/4.0/
Abstract: World Action Models (WAMs) couple visual dynamics prediction with action generation, yet they do not explicitly support the reuse of action experience across manipulation tasks. Furthermore, existing WAMs struggle to capture underlying cross-task semantic relationships that could guide target action prediction, as redundant background elements interfere with the extraction of key visual information. To address these challenges, we develop a novel Action Experience Dictionary (AED) that encodes historical physical action trajectories into shared action embeddings to support skill reuse and model cross-task relationships. Specifically, we first aggregate historical actions to align with visual observations and retrieve action embeddings from the AED using a pretrained action tokenizer. Subsequently, we visually condition the pooled embeddings through cross-attention and prepend them to noisy action tokens, providing interaction context and action intent for prediction. To model action-related motion and reduce reliance on irrelevant background cues, we introduce a motion-aware transition loss that supervises visual feature change prediction over random temporal intervals. Experiments on simulation benchmarks and in real-world cross-embodiment settings verify the effectiveness of our AED. The project code is available at https://github.com/JiahuaDong/AED .
Abstract（参考訳）: World Action Models(WAM)は、視覚力学予測とアクション生成を結合するが、操作タスク間のアクションエクスペリエンスの再利用を明示的にサポートしていない。さらに、既存のWAMは、重要な視覚情報の抽出に冗長な背景要素が干渉するため、ターゲットアクション予測を導くことができるクロスタスクのセマンティックな関係を捉えるのに苦労している。これらの課題に対処するため、我々は、歴史的身体行動軌跡を共有行動埋め込みに符号化し、スキル再利用とクロスタスク関係のモデル化を支援する、新しいアクション体験辞書(AED)を開発した。具体的には、まず歴史的アクションを収集し、視覚的観察と整合し、事前訓練されたアクショントークンーザを用いてAEDからアクション埋め込みを検索する。その後,プールド埋め込みを相互注意で視覚的に条件付けし,ノイズの多いアクショントークンにプリペイドし,インタラクションコンテキストとアクション意図を予測に供する。動作関連動作をモデル化し、無関係な背景手がかりへの依存を減らすため、ランダムな時間間隔での視覚的特徴変化予測を監督する動き認識遷移損失を導入する。シミュレーション・ベンチマークと実世界のクロス・エボディメント・セッティングの実験により,AEDの有効性が検証された。プロジェクトのコードはhttps://github.com/JiahuaDong/AED で公開されている。

関連論文リスト

Action-Effect Memory Pretraining for Robot Manipulation [14.760244346330694]
本稿では,ロボット操作のためのアクション・エフェクト・メモリ事前学習フレームワークであるAEMを紹介する。 AEMは操作の時間的性質を目標としており、現在の観測だけでは部分観測性では不十分であることが多い。 AEMはシミュレーションと実世界の両方の環境での操作性能を継続的に改善する。
論文参考訳（メタデータ） (2026-06-10T13:58:14Z)
From Imagined Futures to Executable Actions: Mixture of Latent Actions for Robot Manipulation [88.39072412680633]
将来の映像を実行可能な表現に変換する制御指向インタフェースであるMoLAを提案する。我々は,シミュレーションベンチマークと実世界のロボット操作タスクに対するアプローチを評価した。
論文参考訳（メタデータ） (2026-05-12T14:15:16Z)
InstrAct: Towards Action-Centric Understanding in Instructional Videos [12.356484522873577]
InstrActionは、インストラクショナルビデオのアクション中心表現のための事前トレーニングフレームワークである。まず、ノイズの多いキャプションをフィルタリングし、アクション中心のハードネガティブを生成する、データ駆動型戦略を導入する。視覚的特徴レベルでは、Action Perceiverは、冗長なビデオエンコーディングからモーション関連トークンを抽出する。
論文参考訳（メタデータ） (2026-04-09T20:51:13Z)
LatentPilot: Scene-Aware Vision-and-Language Navigation by Dreaming Ahead with Latent Visual Reasoning [51.969318585152116]
LatentPilotは、トレーニング中の将来の観察を貴重なデータソースとして利用して、アクション条件付きビジュアルダイナミクスを学習する。そこで本稿では,フライホイール方式のトレーニング機構を提案する。これは,道路上の軌道を反復的に収集し,エージェントの行動分布に適合するようにモデルを再訓練する。 R2R-CE、RxR-CE、R2R-PEベンチマークの実験では新たなSOTA結果が得られた。
論文参考訳（メタデータ） (2026-03-31T02:21:59Z)
Action-Guided Attention for Video Action Anticipation [14.34017272203601]
Action-Guided Attention(AGA)は、予測されたアクションシーケンスをクエリやキーとして明示的に活用してシーケンスモデリングをガイドするアテンションメカニズムである。 AGAは検証から見えないテストセットまでよく一般化する。
論文参考訳（メタデータ） (2026-03-02T11:13:45Z)
Precise Action-to-Video Generation Through Visual Action Prompts [62.951609704196485]
アクション駆動のビデオ生成は、精度と一般性のトレードオフに直面している。エージェント中心のアクション信号は、クロスドメイン転送可能性のコストで精度を提供する。私たちはアクションをドメインに依存しない表現として正確に視覚的なプロンプトに"レンダリング"します。
論文参考訳（メタデータ） (2025-08-18T17:12:28Z)
From Recognition to Prediction: Leveraging Sequence Reasoning for Action Anticipation [30.161471749050833]
本稿では,ARR(Accence and Reasoning, 認識・推論)と呼ばれる注意機構を利用した新しいエンドツーエンドビデオモデリングアーキテクチャを提案する。 ARRは行動予測タスクを行動認識と推論タスクに分解し、次の行動予測(NAP)によって行動間の統計的関係を効果的に学習する。さらに、広範囲なトレーニングデータを必要とする関係モデリングの課題に対処するために、デコーダの教師なし事前学習のための革新的なアプローチを提案する。
論文参考訳（メタデータ） (2024-08-05T18:38:29Z)
Harnessing Temporal Causality for Advanced Temporal Action Detection [53.654457142657236]
本稿では,因果的注意と因果的マンバを組み合わせたCausalTADを提案する。 Ego4D Challenge 2024では,EPIC-Kitchens Challenge 2024では行動認識,行動検出,音声によるインタラクション検出トラックで1位,Ego4D Challenge 2024ではMoment Queriesトラックで1位にランクインした。
論文参考訳（メタデータ） (2024-07-25T06:03:02Z)
JOADAA: joint online action detection and action anticipation [2.7792814152937027]
アクション予測は、過去のイベントと将来のイベントを結びつけることによって、将来のアクションを予測する。オンラインアクション検出は、ストリーミング形式でアクションを予測するタスクである。行動予測とオンライン行動検出を組み合わせることで、我々のアプローチは将来の情報の欠落した依存関係をカバーできる。
論文参考訳（メタデータ） (2023-09-12T11:17:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。