Fugu-MT 論文翻訳(概要): RealtimeWAM: One-Step Asynchronous World Action Models

論文の概要: RealtimeWAM: One-Step Asynchronous World Action Models

arxiv url: http://arxiv.org/abs/2610.06617v1
Date: Mon, 05 Oct 2026 16:18:07 GMT
ステータス: 翻訳完了
システム内更新日: 2026-10-09 00:12:35.027187
Title: RealtimeWAM: One-Step Asynchronous World Action Models
Title（参考訳）: RealtimeWAM: ワンステップ非同期ワールドアクションモデル
Abstract要約: World Action Models (WAM) は、ビデオバックボーンから視覚表現を取り入れ、アクション予測をガイドする。エキスパート内イテレーションと専門家間待ちの推論効率。本稿では,ワンステップアクション生成と非同期推論を備えた極めて効率的なWAM変種であるRealtimeWAMを提案する。
参考スコア（独自算出の注目度）: 32.105741944862146
License: http://creativecommons.org/licenses/by/4.0/
Abstract: World Action Models (WAMs) incorporate visual representations from video generation backbones to guide action prediction. Recent efficient WAMs adopt Mixture-of-Transformers (MoT) architectures and compute video representations once for reuse by the action expert. However, intra-expert iteration (\ie, multi-step action denoising) and inter-expert waiting (\ie, sequential execution of the video and action experts) still limit inference efficiency. To this end, we present RealtimeWAM, an extremely efficient WAM variant with one-step action generation and asynchronous inference, addressing these two bottlenecks. To reduce intra-expert iteration, we propose Teacher-Anchored Consistency Distillation (TACD) to address a local-global error gap: low local consistency error alone does not guarantee accurate final actions. TACD supplements local consistency with explicit supervision from the frozen teacher's multi-step rollout endpoint, enabling accurate one-step action generation. Additionally, we propose Cross-Expert Wavefront Pipelining (CEWP) to eliminate unnecessary expert-level waiting. It overlaps the two experts through block-wise sharing of the video KV cache, synchronizing only immediately before the corresponding action attention consumes it. Extensive experiments across diverse benchmarks (\eg, LIBERO, LIBERO-Plus and RoboTwin) and model variants (\eg, Fast-WAM and Faster-WAM) demonstrate the superiority of RealtimeWAM. Notably, RealtimeWAM maintains near-lossless performance (\ie, $<1\%$ drop) across these benchmarks while delivering significant end-to-end speedup (\eg, $\sim25\times$ on H100). Our code and checkpoints are available via this \href{https://github.com/ModelTC/LightX2V/tree/main/examples/realtimewam}{link}.
Abstract（参考訳）: World Action Models (WAM) は、アクション予測を導くために、ビデオ生成バックボーンからの視覚的表現を組み込む。近年の WAM では,Mixture-of-Transformer (MoT) アーキテクチャを採用し,アクションエキスパートによるビデオ表現の再利用を一度行う。しかし、エキスパート内イテレーション(\ie, multi-step action denoising)と専門家間待ち(\ie, sequence execution of the video and action experts)は推論効率を制限している。この目的のために我々は,この2つのボトルネックに対処する,ワンステップアクション生成と非同期推論を備えた極めて効率的なWAMバリアントであるRealtimeWAMを提案する。そこで本研究では,局所的エラーギャップに対処するためのTACD(Teacher-Anchored Consistency Distillation)を提案する。 TACDは、凍結した教師のマルチステップロールアウトエンドポイントからの明示的な監督によって局所的な一貫性を補完し、正確なワンステップアクション生成を可能にする。さらに、不要な専門家レベルの待ち時間を排除するために、クロスエキスパート・ウェーブフロント・パイプライニング(CEWP)を提案する。ビデオKVキャッシュのブロックワイド共有を通じて2人の専門家をオーバーラップし、対応するアクションアテンションがそれを消費する直前に同期する。様々なベンチマーク (\eg, LIBERO, LIBERO-Plus, RoboTwin) とモデル変種 (\eg, Fast-WAM, Faster-WAM) の広範な実験は、RealtimeWAMの優位性を実証している。注目すべきなのは、RealtimeWAMはこれらのベンチマーク全体でほぼ無作為なパフォーマンス($<1\%$ drop)を維持しながら、重要なエンドツーエンドのスピードアップを提供する($\eg, $\sim25\times$ on H100)。私たちのコードとチェックポイントは、この \href{https://github.com/ModelTC/LightX2V/tree/main/examples/realtimewam}{link} で利用可能です。

関連論文リスト

What Makes World Action Models Generalize? An Empirical Study of Test-Time Future Modeling [60.33876128319945]
世界行動モデル(WAM)は、トレーニング中の行動と共に未来を予測する。 WAMは、分散処理タスクにおいて明示的なタスクと一致するが、もともとWAMを動機付けていた一般化の利点を保たないことがわかった。提案するSimple-WAMは,将来のモデリングを完全ノイズ付きビデオトークンの1つの前方通過に単純化する。
論文参考訳（メタデータ） (2026-09-28T11:56:57Z)
Streaming-WAM: Action-Conditioned World-Action Model for Asynchronous Robot Manipulation [21.031571063193546]
Streaming-WAMは、非同期ロボット制御によるアクション条件付き世界モデリングを結合して、将来の視覚的予測におけるコミットアクションを考慮した。現実世界のスタンプペーパータスクでは、平均エピソード時間は、同期ジョイントWAMで90秒からストリーミングWAMで38秒に減少する。
論文参考訳（メタデータ） (2026-09-24T02:19:21Z)
StreamPI: Streaming Multimodal Temporal Modeling for Vision-Language-Action Models [84.17128030384099]
StreamPIはストリーミングマルチモーダル時間モデリングフレームワークである。追加パラメータを導入することなく、単一フレームのVLAに時間的推論能力を持たせる。メモリ依存および正確な認識シナリオにまたがる実ロボットタスクの実験とシミュレーションベンチマークのLIBEROは、StreamPIが様々なタスクでpi0.5より優れていることを示した。
論文参考訳（メタデータ） (2026-08-26T17:33:19Z)
FBFM: A Training-Free Asynchronous Feedback Mechanism for Flow-Matching in World-Action Models Execution [50.18922379062543]
フィードバックフローマッチング(Feedback Flow Matching, FBFM)は、アクティブに生成されたチャンク内で再接地を行うトレーニング不要な推論機構である。トレーニング不要であるため、このメカニズムは予期せぬ事象に対する応答性を改善し、長時間の作業におけるドリフトを抑制する。我々は,FBFMを第2世代WAMと第2世代WAMの両方で評価した。
論文参考訳（メタデータ） (2026-07-31T10:11:09Z)
AHA-WAM:Asynchronous Horizon-Adaptive World-Action Modeling with Observation-Guided Context Routing [45.6226084109777]
本稿では,Diffusion Transformer (DiT) アーキテクチャ上に構築されたAHA-WAM(Asynchronous Horizon-Adaptive World-Action Model)を提案する。 AHA-WAMはロボットデータの事前学習なしに最先端のパフォーマンスを達成し、RoboTwinで平均92.80%、実世界の4つのタスクで78.3%の成功を達成した。
論文参考訳（メタデータ） (2026-06-08T17:55:18Z)
Real-Time Execution of Action Chunking Flow Policies [49.1574468325115]
本稿では,アクションインタラクションシステムの非同期実行を可能にする新しい推論時アルゴリズムを提案する。これは、再トレーニングなしでボックスから実行する拡散またはVLAベースのシステムに適用できる。その結果、RTCは高速で、性能が高く、推論操作に対して一意に堅牢であることがわかった。
論文参考訳（メタデータ） (2025-06-09T01:01:59Z)
HyRSM++: Hybrid Relation Guided Temporal Set Matching for Few-shot Action Recognition [51.2715005161475]
そこで本研究では,数発のアクション認識のための時間的マッチング手法として,ハイブリッドリレーションド・テンポラル・セット・マッチングを提案する。 HyRSM++の中核となる考え方は、すべてのビデオをタスクに統合して差別的な表現を学ぶことである。提案手法は,様々な撮影条件下での最先端性能を実現する。
論文参考訳（メタデータ） (2023-01-09T13:32:50Z)
End-to-end Temporal Action Detection with Transformer [86.80289146697788]
時間的アクション検出(TAD)は、トリミングされていないビデオにおいて、すべてのアクションインスタンスのセマンティックラベルとバウンダリを決定することを目的としている。そこで我々は,textitTadTR と呼ばれる Transformer によるTAD のエンドツーエンドフレームワークを構築した。本手法は,HACSセグメンツとTHUMOS14の最先端性能とActivityNet-1.3の競合性能を実現する。
論文参考訳（メタデータ） (2021-06-18T17:58:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。