論文の概要: UniWALM: Unified World Action Language Model for Embodied Robot Control

• arxiv url: http://arxiv.org/abs/2610.28626v1
• Date: Tue, 20 Oct 2026 17:59:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.980682
• Title: UniWALM: Unified World Action Language Model for Embodied Robot Control
• Title（参考訳）: UniWALM: 身体ロボット制御のための統一世界行動言語モデル
• Abstract要約: UniWALMは、ビデオ、アクション、言語を単一の共有表現で学習する統一世界行動モデルである。 Flow Matching with Correctionは、摂動行動軌跡からの回復を推論時間なしで教える。 実世界のFind-the-Itemタスクでは、テキストメモリの生成は11.1%から61.1%に向上し、最先端のVLAはチャンス以下にとどまる。
• 参考スコア（独自算出の注目度）: 33.46022887692326
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Motivated by the human ability to integrate experience across language, perception, and action, we introduce UniWALM, a unified world-action-language model that learns video, action, and language in a single shared representation, where each modality is both a conditioning signal and a supervision target. We ask: can jointly generating language enrich this shared representation, improving manipulation and supporting memory-dependent behavior? Unlike prior approaches that attach a reasoning or vision-language model to a video-action backbone and run them as distinct stages, UniWALM unifies all three modalities inside a single mixture-of-transformers backbone whose per-modality diffusion heads co-denoise synchronously, decoding subtask and textual memory in the same pass as action with no separate planning stage; the generated language is re-consumed on the next step, closing a language-as-memory loop without an external planner or memory bank. To keep the action stream reliable under this richer objective, we further introduce Flow Matching with Correction (FMC), a training objective that teaches recovery from perturbed action trajectories at no inference-time cost. UniWALM consistently improves over same-backbone baselines (e.g., FastWAM) on compositional pick-and-place (MolmoSpaces) and across the memory-dependent subset of RMBench, where it reaches 34.5% without any pretrained language or reasoning model and exceeds Mem-0's keyframe-equipped setup (28.5%) using only a single anchor frame. On a real-world Find-the-Item task, generating textual memory lifts success from 11.1% to 61.1%, while state-of-the-art VLAs stay at or below chance (<=33.3%).
• Abstract（参考訳）: 言語, 知覚, 行動にまたがる体験を統合する人間の能力に触発され, 映像, アクション, 言語を単一の共有表現で学習する統一世界行動言語モデルUniWALMを導入し, それぞれのモダリティを条件付き信号と監督対象の両方とする。 この共有表現を豊かにし、操作を改善し、メモリ依存の振る舞いをサポートする言語を共同で生成できるだろうか? ビデオアクションのバックボーンに推論モデルやビジョン言語モデルをアタッチして実行し、異なるステージとして実行する以前のアプローチとは異なり、UniWALMは、モダリティ間の拡散ヘッドが同期的にコデノエートされ、個別の計画段階を持たないアクションと同じパスでサブタスクとテキストメモリをデコードする単一のトランスフォーマーバックボーン内の3つのモードをすべて統一する。 このリッチな目的の下でアクションストリームの信頼性を維持するために、予測時間コストなしで摂動行動軌跡からの回復を教える訓練目的であるFMC(Flow Matching with Correction)についても紹介する。 UniWALMは、構成的ピック・アンド・プレース(MolmoSpaces)上の同じバックボーンベースライン(例えばFastWAM)とRMBenchのメモリ依存サブセットを一貫して改善し、事前訓練された言語や推論モデルなしで34.5%に達し、単一のアンカーフレームのみを使用してMem-0のキーフレーム装備セットアップ(28.5%)を超える。 実世界のFind-the-Itemタスクでは、テキストメモリの生成が11.1%から61.1%に向上し、最先端のVLAは(=33.3%)チャンス以下にとどまる。

関連論文リスト

• Qwen-RobotWorld Technical Report: Unifying Embodied World Modeling through Language-Conditioned Video Generation [88.94027963091206]
  具体的インテリジェンスのための言語条件付きビデオワールドモデルであるQwen-RobotWorldを紹介する。 ロボット操作、自律運転、屋内ナビゲーション、人間とロボットの移動など、現在の観察結果から、物理的に基礎付けられた将来の視覚軌道を予測する。
  論文  参考訳（メタデータ） (2026-06-15T17:52:31Z)
• Bilingual Text-to-Motion Generation: A New Benchmark and Baselines [52.71312720094036]
  LLMアノテーションと厳密な手動修正によって構築されたバイリンガルテキスト・モーション・ベンチマークであるBiHumanML3Dを紹介する。 また,CLA(Cross-Lingual Alignment)を用いたバイリンガルモーション拡散合成(BiMD)を提案する。 CLA を用いた BiMD は 0.045 対 0.169 対 R@3 対 80.8% の FID を達成し、単言語拡散モデルと BiHumanML3D の翻訳ベースラインを著しく上回っている。
  論文  参考訳（メタデータ） (2026-03-26T08:48:27Z)
• Uni-MuMER: Unified Multi-Task Fine-Tuning of Vision-Language Model for Handwritten Mathematical Expression Recognition [18.582459363950907]
  手書き数学的表現認識(HMER)は、光学文字認識(OCR)における永続的な課題である アーキテクチャを変更することなく,HMERタスクの視覚言語モデルを完全に微調整するUni-MuMERを提案する。 構造的空間推論のためのTree-CoT(Tree-CoT)、視覚的に類似した文字間の混乱を減らすためのエラー駆動学習(EDL)、長い表現における認識整合性を改善するためのシンボルカウント(SC)の3つのデータ駆動タスクを統合した。
  論文  参考訳（メタデータ） (2025-05-29T15:41:00Z)
• TASTE: Text-Aligned Speech Tokenization and Embedding for Spoken Language Modeling [46.60911294356232]
  本稿では,テキスト適応型音声トークン化と埋め込み(TASTE)を導入し,トークン化段階における音声トークンと対応するテキストの書き起こしを一致させる。 我々は広範囲な実験を行い、TASTEはトークン列の長さを劇的に減らしながら重要なパラ言語情報を保持することができることを示す。 実験の結果,TASTEを用いたSLMはSALMONやStoryClozeに匹敵する性能を示した。
  論文  参考訳（メタデータ） (2025-04-09T17:14:33Z)
• Part-aware Unified Representation of Language and Skeleton for Zero-shot Action Recognition [57.97930719585095]
  本稿では,PURLS(Part-aware Unified Representation between Language and Skeleton)を紹介する。 本手法はスケルトン/言語のバックボーンと3つの大規模データセットを用いて評価する。 その結果、PURLSの普遍性と優れた性能を示し、以前のスケルトンベースのソリューションと他のドメインからの標準ベースラインを上回った。
  論文  参考訳（メタデータ） (2024-06-19T08:22:32Z)
• Text-Video Retrieval with Global-Local Semantic Consistent Learning [122.15339128463715]
  我々は,シンプルで効果的なグローバル局所意味的一貫性学習(GLSCL)を提案する。 GLSCLは、テキストビデオ検索のためのモダリティをまたいだ潜在共有セマンティクスを活用する。 本手法はSOTAと同等の性能を実現し,計算コストの約220倍の高速化を実現している。
  論文  参考訳（メタデータ） (2024-05-21T11:59:36Z)
• UnifiedGesture: A Unified Gesture Synthesis Model for Multiple Skeletons [16.52004713662265]
  本稿では,異なる骨格を持つ複数のジェスチャーデータセットに基づいて学習した,拡散モデルに基づく音声駆動ジェスチャー合成手法を提案する。 次に、局所的注意と自己注意を用いた拡散モデルアーキテクチャに基づいて、音声とジェスチャーの相関関係を抽出する。 実験により、UnifiedGestureは、CCA、FGD、人間類似性の観点から、音声駆動ジェスチャ生成における最近のアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-09-13T16:07:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。