論文の概要: Context Compaction for World Models

• arxiv url: http://arxiv.org/abs/2610.38980v1
• Date: Wed, 28 Oct 2026 22:04:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-01 01:32:10.013746
• Title: Context Compaction for World Models
• Title（参考訳）: 世界モデルのためのコンテキスト圧縮
• Abstract要約: 最近の研究は、観測者がある領域を再訪するとき、現在のモデルが一貫した再生に失敗することを示している。 我々は,世界モデルコンテキスト検索のためのベンチマークを構築した。 第2に,世界モデルのコンテキスト圧縮を行うエージェントハーネスを構築する。 第3に、我々のベンチマークを使って4つの世界モデルデザインを研究します。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: World models let observers explore and interact with generated worlds. Recent work shows that when observers revisit a region, current models often fail to regenerate it consistently. We view this as a context retrieval problem. LLM agents manage context retrieval at two layers of their stack. At the model layer, the KV cache design determines how much context fits in memory. At the agent harness layer, harnesses such as Claude Code pick the context sent to the LLM. Prior work on world models has mostly focused only on the model layer. In this paper, we make three contributions. First, we build a benchmark to measure world model context retrieval. It generates new worlds for every episode, preventing a model from recalling rooms using training data. It also separates context retrieval from guesses based on nearby frames. Second, we build an agent harness that performs context compaction for world models, which to our knowledge no prior work has studied. Third, we use our benchmark to study four world model designs. Context compaction lets our world models retrieve rooms up to 4 times beyond their context window without retraining. However, world models with sliding-window attention lose most of their context retrieval when dreaming. Therefore, a dreaming world agent benefits more from extending the reach of its world model using context compaction than switching to sliding window attention at the model layer.
• Abstract（参考訳）: 世界モデルは、観測者が生成された世界を探索し、相互作用することを可能にする。 最近の研究は、観測者がある領域を再訪するとき、現在のモデルが一貫した再生に失敗することを示している。 我々はこれを文脈検索問題と見なしている。 LLMエージェントはスタックの2層でコンテキスト検索を管理する。 モデル層では、KVキャッシュ設計により、メモリにどの程度のコンテキストが適合するかが決定される。 エージェントハーネス層では、Claude CodeのようなハーネスがLLMに送信されるコンテキストを選択する。 以前の世界モデルに関する作業は、主にモデル層にのみ焦点を合わせていました。 本稿では3つのコントリビューションを行う。 まず,世界モデルコンテキスト検索のためのベンチマークを構築した。 モデルがトレーニングデータを使って部屋をリコールするのを防ぐため、各エピソードに新たな世界を生成する。 また、近くのフレームに基づいて、コンテキスト検索と推測を分離する。 第2に,世界モデルのための文脈圧縮を行うエージェントハーネスを構築した。 第3に、我々のベンチマークを使って4つの世界モデルデザインを研究します。 コンテキストのコンパクト化により、世界モデルでは、コンテキストウィンドウの最大4倍の部屋を、再トレーニングせずに検索できます。 しかし,スライディング・ウインドウ・アテンションを持つ世界モデルは,夢を見ているとコンテキスト検索のほとんどを失う。 したがって、夢のような世界エージェントは、コンテキストのコンパクト化を利用して世界モデルのリーチを広げることにより、モデル層における窓のスライディングに切り替えるよりも、より多くの利益を得ることができる。

関連論文リスト

• Training Object Permanence in World Models [110.04493151019896]
  WROP(World Reasoning with Object Permanence)は、手作業で設計された認知科学にインスパイアされたタスク150のデータ基盤である。 我々は、各タスクの認知構造を保ちながら、速度、照明、カメラアングル、その他のニュアンスパラメータをランダム化するブレンダージェネレータを構築する。 WROPは連続モデルのうち第1位と第3位にランクされ、2つの参照対ビデオモデル間の統計的結びつきに次いでいる。
  論文  参考訳（メタデータ） (2026-09-23T18:02:12Z)
• Code Plans, Diffusion Renders: Open-Ended Generative World Modeling [82.36042129562516]
  我々は世界モデリングの新しいパラダイムである textbfCoDeR を紹介する。 本システムは,コードによる実行可能世界を明示的に構築し,映像生成モデルを用いて視覚的実現を行う。
  論文  参考訳（メタデータ） (2026-09-22T14:12:15Z)
• Bridging the Agent-World Gap: Text World Models for LLM-based Agents [83.8237017249529]
  大規模言語モデル(LLM)ベースのエージェントは、インタラクティブなテキスト環境においてますます使われている。 多くは反応が強く、これらの環境がどのように構成され、どのように進化するかの明確なモデルなしで、観察を行動にマッピングする。 テキストワールドモデル(TWMs): 状態と候補アクションが与えられたら、結果のWebページ、端末出力、API応答、ユーザ応答を予測する。 LLMをベースとしたエージェントのテキストワールドモデルについて,形式的なフレームワークとエージェントライフサイクルを中心に整理し,体系的にレビューを行った。
  論文  参考訳（メタデータ） (2026-06-08T04:58:52Z)
• World2VLM: Distilling World Model Imagination into VLMs for Dynamic Spatial Reasoning [18.658825757342544]
  視覚言語モデル (VLM) は静的視覚理解において高い性能を示した。 彼らは今でも、エゴセントリックな動きの下でのシーンの進化を想像する必要がある、ダイナミックな空間的推論に苦慮している。 生成世界モデルから視覚言語モデルに空間的想像力を蒸留するトレーニングフレームワーク World2VLM を提案する。
  論文  参考訳（メタデータ） (2026-04-29T17:48:01Z)
• OpenWorldLib: A Unified Codebase and Definition of Advanced World Models [69.28080690708092]
  先進世界モデルのための包括的で標準化された推論フレームワークであるOpenWorldLibを紹介します。 我々は,世界モデルとは,複雑な世界を理解し,予測するための,相互作用と長期記憶機能を備えた知覚を中心としたモデルあるいはフレームワークである,という明確な定義を提案する。 この定義に基づいて、OpenWorldLibは、統一されたフレームワーク内でさまざまなタスクにわたるモデルを統合し、効率的な再利用と協調的な推論を可能にします。
  論文  参考訳（メタデータ） (2026-04-06T14:19:48Z)
• From Masks to Worlds: A Hitchhiker's Guide to World Models [97.94109752910457]
  これは世界模型の典型的な調査ではなく、世界を築きたい人々のためのガイドである。 「我々は、世界モデルに言及したすべての論文をカタログ化しようとはしない。」
  論文  参考訳（メタデータ） (2025-10-23T15:46:44Z)
• Global and Local Entailment Learning for Natural World Imagery [7.874291189886743]
  Radial Cross-Modal Embeddings (RCME) は、推移性強化エンテーメントの明示的なモデリングを可能にするフレームワークである。 生活樹の階層を表現できる階層的視覚言語基盤モデルを構築した。
  論文  参考訳（メタデータ） (2025-06-26T17:05:06Z)
• Text2World: Benchmarking Large Language Models for Symbolic World Model Generation [45.03755994315517]
  ドメイン定義言語(PDDL)に基づいた新しいベンチマークであるText2Worldを導入する。 大規模強化学習で訓練された推論モデルは、他よりも優れていることがわかった。 これらの知見に基づいて,LLMの世界モデリング能力を高めるためのいくつかの有望な戦略について検討する。
  論文  参考訳（メタデータ） (2025-02-18T17:59:48Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。