論文の概要: World models of environment, agent and joint agent-environment systems

• arxiv url: http://arxiv.org/abs/2608.20401v1
• Date: Thu, 23 Jul 2026 13:35:03 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-31 05:49:59.213471
• Title: World models of environment, agent and joint agent-environment systems
• Title（参考訳）: 環境・エージェント・ジョイントエージェント環境システムの世界モデル
• Abstract要約: 私たちは、どのチャネルをモデルにするかという、事前の区別があると論じています。 環境チャネル$O_:mid A_:$、エージェントチャネル$A_:mid O_:$、実現されたジョイントプロセス$(A, O)_:$の3つのケースについて検討する。
• 参考スコア（独自算出の注目度）: 76.81951414842736
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: World models are a central component of model-based reinforcement learning. They are usually discussed in terms of what variables they predict, such as observations, rewards, states, latent or information states. We argue that there is a prior distinction: which channel they model. We consider three cases: the environment channel $O_{:} \mid A_{:}$, the agent channel $A_{:} \mid O_{:}$, and the realised joint process $(A, O)_{:}$, equivalently viewed as a channel with no inputs. Using computational mechanics, we define canonical predictive models for these three cases as $ε$-transducers or $ε$-machines. Canonical environment models recover standard predictive state representations, while the other two give analogous notions of canonical models for the agent and the joint system. We then build canonical support-restricted environment and agent models induced by closed-loop coupling, whose predictive equivalences range over continuations supported by the realised interaction. The key structural result is that canonical support-restricted environment states factor through the canonical joint causal states, and their transition structure is induced directly from the joint model; the agent-side construction is dual. Finally, we give a POMDP/controller example in which the unrestricted environment model has infinitely many states while the canonical support-restricted model induced by the coupling is finite. The framework clarifies what different world models are models of, and how coupling and support restriction can change their canonical predictive structure and complexity.
• Abstract（参考訳）: 世界モデルはモデルに基づく強化学習の中心的な構成要素である。 通常は、観察、報酬、状態、潜伏状態、情報状態など、予測する変数の観点で議論される。 私たちは、どのチャネルをモデルにするかという、事前の区別があると論じています。 環境チャネル$O_{:} \mid A_{:}$、エージェントチャネル$A_{:} \mid O_{:}$、実現されたジョイントプロセス$(A, O)_{:}$、等価に入力のないチャネルと見なされる。 計算力学を用いて、これらの3つのケースの標準予測モデルを、$ε$-transducersまたは$ε$-machinesと定義する。 カノニカル環境モデルは標準的な予測状態表現を復元し、他の2つはエージェントとジョイントシステムのカノニカルモデルに類似した概念を与える。 次に、閉ループ結合によって誘導される標準的支持制限環境とエージェントモデルを構築し、その予測等価性は、実効的な相互作用によって支えられる連続性にまたがる。 鍵となる構造的結果は、標準的支持制限環境状態因子が標準的関節因果状態を通っており、それらの遷移構造は関節モデルから直接誘導され、エージェント側構造は二重である。 最後に、非制限環境モデルが無限に多くの状態を持つのに対して、結合によって誘導される標準支持制限モデルが有限であるPOMDP/コントローラの例を示す。 このフレームワークは、異なる世界モデルが何のモデルであるか、そして結合とサポートの制限が、いかに彼らの標準的な予測構造と複雑さを変えるかを明らかにする。

関連論文リスト

• Inverting the Bellman Equation: From $Q$-Values to World Models [57.827849584133425]
  我々は、十分に豊富な報酬関数のセットで訓練された価値に基づくエージェントが、ユニークで正確な世界モデルを暗黙的にエンコードしていることを証明した。 ttReacherエージェントの暗黙の世界モデルにのみ訓練されたポリシーは、位置のみのトレーニングにもかかわらず、分布外、速度に基づく目標に準最適であることがわかった。
  論文  参考訳（メタデータ） (2026-06-19T07:26:14Z)
• Collective Alignment in LLM Multi-Agent Systems: Disentangling Bias from Cooperation via Statistical Physics [0.0]
  そこで,本研究では,本態性バイアスから社会的整合性を解き,臨界指数を計算し,マルチエージェントシステムの集合的挙動と相転移を探索するモデルに依存しない統計的物理法を提案する。 集合的アライメントは、協調的な隣り合う結合よりも本質的なバイアスによって支配され、真の相転移の代わりに場駆動のクロスオーバーを生成する。
  論文  参考訳（メタデータ） (2026-05-11T13:13:44Z)
• FluidWorld: Reaction-Diffusion Dynamics as a Predictive Substrate for World Models [0.0]
  現在のアプローチでは、学習された潜在空間で動作するTransformerベースの予測器がデフォルトになっている。 本稿では,予測的世界モデリングに自己注意が必要なのか,それとも代替の計算基板が同等あるいは優れた結果が得られるのか,という根本的な疑問を提起する。 反応拡散型の偏微分方程式(PDE)によって予測力学が支配される概念実証世界モデルであるFluidWorldを紹介する。
  論文  参考訳（メタデータ） (2026-03-22T16:49:43Z)
• MBD: A Model-Based Debiasing Framework Across User, Content, and Model Dimensions [50.00784452900918]
  この課題に対処する一般モデルベースデバイアス(MBD)フレームワークを提案する。 任意のコホートに対するエンゲージメント分布の文脈平均と分散を明示的に推定する。 この統合により、フレームワークはバイアス付き生信号からバイアスなしの表現に変換することができる。
  論文  参考訳（メタデータ） (2026-03-15T15:07:01Z)
• $α$-Flow: A Unified Framework for Continuous-State Discrete Flow Matching Models [8.705749038874137]
  この研究は、連続状態離散フローマッチングモデルのための統一されたフレームワークを提示します。 統計多様体の標準 $alpha$-geometry に固執する CS-DFM モデルのファミリである $alpha$-Flow を導入する。 我々は,$alpha$-flowのフローマッチング損失が,離散的な負の対数類似度に対して統一的な変動境界を確立することを示す。
  論文  参考訳（メタデータ） (2025-04-14T14:51:45Z)
• Super-model ecosystem: A domain-adaptation perspective [101.76769818069072]
  本稿では,ドメイン適応による新たなスーパーモデルパラダイムの理論的基礎を確立することを試みる。 スーパーモデルパラダイムは、計算とデータコストと二酸化炭素排出量を減らすのに役立つ。
  論文  参考訳（メタデータ） (2022-08-30T09:09:43Z)
• On the Generative Utility of Cyclic Conditionals [103.1624347008042]
  2つの条件付きモデル$p(x|z)$を用いて、共同分布$p(x,z)$をモデル化できるかどうか、また、どのようにしてサイクルを形成するかを検討する。 本稿では,周期条件生成モデリングのためのCyGenフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-06-30T10:23:45Z)
• Generative Temporal Difference Learning for Infinite-Horizon Prediction [101.59882753763888]
  我々は、無限確率的地平線を持つ環境力学の予測モデルである$gamma$-modelを導入する。 トレーニングタイムとテストタイムの複合的なエラーの間には、そのトレーニングが避けられないトレードオフを反映しているかについて議論する。
  論文  参考訳（メタデータ） (2020-10-27T17:54:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。