論文の概要: Considering Context: When World Models Need Context Encoders
- arxiv url: http://arxiv.org/abs/2610.06651v1
- Date: Mon, 05 Oct 2026 16:32:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 23:59:29.001461
- Title: Considering Context: When World Models Need Context Encoders
- Title(参考訳): コンテキストを考える:世界モデルがコンテキストエンコーダを必要とするとき
- Abstract要約: モデルに基づく強化学習における一般化の方法は、エージェントが自身の経験から環境力学を管理する潜在コンテキストを回復できないと仮定するのが一般的である。
我々はこの仮定を予測的満足度で定式化し、検証する。
我々は,条件セットが目標とする予測リスクによってコンテキスト認識アルゴリズムを分類し,識別困難度を増大させる環境を横断的に示す。
- 参考スコア(独自算出の注目度): 2.7078182994979465
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Methods for generalization in model-based reinforcement learning typically assume that an agent cannot recover the latent context governing the environment dynamics from its own experience, and therefore supplies it externally. We formalize and test this assumption with \emph{predictive sufficiency}, which quantifies what access to the context adds to next-step prediction under the visitation distribution an agent induces, and separates that quantity into a history-recoverable part, a residual requiring the true context, and the deficit added by a finite model. We classify context-aware algorithms by the predictive risk their conditioning set can target and demonstrate across environments of increasing identification difficulty that the headroom does not follow the MDP class. The same task under different priors leaves predictive headroom in one setting and nothing distinguishable from zero in another, where the agent's behavior implicitly identifies the context and any benefit of such a mechanism cannot be attributed to missing information. Where headroom persists, the learned state exposes it only partially, and adding the true context still lowers the risk. Our contribution is a practical criterion for matching contextual mechanisms to the information available to them, estimated from the ordinary trained agent without a reference policy.
- Abstract(参考訳): モデルに基づく強化学習における一般化の方法は、エージェントが自身の経験から環境ダイナミクスを管理する潜在コンテキストを回復できないと仮定し、そのため外部に供給することが一般的である。
この仮定は、エージェントが誘導する訪問分布の下で、コンテキストへのアクセスが次のステップの予測に何を加えるかを定量化し、その量を履歴保存可能な部分、真のコンテキストを必要とする部分、有限モデルで付加される欠陥に分解するものである。
我々は,その条件設定セットが目標とする予測リスクによってコンテキスト認識アルゴリズムを分類し,ヘッドルームがMDPクラスに従わないような識別困難を増大させる環境を横断的に示す。
エージェントの振る舞いが暗黙的にコンテキストを識別し、そのようなメカニズムの利点は、欠落した情報によるものではない。
ヘッドルームが持続する場合には、学習した状態が部分的にのみ公開し、真のコンテキストを追加することでリスクを低減します。
我々の貢献は、参照ポリシーを使わずに通常の訓練を受けたエージェントから推定される情報に文脈的メカニズムを合わせるための実践的基準である。
関連論文リスト
- The Attribution Blind Spot: Detecting When Language Models Rely on Memory Rather Than Retrieved Context [22.202409807556517]
帰属盲点に対処するために,計算現実モニタリングを導入する。
CRMは、認知科学の現実監視フレームワークから適応した原則を運用する。
プレトレーニングされた露光が測定可能な内部軌道シグネチャを残すかどうかを検出する。
論文 参考訳(メタデータ) (2026-05-26T09:48:51Z) - Quantifying Aleatoric Uncertainty of In-Context Learning for Robust Measure of LLM Prediction Confidence [6.28866496877782]
In-Context Learning (ICL)は、LCMがいくつかのデモから新しいタスクに適応できるようにするが、信頼性は依然として懸念されている。
我々は、ベイズ的視点とICLの機械的解釈可能性に基づく自己関数ベクトルの概念を導入する。
これらのベクトルは内部モデル表現を利用して、コンテキスト内プロンプトで学んだ潜在概念をモデル化する。
提案手法は,従来の代替手法よりも信頼性の高いLCM予測の不確かさを計測できることを示す。
論文 参考訳(メタデータ) (2026-04-28T09:47:40Z) - Non-Resolution Reasoning (NRR): A Computational Framework for Contextual Identity and Ambiguity Preservation [0.0]
現在の人工知能システムは、曖昧さを早期に解決する、基本的なアーキテクチャ上の限界を示す。
この早期のセマンティック崩壊は、標準的なニューラルネットワークに埋め込まれた古典的なアイデンティティの仮定に由来する。
あいまいさ保持を有効な推論モードとして扱う計算フレームワークであるNon-Resolution Reasoning (NRR)を提案する。
論文 参考訳(メタデータ) (2025-12-15T16:14:32Z) - On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
教師付き微調整後の文脈認識の喪失について検討した。
性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。
一般命令微調整データセットから文脈依存例を識別する指標を提案する。
論文 参考訳(メタデータ) (2024-11-05T00:16:01Z) - Con-ReCall: Detecting Pre-training Data in LLMs via Contrastive Decoding [118.75567341513897]
既存のメソッドは通常、ターゲットテキストを分離して分析するか、非メンバーコンテキストでのみ分析する。
Con-ReCallは、メンバと非メンバのコンテキストによって誘導される非対称な分布シフトを利用する新しいアプローチである。
論文 参考訳(メタデータ) (2024-09-05T09:10:38Z) - Online learning in bandits with predicted context [8.257280652461159]
エージェントがコンテキストの騒々しいバージョンにしかアクセスできない場合、コンテキスト的帯域幅の問題を考える。
この設定は、意思決定の真のコンテキストが守られない広範囲のアプリケーションによって動機付けられている。
本研究では,この設定において,軽度条件下でのサブ線形後悔保証を用いた最初のオンラインアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-07-26T02:33:54Z) - Principled Knowledge Extrapolation with GANs [92.62635018136476]
我々は,知識外挿の新たな視点から,対実合成を研究する。
本稿では, 知識外挿問題に対処するために, クローズド形式判別器を用いた対角ゲームが利用可能であることを示す。
提案手法は,多くのシナリオにおいて,エレガントな理論的保証と優れた性能の両方を享受する。
論文 参考訳(メタデータ) (2022-05-21T08:39:42Z) - Stateful Offline Contextual Policy Evaluation and Learning [88.9134799076718]
我々は、シーケンシャルデータから、政治以外の評価と学習について研究する。
動的パーソナライズされた価格設定などの問題の因果構造を形式化する。
本報告では,本クラスにおけるアウト・オブ・サンプル・ポリシーの性能改善について述べる。
論文 参考訳(メタデータ) (2021-10-19T16:15:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。