論文の概要: Finite-Memory Control of POMDPs: Fundamental Limits and Efficient Design
- arxiv url: http://arxiv.org/abs/2611.03414v1
- Date: Mon, 02 Nov 2026 16:38:33 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-06 04:44:24.930902
- Title: Finite-Memory Control of POMDPs: Fundamental Limits and Efficient Design
- Title（参考訳）: POMDPの有限メモリ制御:基本限界と効率的な設計
- Abstract要約: ほぼ最適制御性能を達成するために利用可能な有限メモリの保存条件について検討する。
本稿では,代表記憶状態を設計するための構成量子化手法RECAPを提案する。
11のPOMDPベンチマークの実験では、RECAPは同じメモリ予算の下で有限メモリ表現ベースラインよりも改善されている。
- 参考スコア（独自算出の注目度）: 15.106778567444577
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Optimal control of partially observable Markov decision processes (POMDPs), in general, requires a complete history. The belief state, a distribution over hidden states, summarizes this history and provides the classical sufficient statistic to control POMDPs. However, the continuous nature of the belief space generally prevents a finite-memory controller from maintaining it exactly. This raises the question we address in this work: what must the available finite memory preserve to achieve near-optimal control performance? We study this question through an information-theoretic converse that gives a fundamental lower bound on the loss of any finite-memory controller. The analysis introduces the concept of a decision witness that characterizes belief states whose confusion would lead to unavoidable loss. Motivated by this bound, we propose RECAP, a constructive quantization method for designing representative memory states. We prove an upper bound on the optimality gap of any RECAP codebook and use the components of this bound together with the converse analysis to define the codebook objective. Experiments on 11 POMDP benchmarks demonstrate that RECAP improves over finite-memory representation baselines under the same memory budget.
- Abstract（参考訳）: 部分的に観測可能なマルコフ決定過程(POMDP)の最適制御は、一般に完全な履歴を必要とする。
隠蔽状態上の分布である信念状態は、この歴史を要約し、POMDPを制御するのに十分な古典的な統計量を与える。
しかし、信念空間の連続性は一般に有限メモリコントローラがそれを正確に維持することを妨げている。
ほぼ最適の制御性能を達成するためには、利用可能な有限メモリには何が必要か?
有限メモリ制御器の損失に基礎的な下限を与える情報理論の逆を用いて,この問題を考察する。
この分析は、混乱が避けられない損失に繋がる信念を特徴づける決定証人の概念を導入している。
この境界により、代表記憶状態を設計するための構成的量子化法であるRECAPを提案する。
任意のRECAPコードブックの最適性ギャップの上限を証明し、この境界の成分と逆解析を併用して、コードブックの目的を定義する。
11のPOMDPベンチマークの実験では、RECAPは同じメモリ予算の下で有限メモリ表現ベースラインよりも改善されている。
関連論文リスト
- Harness the Memory: A Holistic Evaluation of Memory Substrates in Memory Agents [97.19033877543522]
本稿では,メモリ拡張剤のメモリ基板の制御ハーネス評価について述べる。
統一されたハーネスの下で26のパフォーマンスと効率のメトリクスを計測する。
これらの知見は、アダプティブエージェントメモリシステムに必要なコンポーネントとして、基質ルーティングを動機付けている。
論文 参考訳（メタデータ） (2026-08-15T03:29:48Z) - Heavy-Tailed Memory Traces in Long-Horizon Language Agents [2.571318992830046]
エージェントメモリは、予測エラーが蓄積される長い尾に希少な状態を残しながら、小さなコアに集中できることを示す。
本稿では,階層型メモリコントローラであるCore-Tail World Model (CTWM)を提案する。
論文 参考訳（メタデータ） (2026-07-09T15:00:39Z) - How LoRA Remembers? A Parametric Memory Law for LLM Finetuning [29.141706047011862]
本稿では、損失削減デルタLを有効パラメータとシーケンス長にリンクするロバスト電力法であるParametric Memory Lawを導入する。
トークンレベルでは、きめ細かい分析により決定論的相転移が明らかとなり、p > 0.5 の予測確率がリコールに十分な条件であることを示す。
MemFTは閾値誘導最適化戦略であり、トレーニング予算をサブ閾値トークンに動的に再分配する。
論文 参考訳（メタデータ） (2026-05-28T17:22:24Z) - GoTTA be Diverse: Rethinking Memory Policies for Test-Time Adaptation [54.70334474895361]
テスト時間適応(TTA)は、事前訓練されたモデルが、分散シフトの下でラベルのないテストストリームにオンラインで適応できるようにする。
ほとんどのTTA研究は適応の目的に焦点を当てているが、実用的なストリームはどのサンプルが適応を駆動するかを選択するのに使用されるメモリにも大きく依存している。
本稿では,クラスバランスアロケーションと特徴空間の多様性を組み合わせた多様性を考慮したメモリポリシーであるGOTTAについて紹介する。
論文 参考訳（メタデータ） (2026-05-19T14:18:46Z) - Is One Score Enough? Rethinking the Evaluation of Sequentially Evolving LLM Memory [50.857546269660276]
本稿では,大規模言語モデル(LLM)メモリを逐次進化させる診断評価フレームワークであるSeqMem-Evalを紹介する。
最終的なパフォーマンスのみに焦点を当てるのではなく、SeqMem-Evalは、シーケンシャル推論において、メモリ状態がどのように進化し、一般化し、エクスペリエンスを集約し、有用な情報を保持するかを評価する。
論文 参考訳（メタデータ） (2026-05-14T20:15:22Z) - Remember the Decision, Not the Description: A Rate-Distortion Framework for Agent Memory [120.68750043918249]
記憶は、決定にとって重要な区別を、記述ではなく保存すべきであることを示す。
DeMemは,共有状態が決定競合を誘発することを示すデータに対してのみ,分割を洗練させるオンラインメモリ学習システムである。
論文 参考訳（メタデータ） (2026-05-11T17:20:58Z) - Adaptive Memory Admission Control for LLM Agents [9.04001220868675]
本稿では,メモリ入力を構造化決定問題として扱うフレームワークであるAdaptive Memory Admission Control (A-MAC)を提案する。
A-MACはメモリ値を5つの補完的・解釈可能な因子に分解する。
A-MACは精度のよいリコールトレードオフを実現し、F1を0.583に改善し、最先端のLLMネイティブメモリシステムに比べてレイテンシを31%削減した。
論文 参考訳（メタデータ） (2026-03-04T19:32:02Z) - A Covering Framework for Offline POMDPs Learning using Belief Space Metric [3.540245474029962]
本稿では,信念空間の内在的メートル法構造を利用した包括的分析フレームワークを提案する。
価値関連関数が信念空間におけるリプシッツ連続であると仮定することにより、地平線とメモリ長で指数的に爆発する誤差境界を導出する。
論文 参考訳（メタデータ） (2026-03-03T17:48:20Z) - NextMem: Towards Latent Factual Memory for LLM-based Agents [58.35585202907478]
NextMemは、自動回帰型オートエンコーダを使用して、潜時メモリを効率的に構築する、潜時ファクトメモリフレームワークである。
大規模な実験は、NextMemが優れたパフォーマンスを達成することを示す。
論文 参考訳（メタデータ） (2026-02-26T14:35:27Z) - Finite Memory Belief Approximation for Optimal Control in Partially Observable Markov Decision Processes [1.614301262383079]
部分観測可能(PO)最適制御(SOC)問題に対する有限メモリ信念近似について検討した。
我々は,情報損失を制御性能に直接関連付ける計量に基づく理論を開発した。
論文 参考訳（メタデータ） (2026-01-06T16:05:20Z) - Beyond Heuristics: A Decision-Theoretic Framework for Agent Memory Management [49.71055327567513]
メモリ管理は、不確実性の下でのシーケンシャルな意思決定問題と見なされるべきである。
私たちの貢献は、新しいアルゴリズムではなく、アプローチの限界を明確にする原則的なリフレーミングです。
論文 参考訳（メタデータ） (2025-12-25T08:23:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。