論文の概要: Latent Memory Palace: Reasoning for Control as Autoregressive Variational Inference

• arxiv url: http://arxiv.org/abs/2607.08724v1
• Date: Thu, 09 Jul 2026 17:30:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-10 14:45:27.609812
• Title: Latent Memory Palace: Reasoning for Control as Autoregressive Variational Inference
• Title（参考訳）: 潜在記憶宮殿:自己回帰的変分推論による制御のための推論
• Abstract要約: 本稿では, 自己回帰的潜在空間において, 記憶宮殿を想起させる情報を整理することで, 制御ポリシの推論が実現可能であることを示す。 我々の方法であるLatent Memory Palace (LMP) は、自己回帰的な潜伏分布を伴う変分推論として定式化されている。
• 参考スコア（独自算出の注目度）: 10.029761108099214
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Human decision-making is highly flexible -- some actions are taken immediately; others require longer deliberation. Language models have exhibited a similar capacity for adaptive "reasoning." However, transferring this capability to continuous control policies has been challenging, as directly reasoning in language space may lack the granularity for spatial understanding and precise motions. In this work, we show that reasoning for control policies can emerge by organizing information in an autoregressive latent space reminiscent of a memory palace, where retrieval is iterative and adaptive. Our method, Latent Memory Palace (LMP), formulates reasoning as variational inference with an autoregressive latent distribution. We derive a latent-space reinforcement learning technique to tractably optimize its variational lower bound. The resulting policy, LMP-$π$, achieves strong empirical performance in simulation and real-world domains while exhibiting interpretable, adaptive allocation of test-time compute. We further show that the same framework yields a variable-length action tokenizer, LMP-$\texttt{tok}$, which significantly improves the performance of downstream autoregressive policies. Together, these results present a new perspective on latent reasoning for control through the lens of variational inference.
• Abstract（参考訳）: 人間の意思決定は非常に柔軟で、すぐに行われるものもあれば、もっと長い熟考を必要とするものもある。 言語モデルは適応的な「推論」に類似した能力を示した。 しかし、言語空間における直接的推論は、空間的理解と正確な動きの粒度を欠いている可能性があるため、この能力を連続的な制御ポリシーに移行することは困難である。 本研究では,検索が反復的かつ適応的である記憶宮殿を連想させる自己回帰的な潜伏空間に情報を整理することで,制御ポリシの推論が実現可能であることを示す。 我々の方法であるLatent Memory Palace (LMP) は、自己回帰的な潜伏分布を伴う変分推論として定式化されている。 我々は、その変動下界を的確に最適化する潜在空間強化学習手法を導出する。 結果、LMP-$π$は、シミュレーションと実世界の領域において強力な経験的性能を達成しつつ、解釈可能かつ適応的なテスト時間計算の割り当てを示す。 さらに、同じフレームワークが可変長のアクショントークンであるLMP-$\texttt{tok}$を生成し、下流の自己回帰ポリシーの性能を大幅に向上させることを示す。 これらの結果は、変分推論のレンズを通して制御する潜在推論の新しい視点を提示する。

関連論文リスト

• The Art of Interrogation: Consistency Amplifies Factuality in Spatial Reasoning [65.67266333751569]
  現在のLRM(Large Reasoning Models)は、空間推論タスクにおいて顕著な汎用性を示すが、性能は著しく劣る。 本研究では,内的推論プロセスを対象とした自己指導型強化学習フレームワークを提案する。 このラベルのない整合性トレーニングは,地道的な監督によって訓練されたモデルの精度にアプローチし,多様なタスクやデータ領域にまたがる同様の一般化を実現することを示す。
  論文  参考訳（メタデータ） (2026-06-10T10:50:06Z)
• From Noise to Control: Parameterized Diffusion Policies [54.941343992110426]
  本研究では,学習行動多様体に埋め込まれた連続パラメータに条件付き拡散ポリシーを学習するためのフレームワークを提案する。 政策重みを更新することなく、既知の戦略間の円滑な距離と、新しい制約への効率的な適応を可能にする。
  論文  参考訳（メタデータ） (2026-05-29T20:21:50Z)
• Reasoning Palette: Modulating Reasoning via Latent Contextualization for Controllable Exploration for (V)LMs [49.66344956133349]
  推論能力は、大規模な(ビジョン)言語モデルのための推論時間性能と強化学習(RL)トレーニングの両方を形作る。 本稿では,戦略的文脈化のための潜在変数をモデルに付与する新しい潜在変調フレームワークであるReasoning Paletteを提案する。
  論文  参考訳（メタデータ） (2025-12-19T03:32:53Z)
• Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
  コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。 シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。 マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
  論文  参考訳（メタデータ） (2025-10-09T04:48:49Z)
• Meta-Policy Reflexion: Reusable Reflective Memory and Rule Admissibility for Resource-Efficient LLM Agent [6.300669721057781]
  メタ・ポリシィ・リフレクション(Meta-Policy Reflexion, MPR)は、LCM生成したリフレクションを構造化された述語型メタ・ポリシィ・メモリ(MPM)に集約するフレームワークである。 MPRはモデルウェイト更新なしで再利用可能な修正知識を外部化し、安全でないアクションや無効なアクションを減らすためにドメイン制約を強制し、言語ベースのリフレクションの適応性を維持する。 供給材料に報告された実証結果は, 反射ベースラインと比較して, 実行精度とロバスト性が一貫した向上を示し, 規則許容性は安定性をさらに向上させる。
  論文  参考訳（メタデータ） (2025-09-04T08:18:39Z)
• Learning Action-based Representations Using Invariance [18.1941237781348]
  我々は,制御に関係のある遠隔状態の特徴を割引する多段階制御可能性指標を学習するアクションビシミュレーション符号化を導入する。 我々は,報酬のない一様ランダムなデータに基づく行動ビシミュレーション事前学習が,複数の環境におけるサンプル効率を向上させることを実証した。
  論文  参考訳（メタデータ） (2024-03-25T02:17:54Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Discrete Action On-Policy Learning with Action-Value Critic [72.20609919995086]
  離散的な行動空間における強化学習(RL)は、実世界の応用では至るところで行われているが、その複雑さは行動空間次元とともに指数関数的に増大する。 我々は,行動値関数を推定し,相関行動に適用し,これらの評価値を組み合わせて勾配推定の分散を制御する。 これらの取り組みにより、分散制御技術に頼って、関連するRLアルゴリズムを実証的に上回る、新たな離散的なRLアルゴリズムが実現される。
  論文  参考訳（メタデータ） (2020-02-10T04:23:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。