論文の概要: Test-Time Adaptation of Reasoning Strategies with Bayesian Nonparametric Memory

• arxiv url: http://arxiv.org/abs/2610.06516v1
• Date: Mon, 05 Oct 2026 15:30:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-09 07:51:20.520478
• Title: Test-Time Adaptation of Reasoning Strategies with Bayesian Nonparametric Memory
• Title（参考訳）: ベイズ非パラメトリック記憶を用いた推論手法のテスト時間適応
• Abstract要約: 本研究では,学習した振る舞いのクラスタを持つ構造化されたチートシートについて検討する。 本稿では,動作埋め込みに関する階層的ディリクレプロセスガウス混合モデル(HDP-GMM)を提案する。 ベイジアン・チートシートは適応的に再構成されたメモリモジュールであることを示す。
• 参考スコア（独自算出の注目度）: 13.72996269125319
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While modern large language models (LLMs) have been trained to reason through verbalized chains-of-thought, the generation cost grows substantially due to suboptimal paths to reach the final answer. Furthermore, as new insights are discovered while observing various input queries (e.g. through self-reflection), limited mechanisms exist for carrying forward these findings to be applied to subsequent problems. One can view the list of such strategies or behaviors as a growing cheatsheet, with elements retrieved from this memory module at inference-time. In this work, we consider structured cheatsheets, with learned clusters of behaviors. We introduce a Hierarchical Dirichlet Process Gaussian Mixture Model (HDP-GMM) over behavior embeddings, which shares components across domains while allowing domain-specific mixing weights, and uses the posterior predictive to retrieve relevant behaviors for a query; we call this a $\textit{Bayesian Cheatsheet}$. This mechanism allows for cheap adaptation in an online test-time training (TTT) setting, softly updating the mixture's sufficient statistics following each sample and enabling the creation of new components when the synthesized behaviors are sufficiently novel. We demonstrate that Bayesian Cheatsheet achieves clear performance gains relative to existing memory modules across reasoning benchmarks such as AIME'25, Omni-MATH, and PhysReason, even in the cold-start setting. We show that the Bayesian Cheatsheet is an adaptively reorganizing memory module, as behaviors can be re-assigned to components through a single step of collapsed Gibbs sampling. Our findings highlight the value of Bayesian-inspired memory modules for effective test-time adaptation and the role of structure in metacognitive reasoning.
• Abstract（参考訳）: 現代の大規模言語モデル (LLM) は、言語化されたチェーン・オブ・シントを通して推論するために訓練されているが、最終的な答えに到達するための最適な経路によって、生成コストは大幅に増大する。 さらに、様々な入力クエリ(例えば自己回帰を通して)を観察しながら新たな洞察が発見されるにつれて、これらの発見を推し進めるための限られたメカニズムがその後の問題に適用される。 このような戦略や振舞いのリストを、推論時にこのメモリモジュールから取得した要素とともに、成長するチートシートとして見ることができます。 本研究では,学習した振る舞いのクラスタを持つ構造化されたチートシートについて検討する。 本稿では,ドメイン固有の混合重みを許容しながら,ドメイン間のコンポーネントを共有する動作埋め込み上で,階層的ディリクレプロセスガウス混合モデル(HDP-GMM)を導入し,クエリの関連する振る舞いを検索するために後述の予測値を用いてこれを$\textit{Bayesian Cheatsheet}$と呼ぶ。 このメカニズムは、オンラインテストタイムトレーニング(TTT)設定における安価な適応を可能にし、各サンプルに続く混合物の十分な統計情報をソフトに更新し、合成された振る舞いが十分に新しい場合に新しいコンポーネントを作成することを可能にする。 AIME'25, Omni-MATH, PhysReasonなどの推論ベンチマークにおいて, コールドスタート条件下であっても, 既存のメモリモジュールと比較して, ベイジアンチートシートが明らかな性能向上を実現していることを示す。 ベイジアン・チートシートは,ギブスサンプリングの単一ステップでコンポーネントに振舞いを割り当てることができるため,適応的に再編成されたメモリモジュールであることを示す。 本研究は, ベイジアンにインスパイアされたメモリモジュールの有効性と, メタ認知的推論における構造の役割を明らかにする。

関連論文リスト

• AIBL: Augmented Instance-Based Learning with Structured Memory and Neural Embeddings [11.286007591536075]
  インスタンスベース学習理論(IBLT)は、辞書のような形式における記号的知識表現に依存している。 学習ベクトル空間で定式化されたインスタンス学習モデルであるAIBL(Augmented Instance-Based Learning)を導入する。 5つの機械学習タスクと3つの制御されたシミュレーションタスクにおいて、同じ実装を評価する。
  論文  参考訳（メタデータ） (2026-10-02T15:00:48Z)
• Dual-Grained Agent Memory and Shapley Context Attribution for Multimodal Agentic Learner [55.80248281761638]
  マルチモーダルな大言語モデル (MLLM) は、科学的および数学的推論において、印象的な認識を提供する。 本稿では,DG-Memを提案する。DG-Memは,トレーニングタイムのロールアウトから一度構築した外部記憶メモリと,テスト時に読み取り専用に相談することで,凍結したMLLMを拡張可能なエージェントメモリフレームワークである。
  論文  参考訳（メタデータ） (2026-08-24T13:56:01Z)
• MILES: Modular Instruction Memory with Learnable Selection for Self-Improving LLM Reasoning [17.668597279485407]
  MILESは、ステップワイズメモリを動的に拡張し、現実的なテスト時間制約の下で正確性に最適化されたメモリ構成を適用するフレームワークである。 MILESは、優れた精度と効率のトレードオフを達成しつつ、従来手法と一貫して一致または性能を向上する。
  論文  参考訳（メタデータ） (2026-07-08T03:51:37Z)
• Influence-Guided Symbolic Regression: Scientific Discovery via LLM-Driven Equation Search with Granular Feedback [56.69850045068714]
  逐次的2段階プロセスとして方程式発見をフレーム化する方法である textitInfluence-Guided Regression (IGSR) を導入する。 LLM-SRBench, 薬理学的PKPDモデル, 疫学シミュレーション, 実世界のゲノムデータなど, IGSRの有効性を示す。
  論文  参考訳（メタデータ） (2026-05-27T23:48:01Z)
• GoTTA be Diverse: Rethinking Memory Policies for Test-Time Adaptation [54.70334474895361]
  テスト時間適応(TTA)は、事前訓練されたモデルが、分散シフトの下でラベルのないテストストリームにオンラインで適応できるようにする。 ほとんどのTTA研究は適応の目的に焦点を当てているが、実用的なストリームはどのサンプルが適応を駆動するかを選択するのに使用されるメモリにも大きく依存している。 本稿では,クラスバランスアロケーションと特徴空間の多様性を組み合わせた多様性を考慮したメモリポリシーであるGOTTAについて紹介する。
  論文  参考訳（メタデータ） (2026-05-19T14:18:46Z)
• A Parametric Memory Head for Continual Generative Retrieval [52.66674234249913]
  生成情報検索(GenIR)は、検索を単一のニューラルモデルに統合し、クエリから直接ドキュメント識別子(ドシデント)をデコードする。 逐次適応は、新たに追加された文書の検索を改善するが、以前のスライスの性能は著しく低下することを示す。 本稿では,モジュール型パラメトリックメモリヘッドで適応モデルを拡張するメモリのみの安定化ステージである,後適応メモリチューニング(PAMT)を提案する。
  論文  参考訳（メタデータ） (2026-04-25T17:38:51Z)
• Memory Caching: RNNs with Growing Memory [56.25483647131372]
  メモリ状態(隠された状態)のチェックポイントをキャッシュすることで、リカレントモデルを強化する技術であるメモリキャッシュ(MC)を導入する。 我々は,ゲートアグリゲーションとスパース選択機構を含むMCの4つの変種を提案し,それらが線形メモリモジュールおよび深部メモリモジュールに与える影響について議論する。 その結果,トランスフォーマーの精度は高いが,我々のMC変種は競争性能を示し,トランスフォーマーとのギャップを埋め,最先端のリカレントモデルよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2026-02-27T18:53:41Z)
• Echo State Transformer: Attention Over Finite Memories [2.118933003468525]
  本稿では,逐次データ処理の課題をエレガントに解決するハイブリッドアーキテクチャであるEcho State Transformers(EST)を紹介する。 ESTはTransformerのアテンションメカニズムとReservoir Computingの原則を統合し、固定サイズのウィンドウ分散メモリシステムを作成する。 ESTは5つのカテゴリのうち2つで総合的にランク付けし、分類と異常検出タスクにおける最先端のベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-06-25T09:56:25Z)
• A Computational Model of Learning and Memory Using Structurally Dynamic Cellular Automata [0.0]
  そこで本研究では,生物工学的手法に基づく学習と記憶の数学的・計算モデルを提案する。 実験結果から,1回のトレーニング実行後に報酬状態を再発見するために,モデルが最適に近い選択をすることができることがわかった。
  論文  参考訳（メタデータ） (2024-12-20T17:26:17Z)
• Improving Meta-learning for Low-resource Text Classification and Generation via Memory Imitation [87.98063273826702]
  本稿では,メモリ模倣メタラーニング(MemIML)手法を提案する。 本手法の有効性を証明するために理論的解析を行った。
  論文  参考訳（メタデータ） (2022-03-22T12:41:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。