論文の概要: Continual Self-Improvement with Lightweight Experiential Latent Memories

• arxiv url: http://arxiv.org/abs/2606.17803v1
• Date: Tue, 16 Jun 2026 11:27:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.400627
• Title: Continual Self-Improvement with Lightweight Experiential Latent Memories
• Title（参考訳）: 軽快な経験的記憶の持続的自己改善
• Authors: Vaggelis Dorovatas, Nancy Kalaj, Rahaf Aljundi,
• Abstract要約: 大規模言語モデルは、推論時間計算をスケールすることで、強力な推論性能を達成する。 In-Context Learning (ICL) が生の推論トレース上では一般化できないことを示す。 本稿では,問題に費やされた推論時間計算を,コンパクトなモジュラー潜在記憶に蒸留するオンライン手法を提案する。
• 参考スコア（独自算出の注目度）: 5.476321641759679
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models achieve strong reasoning performance by scaling inference-time compute, yet remain fundamentally stateless, discarding the rich, self-produced reasoning traces generated during this process. We investigate whether models can instead learn online from this experience, converting transient computation (reasoning traces) into persistent reusable knowledge, and without external supervision or access to future data. We show that In-Context Learning (ICL) over raw reasoning traces fails to generalize, reflecting a fundamental limitation of token-level reuse: individual traces lack the abstraction needed for transfer, even after refinement (e.g. self-reflection). In contrast, drawing inspiration from recent works on unsupervised reinforcement learning, we find that lightweight per-instance training with self-generated test-time signals (majority voting) as rewards yields substantial gains, often surpassing full-dataset offline training, motivating a shift from raw traces to learned latent representations. Building on this insight, we propose an online method that distills inference-time compute spent on encountered problems into compact modular latent memories capturing the underlying reasoning structure. These memories are stored and retrieved for future inputs, enabling continual improvement while avoiding catastrophic forgetting through modular design. Importantly, our method is highly efficient, parametrized as extremely lightweight soft prompt memories (~0.001% of model parameters) and trained with only a few gradient steps, yet achieving performance competitive with full parametric updates and offline training. Across challenging mathematical reasoning benchmarks, our approach significantly outperforms zero-shot and raw data ICL baselines, while transferring effectively across datasets.
• Abstract（参考訳）: 大規模言語モデルは、推論時間計算をスケールすることで強力な推論性能を達成するが、基本的にはステートレスであり、このプロセスで生成されたリッチで自己生成の推論トレースを破棄する。 我々は、モデルがこの経験からオンラインで学習できるかどうかを調査し、過渡的な計算(トレースの推論)を永続的な再利用可能な知識に変換し、外部の監視や将来のデータへのアクセスなしにする。 個々のトレースには、改良後(例えば自己反映)においても、転送に必要な抽象概念が欠如している。 対照的に、教師なし強化学習に関する最近の研究からインスピレーションを得た結果、報酬が大きな利益を出し、多くの場合、フルデータセットのオフライントレーニングを超越し、生のトレースから学習潜在表現へのシフトを動機づける、自己生成テストタイム信号(多数投票)による軽量なインスタンストレーニングが大きな利益をもたらすことが判明した。 この知見に基づいて,問題に費やした推論時間計算を,基礎となる推論構造を抽出したコンパクトなモジュラー潜在記憶に蒸留するオンライン手法を提案する。 これらの記憶は、将来の入力のために保存および取得され、モジュール設計による破滅的な忘れを回避しつつ、継続的な改善を可能にする。 重要な点として,本手法は,非常に軽量なソフトプロンプトメモリ(モデルパラメータの0.001%)としてパラメータ化され,わずかに勾配のステップで訓練されるが,完全なパラメトリック更新やオフライントレーニングと性能の競争性は高い。 難解な数学的推論ベンチマーク全体において、我々のアプローチは、データセット間で効果的に転送しながら、ゼロショットおよび生のデータICLベースラインを著しく上回る。

関連論文リスト

• A Progressive Training Strategy for Vision-Language Models to Counteract Spatio-Temporal Hallucinations in Embodied Reasoning [49.61652671596548]
  「多像幻覚推論」では、前頭と時頭クエリ間の大規模なパフォーマンス低下は、真に理解するのではなく、表面的なショートカットへの依存を示す。 これを軽減するために、我々は、チェーンステップへの詳細な推論と決定的な判断に基づく、時間的連鎖構築という新しいデータセットを開発する。 実験により,本手法は精度を向上するだけでなく,70%以上から6.53%まで,前向きのパフォーマンスギャップも改善することが示された。
  論文  参考訳（メタデータ） (2026-04-12T07:48:44Z)
• Forget Less, Retain More: A Lightweight Regularizer for Rehearsal-Based Continual Learning [51.07663354001582]
  ディープニューラルネットワークは破滅的な忘れ込みに悩まされ、新しいタスクのトレーニング後に以前のタスクのパフォーマンスが低下する。 本稿では,メモリベースの手法と正規化手法の交わりに着目し,この問題に対処する新しいアプローチを提案する。 我々は、メモリベース連続学習法において、情報最大化(IM)正則化と呼ばれる正規化戦略を定式化する。
  論文  参考訳（メタデータ） (2025-12-01T15:56:00Z)
• Efficient Machine Unlearning via Influence Approximation [75.31015485113993]
  インフルエンサーベースのアンラーニングは、個別のトレーニングサンプルがモデルパラメータに与える影響を再トレーニングせずに推定する顕著なアプローチとして現れてきた。 本稿では,暗記(増分学習)と忘れ(未学習)の理論的関連性を確立する。 本稿では、インフルエンス近似アンラーニングアルゴリズムを導入し、インクリメンタルな視点から効率的なマシンアンラーニングを行う。
  論文  参考訳（メタデータ） (2025-07-31T05:34:27Z)
• Temporal Sampling for Forgotten Reasoning in LLMs [14.895026967556088]
  トレーニング中に、以前正解した問題を解決する方法を、モデルが忘れることがよくあります。 トレーニング軌道に沿って複数のチェックポイントから出力を引き出すシンプルなデコード戦略であるテンポラルサンプリングを導入する。 このアプローチは、リトレーニングやアンサンブルなしに、忘れられたソリューションを回復し、推論性能を大幅に改善する。
  論文  参考訳（メタデータ） (2025-05-26T16:39:52Z)
• Remember and Recall: Associative-Memory-based Trajectory Prediction [25.349986959111757]
  我々は,人間の顕著な学習能力に触発された,フラグメンテッドメモリに基づく軌道予測(FMTP)モデルを提案する。 FMTPモデルは、情報冗長性を低減し、計算効率を向上させるために離散表現を用いる。 言語モデルに基づく高度な推論エンジンを開発し、これらの離散表現間の連想規則を深く学習する。
  論文  参考訳（メタデータ） (2024-10-03T04:32:21Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
  Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。 高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T11:30:45Z)
• Dissecting Continual Learning a Structural and Data Analysis [0.0]
  連続学習(Continuous Learning)は、生涯学習が可能なアルゴリズムを考案するための分野である。 ディープラーニングの手法は、モデル化されたデータがその後の学習セッションでかなりの分散シフトを受けていない場合、印象的な結果が得られる。 このようなシステムをこのインクリメンタルな設定に公開すると、パフォーマンスは急速に低下します。
  論文  参考訳（メタデータ） (2023-01-03T10:37:11Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。