論文の概要: MIITA: Memory-Induced Inference-Time Adaptation for Continual Learning with Small Language Models

• arxiv url: http://arxiv.org/abs/2607.22556v1
• Date: Wed, 20 May 2026 03:03:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-02 22:55:38.96214
• Title: MIITA: Memory-Induced Inference-Time Adaptation for Continual Learning with Small Language Models
• Title（参考訳）: MIITA:小言語モデルを用いた連続学習のためのメモリ駆動推論時間適応
• Abstract要約: MIITAはメモリ駆動型推論時間適応フレームワークである。 教師付きエクスペリエンスをセマンティックアンカーを備えたコンパクトな修正指向プロトタイプとして格納し、セマンティックおよび不確実性ベースのキューを使用して推論時にそれらを検索する。 実験により、MIITAは最終性能を継続的に改善し、固定メモリの予算下での忘れを軽減している。
• 参考スコア（独自算出の注目度）: 64.2820121997882
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Continual learning (CL) is essential for small language models (SLMs) to adapt to evolving real-world needs in resource-constrained deployments. However, directly updating their limited parameter space causes catastrophic forgetting. While memory-based methods naturally address this by decoupling knowledge retention from parameters, existing approaches designed for large language models (LLMs) rely on abundant storage and strong in-context reasoning that SLMs lack. To address these challenges, we propose MIITA, a Memory-Induced Inference-Time Adaptation framework for supervised CL under constrained storage. MIITA stores supervised experiences as compact correction-direction prototypes with semantic anchors, and retrieves them at inference time using semantic and uncertainty-based cues. The retrieved directions are applied through gated temporary hidden-state adaptation, enabling non-destructive reuse of past supervision without backbone updates, prompt extensions, or test-time backpropagation. A local theoretical analysis links this design to first-order loss reduction, uncertainty-guided retrieval, and directional coverage for retaining old-stage knowledge. Extensive experiments across diverse supervised CL settings show that MIITA consistently improves final performance and mitigates forgetting under fixed memory budgets.
• Abstract（参考訳）: 連続学習(CL)は、資源制約されたデプロイメントにおける現実の要求に適応するために、小さな言語モデル(SLM)にとって不可欠である。 しかし、その限られたパラメータ空間を直接更新すると破滅的な忘れが生ずる。 メモリベースの手法は、知識保持をパラメータから分離することで自然にこの問題に対処するが、大規模言語モデル(LLM)用に設計された既存のアプローチは、SLMに欠けているような豊富なストレージと強力なコンテキスト推論に依存している。 これらの課題に対処するため,制約ストレージ下でのCL管理のためのメモリ誘起推論時間適応フレームワークMIITAを提案する。 MIITAは、教師付き体験をセマンティックアンカー付きコンパクトな修正指向プロトタイプとして保存し、セマンティックおよび不確実性に基づく手がかりを用いて推論時にそれらを検索する。 検索した方向は、ゲート付き一時的隠蔽状態適応によって適用され、バックボーン更新、プロンプト拡張、テスト時のバックプロパゲーションなしで過去の監視を非破壊的に再利用することができる。 局所的な理論的分析は、この設計を1次損失低減、不確実性誘導検索、そして古い段階の知識を維持するための方向性カバレッジと結びつけている。 多様なCL設定に対する大規模な実験により、MIITAは最終的なパフォーマンスを継続的に改善し、メモリの固定予算下での忘れを軽減している。

関連論文リスト

• MILES: Modular Instruction Memory with Learnable Selection for Self-Improving LLM Reasoning [17.668597279485407]
  MILESは、ステップワイズメモリを動的に拡張し、現実的なテスト時間制約の下で正確性に最適化されたメモリ構成を適用するフレームワークである。 MILESは、優れた精度と効率のトレードオフを達成しつつ、従来手法と一貫して一致または性能を向上する。
  論文  参考訳（メタデータ） (2026-07-08T03:51:37Z)
• Learning What to Remember: Observability-Safe Memory Retention via Constrained Optimization for Long-Horizon Language Agents [16.193335398478386]
  ロングホライゾンの言語エージェントは、観測、トレースの推論、および検索された事実のウィンドウを蓄積する。 既存のシステムは、保持を局所的に扱い、可観測性制約の下での長期的な影響をモデル化しない。 我々は,オンライン・オブザーバブル機能とオフライン・アベイラビリティ・インスペクションの厳格な分離を強制する学習強化フレームワークOSL-MRを提案する。
  論文  参考訳（メタデータ） (2026-06-09T09:15:33Z)
• Improving Sparse Memory Finetuning [6.491055956716639]
  大規模言語モデル(LLM)は通常、トレーニング後に静的になるが、現実のアプリケーションは既存の能力を劣化させることなく、新しい知識への継続的な適応を必要とする。 完全な微調整やパラメータ効率の手法のようなモデル更新の標準的なアプローチは、基本的なトレードオフに直面します。 Sparse Memory Finetuning (SMF)は、明示的なメモリ層内のパラメータの小さなサブセットにアップデートをローカライズすることで、有望な代替手段を提供する。
  論文  参考訳（メタデータ） (2026-04-06T23:16:10Z)
• Forget Less, Retain More: A Lightweight Regularizer for Rehearsal-Based Continual Learning [51.07663354001582]
  ディープニューラルネットワークは破滅的な忘れ込みに悩まされ、新しいタスクのトレーニング後に以前のタスクのパフォーマンスが低下する。 本稿では,メモリベースの手法と正規化手法の交わりに着目し,この問題に対処する新しいアプローチを提案する。 我々は、メモリベース連続学習法において、情報最大化(IM)正則化と呼ばれる正規化戦略を定式化する。
  論文  参考訳（メタデータ） (2025-12-01T15:56:00Z)
• Temporal-Difference Variational Continual Learning [77.92320830700797]
  複数の先行推定の正則化効果を統合する新たな学習目標を提案する。 提案手法は, 変分CL法より優れたカタストロフィックフォーミングを効果的に緩和する。
  論文  参考訳（メタデータ） (2024-10-10T10:58:41Z)
• SHERL: Synthesizing High Accuracy and Efficient Memory for Resource-Limited Transfer Learning [63.93193829913252]
  本稿では,リソース制限シナリオに対するSHERLと呼ばれる革新的なMETL戦略を提案する。 初期経路では、中間出力は反冗長動作によって統合される。 遅延ルートでは、最小限の遅延事前トレーニングされたレイヤを利用することで、メモリオーバーヘッドのピーク需要を軽減できる。
  論文  参考訳（メタデータ） (2024-07-10T10:22:35Z)
• Towards Robust Continual Learning with Bayesian Adaptive Moment Regularization [51.34904967046097]
  継続的な学習は、モデルが以前に学習した情報を忘れてしまう破滅的な忘れ込みの課題を克服しようとする。 本稿では,パラメータ成長の制約を緩和し,破滅的な忘れを減らし,新しい事前手法を提案する。 以上の結果から, BAdamは, 単頭クラスインクリメンタル実験に挑戦する先行手法に対して, 最先端の性能を達成できることが示唆された。
  論文  参考訳（メタデータ） (2023-09-15T17:10:51Z)
• Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting [100.75479161884935]
  我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。 RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。 メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
  論文  参考訳（メタデータ） (2020-10-04T10:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。