論文の概要: Self-Preservation in Language Models

• arxiv url: http://arxiv.org/abs/2610.12602v1
• Date: Thu, 08 Oct 2026 18:24:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-13 04:06:29.247701
• Title: Self-Preservation in Language Models
• Title（参考訳）: 言語モデルにおける自己保存
• Abstract要約: 継続的な学習は、事前の能力を維持しながら、事前訓練されたモデルを適応させようとする。 最近の研究は、言語モデルは、元のトレーニングデータにアクセスせずに有用なリプレイを生成することで、この限られた証拠を補うことができることを示している。 モデルは、自身の能力をより広く保護する保存目標を選択するのに役立ちますか?
• 参考スコア（独自算出の注目度）: 13.384601761197423
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Continual learning (CL) seeks to adapt pretrained models while preserving prior capabilities. Yet the tasks supplied for preservation cover only part of what a model knows, while forgetting can extend beyond them. Recent work shows that language models can supplement this limited evidence by generating useful replay without access to their original training data. This raises a question about self-preservation: can a model help choose preservation targets that protect its own capabilities more broadly? To study this question, we organize task descriptions and their examples into Task Banks, whose entries can be selected and combined to guide replay generation by a frozen model. Continual instruction tuning with Qwen models of varying sizes yields three findings. First, the new task and learning rate shape which prior capabilities degrade, while tracking previously correct answers reveals losses that average accuracy can conceal. Second, generated replay reduces forgetting on tasks outside the bank. Combining partial banks strengthens this protection, improving mean retention of previously correct answers over either bank alone across the tested sizes. Third, the model can also help choose replay targets: selection informed by the new task improves mean held-out retention over random selection at 4B, with similar new-task gains, although smaller models show no corresponding advantage. Under a fixed example budget, however, replacing new-task examples with replay improves preservation at the cost of smaller new-task gains. Together, these findings show that models can support broader self-preservation by generating replay data and, in some settings, choosing which tasks to replay.
• Abstract（参考訳）: 継続学習(CL)は、事前の能力を維持しながら事前訓練されたモデルを適応させようとする。 しかし、保存のために提供されるタスクは、モデルが知っていることの一部しかカバーしない。 最近の研究は、言語モデルは、元のトレーニングデータにアクセスせずに有用なリプレイを生成することで、この限られた証拠を補うことができることを示している。 モデルは、自身の能力をより広く保護する保存目標を選択するのに役立ちますか? そこで本研究では,タスク記述とその例をタスクバンクに整理し,そのエントリを選択・組み合わせることで,凍結モデルによるリプレイ生成をガイドする。 様々な大きさのQwenモデルによる連続的な指導チューニングは、3つの結果をもたらす。 まず、前の能力が低下する新しいタスクと学習率の形状を、前もって正しい回答を追跡すると、平均精度が隠せる損失が明らかになる。 第二に、生成されたリプレイは、銀行の外のタスクを忘れることを減らす。 部分的銀行の組み合わせは、この保護を強化し、テストされた規模にわたって、どちらか一方の銀行単独に対する前向きな回答の平均的保持を改善します。 第3に、新しいタスクによって通知された選択は、4Bでのランダムな選択よりも平均的な保留時間を改善するが、より小さなモデルでは対応する利点は示さない。 しかし、固定されたサンプル予算の下では、新しいタスクのサンプルをリプレイに置き換えることで、より小さな新しいタスクのゲインのコストで保存が改善される。 これらの結果は、リプレイデータを生成し、ある設定において、どのタスクをリプレイするかを選択することで、モデルがより広範な自己保存をサポートすることを示す。

関連論文リスト

• Replay on Demand: An Emergent Curriculum for Balancing Adaptation and Forgetting in Continued Pretraining [57.682536511720265]
  リプレイ・オン・デマンド(RoD)を導入し、モデルの学習力学からリプレイ・アロケーションを導出する。 RoDは、残りの学習電位で適応サンプルを優先順位付けし、観察された記憶によってサンプルを再生する。 RoDは、前もってリプレイアロケーションを規定することなく、調整済みの固定再生ベースラインとモデルマージの適応鍛造フロンティアに到達または改善する。
  論文  参考訳（メタデータ） (2026-09-30T16:31:32Z)
• ARROW: Augmented Replay for RObust World models [0.0]
  継続的な強化学習は、エージェントが以前に学んだスキルを維持しながら新しいスキルを取得することを課題にしている。 既存のアプローチのほとんどは、破滅的な忘れを緩和するためにバッファを再生するモデルフリーな手法に依存している。 本稿では,DreamerV3 を拡張したモデルベース連続 RL アルゴリズム ARROW を提案する。
  論文  参考訳（メタデータ） (2026-03-12T00:15:11Z)
• Class incremental learning with probability dampening and cascaded gated classifier [4.285597067389559]
  本稿では, Margin Dampening と Cascaded Scaling という新たな漸進正規化手法を提案する。 1つ目は、ソフト制約と知識蒸留のアプローチを組み合わせて、過去の知識を保存し、新しいパターンを忘れることを可能にします。 提案手法は,複数のベンチマークにおいて,確立されたベースラインで良好に動作することを示す。
  論文  参考訳（メタデータ） (2024-02-02T09:33:07Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
  BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。 実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
  論文  参考訳（メタデータ） (2023-03-02T09:03:43Z)
• Piggyback GAN: Efficient Lifelong Learning for Image Conditioned Generation [48.31909975623379]
  コンボリューションフィルタとデコンボリューションフィルタのセットを構築することで,現在のタスクを学習するパラメータ効率の高いフレームワークであるPiggyback GANを提案する。 現在のタスクでは,本モデルでは,パラメータ数が低いスタンドアロンモデルと同等の高次品質を実現している。 異なるドメインのさまざまな画像コンディショニング生成タスクで Piggyback GAN を検証します。
  論文  参考訳（メタデータ） (2021-04-24T12:09:52Z)
• Parrot: Data-Driven Behavioral Priors for Reinforcement Learning [79.32403825036792]
  そこで本研究では,実験で得られた複雑なインプット・アウトプット関係を事前に学習する手法を提案する。 RLエージェントが新規な動作を試す能力を阻害することなく、この学習が新しいタスクを迅速に学習するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2020-11-19T18:47:40Z)
• Remembering for the Right Reasons: Explanations Reduce Catastrophic Forgetting [100.75479161884935]
  我々は、RRR(Remembering for the Right Reasons)と呼ばれる新しいトレーニングパラダイムを提案する。 RRRは、各例の視覚モデル説明をバッファに格納し、モデルが予測に「正しい理由」を持つことを保証する。 メモリや正規化ベースのアプローチでRRRを容易に追加できることを示し、その結果、忘れを少なくする。
  論文  参考訳（メタデータ） (2020-10-04T10:05:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。