論文の概要: HyperRepair: Recovering Forgotten General Capabilities of Fine-Tuned Language Models

• arxiv url: http://arxiv.org/abs/2610.41147v1
• Date: Fri, 30 Oct 2026 02:09:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 22:05:31.58852
• Title: HyperRepair: Recovering Forgotten General Capabilities of Fine-Tuned Language Models
• Title（参考訳）: HyperRepair: 微調整言語モデルの忘れられた汎用能力の回復
• Abstract要約: 推論コストのみでドメインの特殊化を維持しながら、一般的な機能を回復するためのフレームワークであるHyperRepairを紹介します。 トレーニング済みのバックボーンを共有するモデル間でリカバリを一般化可能にするために、HyperRepairは、ソースモデルでトレーニングされたリカバリからハイパーネットワークを学ぶ。 デフォルトの分割では、HyperRepairはベースモデルの一般的なスコアの93.4%を獲得し、微調整モデルの平均ドメインスコアの99.5%を維持している。
• 参考スコア（独自算出の注目度）: 28.07530179309515
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning improves a language model's performance in a target domain but can weaken its general capabilities. Existing methods often face a trade-off between general capabilities and domain specialization, making it difficult to preserve both. We introduce HyperRepair, a framework for recovering general capabilities while retaining domain specialization at only inference cost. To make recovery generalizable across models sharing a pretrained backbone, HyperRepair learns a hypernetwork from repairs trained on source models. The hypernetwork uses activation fingerprints that summarize changes from the pretrained backbone to generate a tailored Repairing Side Net (RSN), whose prompt-conditioned gate applies corrections selectively. This enables recovery on models from unseen adaptation domains without target-domain examples or additional optimization. We evaluate HyperRpair across two model families, 12 LoRA adaptation datasets, and 15 general benchmarks. On the default split, HyperRepair achieves 93.4% of the base models' average general score while retaining 99.5% of the fine-tuned models' average domain score.
• Abstract（参考訳）: ファインチューニングは、ターゲットドメインにおける言語モデルのパフォーマンスを改善するが、その一般的な能力を弱める可能性がある。 既存のメソッドは、一般的な機能とドメインの特殊化のトレードオフに直面し、両方の保存が困難になる。 推論コストのみでドメインの特殊化を維持しながら、一般的な機能を回復するためのフレームワークであるHyperRepairを紹介します。 トレーニング済みのバックボーンを共有するモデル間でリカバリを一般化可能にするために、HyperRepairは、ソースモデルでトレーニングされたリカバリからハイパーネットワークを学ぶ。 ハイパーネットワークはアクティベーションフィンガーを使用して、事前訓練されたバックボーンからの変更を要約し、プロンプト条件のゲートが選択的に修正される調整された修復側ネット(RSN)を生成する。 これにより、ターゲットドメインの例や追加の最適化なしに、目に見えない適応ドメインからモデルのリカバリが可能になる。 2つのモデルファミリ、12のLoRA適応データセット、15の一般ベンチマークでHyperRpairを評価した。 デフォルトの分割では、HyperRepairはベースモデルの一般的なスコアの93.4%を獲得し、微調整モデルの平均ドメインスコアの99.5%を維持している。

関連論文リスト

• Spectral Rewiring for Exploration, Purification, and Model Merging [40.70734593668918]
  Subspace-Aligned Rewiring (SAR)は、コンポーネントを削除しながら推論ゲインを保持するポストホックな編集方法である。 本研究は,SARがポストトレーニング性能の99%以上を保ち,数学的推論における高K探索を改善することを示す。 また、算術的推論と後続の指示を維持しながら、抑圧された符号化能力をリリースすることにより、混合ドメインのトレーニング更新を浄化する。
  論文  参考訳（メタデータ） (2026-07-03T07:57:31Z)
• SelfAug: Mitigating Catastrophic Forgetting in Retrieval-Augmented Generation via Distribution Self-Alignment [49.86376148975563]
  大規模言語モデル(LLM)は、様々なタスクを理解し実行する能力を通じて自然言語処理に革命をもたらした。 教師付き微調整、特にRetrieval-Augmented Generation (RAG)のシナリオでは、しばしば破滅的な忘れが生じる。 本稿では,モデルのセマンティック分布を保存するために,入力シーケンスロジットをアライメントする自己分布アライメント手法であるSelfAugを提案する。
  論文  参考訳（メタデータ） (2025-09-04T06:50:47Z)
• Any Image Restoration via Efficient Spatial-Frequency Degradation Adaptation [158.37640586809187]
  劣化した画像を1つのモデルで効率的に復元することは、ますます重要になっている。 我々のアプローチはAnyIRと呼ばれ、様々な劣化にまたがる固有の類似性を活用する統一された経路をとっています。 劣化認識と文脈的注意を融合させるため,空間周波数並列融合戦略を提案する。
  論文  参考訳（メタデータ） (2025-04-19T09:54:46Z)
• SoMA: Singular Value Decomposed Minor Components Adaptation for Domain Generalizable Representation Learning [6.262268096839562]
  ドメインの一般化は、1つまたは複数のソースドメインを使用してモデルを適応し、目に見えないターゲットドメインで堅牢なパフォーマンスを保証することを目的としています。 既存のPEFT手法は、事前訓練されたモデルの一般化可能なコンポーネントと学習タスク固有の特徴のバランスをとるのに苦労する。 Singular Value De Minor Components Adaptation (SoMA) を導入する。
  論文  参考訳（メタデータ） (2024-12-05T11:17:57Z)
• Restore Anything Model via Efficient Degradation Adaptation [129.38475243424563]
  RAMは、様々な劣化にまたがる固有の類似性を活用して、効率的で包括的な復元を可能にする統一された経路を取る。 RAMのSOTA性能はRAMのSOTA性能を確認し、トレーニング可能なパラメータで約82%、FLOPで約85%のモデルの複雑さを減少させる。
  論文  参考訳（メタデータ） (2024-07-18T10:26:53Z)
• Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
  本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。 指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。 当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
  論文  参考訳（メタデータ） (2023-05-30T10:07:17Z)
• Domain-incremental Cardiac Image Segmentation with Style-oriented Replay and Domain-sensitive Feature Whitening [67.6394526631557]
  M&Mは、各受信データセットから漸進的に学習し、時間が経つにつれて改善された機能で漸進的に更新する必要がある。 医学的シナリオでは、データのプライバシのため、過去のデータへのアクセスや保存が一般的に許可されないため、これは特に困難である。 本稿では,まず過去のドメイン入力を復元し,モデル最適化中に定期的に再生する新しいドメイン増分学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-09T13:07:36Z)
• Domain Generalization by Mutual-Information Regularization with Pre-trained Models [20.53534134966378]
  ドメイン一般化(DG)は、限られたソースドメインのみを使用して、見えないターゲットドメインに一般化されたモデルを学習することを目的としている。 我々は、任意の可能な領域に一般化されたモデルであるオラクルモデルとの相互情報を用いて、DGの目的を再定式化する。 実験の結果, Oracle (MIRO) による相互情報正規化は, アウト・オブ・ディストリビューション性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2022-03-21T08:07:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。