論文の概要: UnlearningSoup: Is Repeated Tuning Necessary for Large Language Model Unlearning?

• arxiv url: http://arxiv.org/abs/2609.37076v1
• Date: Tue, 29 Sep 2026 09:10:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.353452
• Title: UnlearningSoup: Is Repeated Tuning Necessary for Large Language Model Unlearning?
• Title（参考訳）: UnlearningSoup: 大規模言語モデルの学習には繰り返しチューニングが必要か?
• Abstract要約: 巨大なコーパスで訓練された大きな言語モデルは、本質的に有害な内容を記憶し、後に出力に再統合される可能性がある。 既存のアンラーニングメソッドは通常、トレーニングベースのパラメータ更新に依存して、他の知識を保持しながらターゲットコンテンツを削除します。 我々はUnlearningSoupという統合されたフレームワークを提案し、このフレームワークは2つの戦略を提供する。EfficientSoupは早期に優れたパフォーマンスのモデルを素早く発見し、PerformanceSoupは後期に残るパフォーマンスの可能性を効果的に解き放つ。
• 参考スコア（独自算出の注目度）: 43.93265499587084
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models trained on vast corpora inherently risk memorizing harmful content that may later re-emerge in their outputs. To mitigate this issue, existing unlearning methods typically rely on training-based parameter updates, such as gradient ascent and its variants, to delete targeted content while preserving other knowledge. However, balancing the competing goals of forgetting and retention makes hyperparameter choices for these methods particularly difficult, often requiring repeated tuning to obtain a strong model that still leaves substantial room for improvement and transfers poorly across models and datasets. To address this challenge, we investigate whether unlearning runs exhibit exploitable structure in weight space, and observe that models from different runs still lie in a shared evaluation-performance basin. This suggests that stronger models may be recovered through an unlearning-tailored soup strategy, reducing the need for repeated tuning for further improvement or new settings. Motivated by this, we propose UnlearningSoup, a unified framework that provides two strategies: EfficientSoup uses binary-search-based interpolation to quickly discover a well-performing model in the early stage, where repeated tuning would otherwise make strong model selection costly. PerformanceSoup uses reweighted souping to efficiently unlock the remaining performance potential in the later stage, where repeated tuning becomes increasingly inefficient. Extensive experiments across diverse datasets and models show that UnlearningSoup delivers 2.4x to 3.3x efficiency gains in hyperparameter selection, while consistently improving performance across settings.
• Abstract（参考訳）: 巨大なコーパスで訓練された大きな言語モデルは、本質的に有害な内容を記憶し、後に出力に再統合される可能性がある。 この問題を軽減するために、既存のアンラーニングメソッドは、通常、他の知識を保持しながらターゲットコンテンツを削除するために、勾配上昇とその変種のようなトレーニングベースのパラメータ更新に頼っている。 しかしながら、これらの手法のハイパーパラメータ選択の競合する目標のバランスをとることは、特に困難であり、しばしば、モデルやデータセット間で改善や転送が不十分な十分な余地を残した強いモデルを得るために、繰り返しチューニングを必要とする。 この課題に対処するために、アンラーニングが重み空間において悪用可能な構造を示すかどうかを検証し、異なるランのモデルが共有評価性能盆地にまだ存在することを観察する。 これは、より強力なモデルが未学習のスープ戦略によって復元され、さらなる改善や新しい設定のために繰り返しチューニングする必要がなくなることを示唆している。 効率性(Efficient)Soupはバイナリ検索に基づく補間(interpolation)を使用して、早期に優れたモデルを見つけ出す。 PerformanceSoupは、繰り返しチューニングがますます非効率になる後期の残りのパフォーマンスポテンシャルを効率的にアンロックするために、再重み付けスープを使用する。 さまざまなデータセットやモデルにわたる大規模な実験により、UnlearningSoupはハイパーパラメータの選択において2.4倍から3.3倍の効率向上を提供すると同時に、設定全体のパフォーマンスを継続的に改善している。

関連論文リスト

• Neural Network Optimization Reimagined: Decoupled Techniques for Scratch and Fine-Tuning [49.751529745537546]
  我々はDualOptを提案する。DualOptは、スクラッチからトレーニングに適した最適化技術を分離する新しいアプローチである。 スクラッチからのトレーニングでは、収束と一般化の両面を強化するために設計されたリアルタイムな層ワイド・ウェイト・デポジットを導入する。 我々は、異なる下流タスクの様々な要求に適応して、レイヤ単位の重量減衰を拡張して、レイヤ間のロールバックレベルを動的に調整する。
  論文  参考訳（メタデータ） (2026-04-21T06:27:18Z)
• Bagging-Based Model Merging for Robust General Text Embeddings [73.51674133699196]
  汎用テキスト埋め込みモデルは、幅広いNLPおよび情報検索アプリケーションを支える。 本稿では,データスケジューリングとモデルマージという2つの観点から,テキスト埋め込みのためのマルチタスク学習の体系的研究を行う。 本稿では,Baging ベースの rObust mOdel Merging (BOOM) を提案する。
  論文  参考訳（メタデータ） (2026-02-05T15:45:08Z)
• ReLATE+: Unified Framework for Adversarial Attack Detection, Classification, and Resilient Model Selection in Time-Series Classification [9.085996862368576]
  時系列分類における計算オーバーヘッドを最小限に抑えることは、特にディープラーニングモデルにおいて重要な課題である。 敵攻撃を検出し分類する総合的なフレームワークであるReLATE+を提案する。 ReLATE+は計算オーバーヘッドを平均77.68%削減し、対向レジリエンスを高め、堅牢なモデル選択を合理化する。
  論文  参考訳（メタデータ） (2025-08-26T22:11:50Z)
• UniErase: Towards Balanced and Precise Unlearning in Language Models [69.04923022755547]
  大規模言語モデル(LLM)は、古い情報問題に対処するために反復的な更新を必要とする。 UniEraseは、知識の未学習と能力保持の間の精度とバランスの取れたパフォーマンスを示す、新しいアンラーニングフレームワークである。
  論文  参考訳（メタデータ） (2025-05-21T15:53:28Z)
• ShuffleGate: An Efficient and Self-Polarizing Feature Selection Method for Large-Scale Deep Models in Industry [12.690406065558394]
  ShuffleGateはインスタンス間ですべての機能を同時にシャッフルする。 モデルを再トレーニングすることなく、適切に分離された重要なスコアを生成し、パフォーマンスを見積もることができます。 様々なシナリオで、Bilibiliの検索モデルの日々のイテレーションにうまく統合されています。
  論文  参考訳（メタデータ） (2025-03-12T12:05:03Z)
• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。