論文の概要: Divergence Decoding: Inference-Time Unlearning via Auxiliary Models

• arxiv url: http://arxiv.org/abs/2605.31293v1
• Date: Fri, 29 May 2026 13:29:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-01 20:56:50.635063
• Title: Divergence Decoding: Inference-Time Unlearning via Auxiliary Models
• Title（参考訳）: ダイバージェンスデコーディング:補助モデルによる推論時間アンラーニング
• Abstract要約: Divergence Decoding(DD)は、小さな補助モデルを使用して、推論中の特定のデータから大規模言語モデルのロジットを分離するメカニズムである。 本手法は,非学習ベンチマークにおいて,最先端(SOTA)ベースラインを決定的に上回っている。
• 参考スコア（独自算出の注目度）: 2.1485350418225244
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) frequently memorize sensitive training data thereby creating significant privacy and copyright risks. Addressing these risks, i.e., removing such knowledge from an existing model checkpoint, has proven challenging as many unlearning methods lead to catastrophic utility loss or are ineffective for complex queries. We introduce Divergence Decoding (DD), a mechanism that uses small auxiliary models to steer the logits of the LLM away from specific data during inference. Training these models is straight forward, i.e., we use standard pre-training and fine-tuning setups. We find the method decisively outperforms state-of-the-art (SOTA) baselines on unlearning benchmarks across a variety of model and training dataset scales consistent with DD being an effective and inexpensive solution to unlearning. We then demonstrate that this steered distribution can be trivially distilled back into the base model. Since the method is generally applicable to any probabilistic model, we explore its efficacy outside of text generation and find evidence of generalization to the domain of images.
• Abstract（参考訳）: 大きな言語モデル(LLM)は、機密性の高いトレーニングデータを頻繁に記憶し、プライバシーと著作権の重大なリスクを生じさせる。 これらのリスクに対処する、すなわち、既存のモデルチェックポイントからそのような知識を取り除くことは、多くの未学習の手法が破滅的なユーティリティ損失を招いたり、複雑なクエリには効果がないため、難しいことが証明されている。 本稿では,LLMのロジットを推論時に特定のデータから切り離すために,小さな補助モデルを用いた分散デコーディング(DD)を導入する。 これらのモデルのトレーニングは直接前進している。つまり、標準的な事前訓練と微調整のセットアップを使用する。 本手法は,様々なモデルおよびトレーニングデータセットのアンラーニングベンチマークにおいて,最先端(SOTA)ベースラインを決定的に上回り,DDが非ラーニングの効率的かつ安価なソリューションであるのと一致している。 次に、このステアリングされた分布を自明に基礎モデルに蒸留できることを実証する。 本手法は一般に任意の確率モデルに適用できるため,テキスト生成以外での有効性を探求し,画像領域への一般化の証拠を見出す。

関連論文リスト

• SPaRFT: Self-Paced Reinforcement Fine-Tuning for Large Language Models [51.74498855100541]
  大規模言語モデル(LLM)は、強化学習(RL)による微調整時に強い推論能力を示す。 トレーニング対象のモデルの性能に基づいて,効率的な学習を可能にする自己評価学習フレームワークである textbfSPaRFT を提案する。
  論文  参考訳（メタデータ） (2025-08-07T03:50:48Z)
• DUSE: A Data Expansion Framework for Low-resource Automatic Modulation Recognition based on Active Learning [17.651073556023167]
  動的不確実性駆動型サンプル拡張(DUSE)と呼ばれるデータ拡張フレームワークを導入する。 DUSEは不確実性スコアリング機能を使用して、関連するAMRデータセットから有用なサンプルをフィルタリングする。 実験によると、DUSEはクラスバランスとクラスバランスの設定の両方で8コアセット選択ベースラインを一貫して上回っている。
  論文  参考訳（メタデータ） (2025-07-16T08:09:41Z)
• Provable unlearning in topic modeling and downstream tasks [36.571324268874264]
  アンラーニングの保証は、しばしば教師付き学習設定に限られる。 我々は、事前学習と微調整のパラダイムにおいて、初となるアンラーニングの理論的保証を提供する。 我々は、特定のタスクに微調整されたモデルから事前学習データを容易に解放できることを示し、ベースモデルを変更することなく、このデータを解放できることを示した。
  論文  参考訳（メタデータ） (2024-11-19T16:04:31Z)
• Distributionally robust self-supervised learning for tabular data [4.172010719137041]
  エラースライスの存在下での堅牢な表現の学習は、高い濃度特徴とエラーセットの構築の複雑さのために困難である。 従来の堅牢な表現学習手法は、コンピュータビジョンにおける教師付き設定における最悪のグループパフォーマンスの改善に主に焦点をあてている。 提案手法は,Masked Language Modeling (MLM) の損失を学習したエンコーダ・デコーダモデルを用いて,頑健な潜在表現を学習する。
  論文  参考訳（メタデータ） (2024-10-11T04:23:56Z)
• Label-Free Model Failure Detection for Lidar-based Point Cloud Segmentation [15.779651238128562]
  ライダーベースポイントクラウドセグメンテーションのためのラベルフリーモデル故障検出手法を提案する。 我々は、同じタスクに対して教師付きおよび自己教師付きストリームをトレーニングし、障害モードを検出することで、異なるデータ特性を活用する。 大規模定性解析を行い,実世界のライダーデータにラベル付き異常を付与した最初の公開データセットであるLidarCODAを提示する。
  論文  参考訳（メタデータ） (2024-07-19T13:36:35Z)
• Can LLMs Separate Instructions From Data? And What Do We Even Mean By That? [60.50127555651554]
  大規模言語モデル(LLM)は、多くの実用的なアプリケーションにおいて印象的な結果を示すが、基本的な安全性機能は欠如している。 これにより、間接的なプロンプトインジェクションのような操作に脆弱になり、一般に安全クリティカルなタスクには適さない。 モデル出力から計算可能な命令データ分離の形式的尺度と経験的変量を導入する。
  論文  参考訳（メタデータ） (2024-03-11T15:48:56Z)
• An Information Theoretic Approach to Machine Unlearning [43.423418819707784]
  AIやデータ規則に従うためには、トレーニングされた機械学習モデルからプライベートまたは著作権のある情報を忘れる必要性がますます高まっている。 この研究では、ゼロショットのアンラーニングシナリオに対処し、未学習のアルゴリズムは、トレーニングされたモデルと忘れられるデータだけが与えられたデータを削除できなければならない。 モデルの幾何に基づいて、単純だが原則化されたゼロショットアンラーニング法を導出する。
  論文  参考訳（メタデータ） (2024-02-02T13:33:30Z)
• Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines [83.65380507372483]
  大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
  論文  参考訳（メタデータ） (2023-11-29T05:33:28Z)
• In-Context Unlearning: Language Models as Few Shot Unlearners [27.962361828354716]
  我々は,Large Language Models (LLMs) のための新しいアンラーニング手法を提案する。 このメソッドは、モデルパラメータを更新することなく、コンテキスト内で特定の種類の入力を提供することで、モデルからインスタンスを解放する。 実験の結果、文脈内アンラーニングは、モデルパラメータへのアクセスを必要とする他の最先端の手法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-10-11T15:19:31Z)
• Universal Domain Adaptation from Foundation Models: A Baseline Study [58.51162198585434]
  基礎モデルを用いた最先端UniDA手法の実証的研究を行った。 CLIPモデルからターゲット知識を抽出するためのパラメータフリーな手法であるtextitCLIP 蒸留を導入する。 単純な手法ではあるが、ほとんどのベンチマークタスクでは従来の手法よりも優れている。
  論文  参考訳（メタデータ） (2023-05-18T16:28:29Z)
• CAFA: Class-Aware Feature Alignment for Test-Time Adaptation [50.26963784271912]
  テスト時間適応(TTA)は、テスト時にラベルのないデータにモデルを適応させることによって、この問題に対処することを目的としている。 本稿では,クラス認識特徴アライメント(CAFA, Class-Aware Feature Alignment)と呼ばれる単純な機能アライメント損失を提案する。
  論文  参考訳（メタデータ） (2022-06-01T03:02:07Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。