論文の概要: Diff Mining: Logit Differences Reveal Finetuning Objectives

• arxiv url: http://arxiv.org/abs/2608.26462v1
• Date: Wed, 26 Aug 2026 23:33:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-28 16:30:58.200238
• Title: Diff Mining: Logit Differences Reveal Finetuning Objectives
• Title（参考訳）: Diff Mining:ログの相違点
• Abstract要約: 私たちはDiff Miningを紹介します。Diff Miningは、そのロジットをベースモデルと比較することで、微調整されたモデルが何を学んだかを特定するためのフレームワークです。 ディフ・マイニング(Diff Mining)は、精巧なモデルで増幅された透明なトークンを表面化し、トレーニングの指紋として機能する。 我々のフレームワークは、微調整対象を検出する監査ツールの開発において有望であることを示す。
• 参考スコア（独自算出の注目度）: 8.009258958150836
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Finetuning has become the gold standard for refining existing behaviors and inducing new ones in language models, yet it often remains unclear exactly which behaviors emerge during this process. As models grow ever more capable, understanding finetuning better becomes increasingly important, particularly since unwanted behaviors may arise during finetuning. In this paper, we introduce Diff Mining, a simple yet effective framework for identifying what a finetuned model has learned by comparing its logits to those of its base model. Diff Mining effectively surfaces salient tokens that are amplified in the finetuned model, serving as a fingerprint of its training -- even on text unrelated to the finetuning domain. Unlike many existing model diffing methods which require model internals, Diff Mining only needs access to output logits and scales to large models. The framework consists of two modular stages: (i) extracting per-context logit differences between the finetuned and base models on a reference corpus, and (ii) aggregating the resulting signals to construct an interpretable token set representing the finetune. For aggregation, we explore both a simple Top-K frequency method and a Non-negative Matrix Factorization (NMF)-based approach for disentangling multiple finetuning objectives into distinct token clusters. Empirically, Diff Mining succeeds across diverse settings: on finetune domain detection, it significantly outperforms state-of-the-art model diffing methods both in identifying relevant tokens and in downstream performance when an interpretability agent is given access to the extracted token set; on models with injected biases, it identifies more than one third of the biases without targeted probing. Overall, our framework shows promise in developing auditing tools to detect finetuning objectives.
• Abstract（参考訳）: ファインタニングは、既存の振る舞いを精錬し、言語モデルで新しい振る舞いを誘導する金の標準となっているが、このプロセス中にどの動作が現れるのかは、はっきりしないことが多い。 モデルがより有能になるにつれて、特に微調整中に不要な振る舞いが発生するため、微調整の理解がより重要になる。 本稿では,Diff Miningについて紹介する。Diff Miningは,そのロジットをベースモデルと比較することによって,微調整モデルが何を学んだかを特定するための,シンプルで効果的なフレームワークである。 ディフ・マイニング(Diff Mining)は、微調整されたモデルで増幅された精巧なトークンを効果的に表面化し、トレーニングの指紋として機能する。 モデル内部を必要とする既存のモデル差分法とは異なり、Diff Miningは出力ロジットへのアクセスと大規模モデルへのスケールのみを必要とする。 フレームワークは2つのモジュールステージで構成されている。 一 参照コーパス上の微調整されたモデルと基本モデルとの文書毎のロジット差の抽出 (ii)結果の信号を集約してファインチューンを表す解釈可能なトークンセットを構築する。 集約のためには、単純なTop-K周波数法とNon- negative Matrix Factorization(NMF)に基づく複数の微調整対象を異なるトークンクラスタに切り離すアプローチの両方を探索する。 実証的には、Diff Miningはさまざまな設定で成功している。ファインチューンドメイン検出では、関連するトークンを識別し、解釈可能性エージェントが抽出されたトークンセットにアクセスされた場合、ダウンストリームのパフォーマンスの両方において、最先端のモデル拡散メソッドを著しく上回る。 全体として、我々のフレームワークは微調整対象を検出する監査ツールの開発を約束している。

関連論文リスト

• Model Organisms Are Leaky: Perplexity Differencing Often Reveals Finetuning Objectives [0.9558392439655014]
  ファインタニングは、大きな言語モデルの振る舞いを著しく変更することができる。 簡単なパープレキシティに基づく手法により, モデル生物の微調整対象を抽出できることが示唆された。
  論文  参考訳（メタデータ） (2026-05-01T18:00:55Z)
• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• Exact Byte-Level Probabilities from Tokenized Language Models for FIM-Tasks and Model Ensembles [23.134664392314264]
  トークン化は、言語モデル(LM)における多くの未理解の欠点と関連している。 本研究は, トークン化がモデルとバイトレベルのモデルを比較し比較することによって, モデル性能に与える影響について検討する。 本稿では,学習トークン分布と等価バイトレベル分布とのマッピングを確立するフレームワークであるByte-Token Representation Lemmaを紹介する。
  論文  参考訳（メタデータ） (2024-10-11T23:30:42Z)
• TIES-Merging: Resolving Interference When Merging Models [95.59265307318752]
  転送学習は、ダウンストリーム性能の改善、収束の高速化、サンプル効率の向上など、大きな利点をもたらす可能性がある。 モデルマージは、追加のトレーニングを行うことなく、複数のタスク固有のモデルを単一のモデルに組み合わせるソリューションとして登場した。 既存のマージ手法は、しばしば異なるモデルのパラメータ間の干渉を無視し、複数のモデルのマージ時に大きなパフォーマンス低下を引き起こす。 本稿では,モデル統合における新たな3つのステップとして,微調整時に少量だけ変化したパラメータをリセットし,符号衝突を解消し,最終的な一致した符号に一致したパラメータのみをマージするTIES-Mergingを提案する。
  論文  参考訳（メタデータ） (2023-06-02T17:31:32Z)
• IMACS: Image Model Attribution Comparison Summaries [16.80986701058596]
  我々は,勾配に基づくモデル属性とアグリゲーションと可視化技術を組み合わせたIMACSを提案する。 IMACSは評価データセットから適切な入力特徴を抽出し、類似性に基づいてクラスタ化し、類似した入力特徴に対するモデル属性の違いを可視化する。 本稿では,衛星画像上で訓練した2つのモデル間の領域シフトによる行動差を明らかにする方法を示す。
  論文  参考訳（メタデータ） (2022-01-26T21:35:14Z)
• Bayesian Attention Modules [65.52970388117923]
  実装や最適化が容易な,スケーラブルな注目バージョンを提案する。 本実験は,提案手法が対応するベースラインに対して一貫した改善をもたらすことを示す。
  論文  参考訳（メタデータ） (2020-10-20T20:30:55Z)
• Explaining and Improving Model Behavior with k Nearest Neighbor Representations [107.24850861390196]
  モデルの予測に責任のあるトレーニング例を特定するために, k 近傍表現を提案する。 我々は,kNN表現が学習した素因関係を明らかにするのに有効であることを示す。 以上の結果から,kNN手法により,直交モデルが逆入力に対してより堅牢であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-18T16:55:25Z)
• Document Ranking with a Pretrained Sequence-to-Sequence Model [56.44269917346376]
  関連ラベルを「ターゲット語」として生成するためにシーケンス・ツー・シーケンス・モデルをどのように訓練するかを示す。 提案手法は,データポーラ方式におけるエンコーダのみのモデルよりも大幅に優れている。
  論文  参考訳（メタデータ） (2020-03-14T22:29:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。