論文の概要: The Unequal Influence of Bad Advice: Using Training Data Attribution to Modulate Emergent Misalignment

• arxiv url: http://arxiv.org/abs/2609.37914v1
• Date: Tue, 29 Sep 2026 16:08:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.725248
• Title: The Unequal Influence of Bad Advice: Using Training Data Attribution to Modulate Emergent Misalignment
• Title（参考訳）: バッドアドバイザの不平等な影響:訓練データ属性を用いた創発的ミスアライメントの修正
• Abstract要約: 微調整された大きな言語モデルは、トレーニング後のアライメントを解除し、不整合な振る舞いを誘発することができる。 エムはペルソナのような表現と結び付けられており、微調整は有害または「悪」ペルソナを増幅することで損失を減らす可能性がある。 各有害例がEMにどの程度寄与するかを定量的に推定するために,トレーニングデータ属性を用いる。
• 参考スコア（独自算出の注目度）: 16.5923797809648
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning large language models on narrow, misaligned tasks can undo their post-training alignment and induce novel misaligned behaviors -- a phenomenon known as \emph{emergent misalignment} (EM). EM has been linked to persona-like representations, where fine-tuning might reduce loss by amplifying a harmful or 'evil' persona. It remains unclear which properties of the training data drive this effect: whether all harmful examples contribute approximately equally to misalignment and whether different models are equally affected by the same fine-tuning examples. In this work, we use training data attribution to quantitatively estimate how much each harmful example contributes to EM. We benchmark the quality of the attribution via retraining -- a sound attribution score should enable us to enhance or attenuate EM by filtering data on that score. Score-based filtering can substantially enhance or attenuate EM; we find that both data-attribution scores and a black-box harmfulness score can identify consequential examples. All models we test become misaligned when trained on the same dataset, and influence scores perform best when filtering data from the same model that computed them. We find cross-model generalization of influence scores from scores derived from the three model families we tested, but this generalization does not recover same model filtering performance.
• Abstract（参考訳）: 狭義のミスアライメントタスクに関する微調整された大きな言語モデルは、トレーニング後のアライメントを解き放ち、新しいミスアライメント(emph{emergent misalignment} (EM)として知られる)を誘発することができる。 EMはペルソナのような表現と結び付けられており、微調整は有害または「悪」ペルソナを増幅することで損失を減らす可能性がある。 トレーニングデータのどの特性が、この効果を駆動しているかは定かではない。全ての有害な例が、ほぼ等しく、異なるモデルが同じ微調整の例によって等しく影響を受けるかどうかである。 本研究では,各有害例がEMにどの程度寄与するかを定量的に推定するために,トレーニングデータ属性を用いる。 我々は、再学習による帰属の質をベンチマークする -- 音響帰属スコアは、そのスコアのデータをフィルタリングすることによって、EMを強化するか、減衰させることができます。 スコアベースのフィルタリングはEMを大幅に強化または減衰させることができ、データ属性スコアとブラックボックス有害度スコアの両方が、連続した例を識別できる。 テストするすべてのモデルは、同じデータセットでトレーニングされた時に不一致となり、インフルエンススコアは、それらを計算した同じモデルからデータをフィルタリングするときに最もよく機能します。 テストした3つのモデルファミリーから得られたスコアからの影響スコアをクロスモデルで一般化するが、この一般化は同じモデルフィルタリング性能を回復しない。

関連論文リスト

• Emergent and Subliminal Misalignment Through the Lens of Data-Mediated Transfer [29.560861899637235]
  我々は、創発的ミスアライメントはデータ経由の転送現象として理解しやすいと論じる。 微調整と評価が類似した機能構造を共有すると,誤認識がより容易に現れることが判明した。 さらに、有害な教師が生み出す一見良質なデータを微調整することで、誤認識を伝達するサブリミナルラーニング(SL)についても検討する。
  論文  参考訳（メタデータ） (2026-05-12T22:27:32Z)
• In-the-Wild Model Organisms: Mitigating Undesirable Emergent Behaviors in Production LLM Post-Training via Data Attribution [1.518298096221251]
  本稿では,アクティベーションに基づくデータ属性を提案する。 我々は、特定の行動を引き起こすデータポイントを特定し、修正されたデータで再トレーニングすることで、これらの属性を因果的に検証する。 これをOLMo 2のプロダクションDPOトレーニングに適用すると、邪魔なコンプライアンスが表面化します。
  論文  参考訳（メタデータ） (2026-02-11T17:45:31Z)
• Nonparametric Data Attribution for Diffusion Models [57.820618036556084]
  生成モデルのデータ属性は、個々のトレーニング例がモデル出力に与える影響を定量化する。 生成画像とトレーニング画像のパッチレベルの類似性によって影響を測定する非パラメトリック属性法を提案する。
  論文  参考訳（メタデータ） (2025-10-16T03:37:16Z)
• CLIP the Bias: How Useful is Balancing Data in Multimodal Learning? [72.19502317793133]
  比較言語画像事前学習(CLIP)におけるバイアス軽減のためのデータバランスの有効性について検討する。 表現バイアスと相関バイアスの両方を低減するために,Multi-Modal Moment Matching (M4) と呼ばれる新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-03-07T14:43:17Z)
• Impact of Dataset Properties on Membership Inference Vulnerability of Deep Transfer Learning [9.366691198320261]
  メンバーシップ推論攻撃(MIA)は、機械学習モデルの実用的なプライバシをテストするために使用される。 固定された偽陽性率で攻撃者が有利である場合の非DPモデルの脆弱性は、単純な電力法則に従って減少することを示す。
  論文  参考訳（メタデータ） (2024-02-07T14:23:01Z)
• Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
  クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。 我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
  論文  参考訳（メタデータ） (2023-12-27T09:03:43Z)
• On the Exploitability of Instruction Tuning [103.8077787502381]
  そこで本研究では,モデルの動作を変えるための命令チューニングを,相手がどのように活用できるかを検討する。 自動データ中毒パイプラインである textitAutoPoison を提案する。 結果から、AutoPoisonは、少数のデータだけを中毒することで、敵がモデルの振る舞いを変えることを可能にする。
  論文  参考訳（メタデータ） (2023-06-28T17:54:04Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Undersmoothing Causal Estimators with Generative Trees [0.0]
  観察データから個別に治療効果を推定することで、標的となる介入の可能性を解き放つことができる。 しかし、観測データからこれらの効果を推測することは困難である。 本稿では,モデルの不特定に対処する新しい生成木に基づくアプローチについて検討する。
  論文  参考訳（メタデータ） (2022-03-16T11:59:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。