論文の概要: Can Data Attribution Filter Out Subliminal Learning? Not Reliably

• arxiv url: http://arxiv.org/abs/2609.20027v1
• Date: Thu, 17 Sep 2026 10:34:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.221326
• Title: Can Data Attribution Filter Out Subliminal Learning? Not Reliably
• Title（参考訳）: データ帰属フィルタはサブリミナルラーニングに有効か?
• Abstract要約: サブリミナル学習は、言語モデルがこれらの特徴に明確な意味的関係を持たずに、トレーニングデータを通じて行動特性を伝達することを可能にする。 トレーニングデータ属性は、あるモデルの振る舞いに責任を持つトレーニング例を特定し、それらのセマンティックな内容とは無関係に識別する、という代替手段を提供する。
• 参考スコア（独自算出の注目度）: 25.96523763840672
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Subliminal learning allows language models to transmit behavioral traits through training data with no obvious semantic relationship to those traits, undermining content-based data filtering as a safety intervention. Training data attribution offers an alternative: it identifies the training examples responsible for a given model behavior, independent of their semantic content, and so may apply in exactly the cases where semantic inspection fails. We evaluate three gradient-based attribution methods (GradCos, a contrastive GradCos variant, and EK-FAC) across three models, comparing them against divergence tokens, a strong baseline previously shown to localize subliminal learning (albeit one that requires access to counterfactual teacher models). Filtering at the token level, EK-FAC mitigates a significant part of the effect, the other methods provide little benefit, and all mostly fall short of divergence tokens. Filtering entire samples is less effective for every method, though EK-FAC often gives a stronger signal than divergence tokens in this setting. Success is inconsistent across methods and settings: variants that work well for some model-preference combinations fail for others, and we do not identify a consistent explanation for these differences. Our results suggest that gradient-based attribution can identify data responsible for subliminal learning in some settings, but that some approximations are more reliable than others.
• Abstract（参考訳）: サブリミナル学習により、言語モデルはこれらの特徴と明確な意味関係のないトレーニングデータを通じて行動特性を伝達することができ、安全性の介入としてコンテンツベースのデータフィルタリングを損なう。 トレーニングデータ属性は、与えられたモデルの振る舞いに責任を持つトレーニング例を特定し、セマンティックなコンテンツとは独立して、セマンティックなインスペクションが失敗するケースに当てはまる。 本研究では,3つのモデル間の勾配に基づく帰属法(GradCos, 対照的なGradCos変種, およびEK-FAC)を評価し, サブリミナル学習をローカライズする強力なベースラインである発散トークンと比較した。 トークンレベルでのフィルタリングでは、EK-FACは効果のかなりの部分を緩和し、他の方法ではほとんど利益が得られず、ほとんどは発散トークンに欠ける。 しかし、EK-FACは、この設定で発散トークンよりも強い信号を与えることが多い。 成功はメソッドや設定間で矛盾しない:いくつかのモデルと参照の組み合わせでうまく機能する変種は他では失敗し、これらの違いについて一貫した説明は見当たらない。 以上の結果から、勾配に基づく属性は、いくつかの設定においてサブリミナル学習に責任があるデータを識別できるが、いくつかの近似は、他の設定よりも信頼性が高いことが示唆された。

関連論文リスト

• Data filtering methods for training language models [0.12891210250935145]
  2つの自動ラベル誤り検出方法を比較する。 ノイズレベルが低い大きなコーパスでは、フィルタリングは性能を向上しない。 ノイズの多い小さなデータセットでは、Confident LearningがF1マクロの改善を実現している。
  論文  参考訳（メタデータ） (2026-05-28T11:52:59Z)
• Learning the Signature of Memorization in Autoregressive Language Models [3.6048665052465663]
  我々は,任意のコーパス上の任意のモデルを微調整することで,ラベル付きデータを無制限に生成する,最初のトランスファー可能な学習攻撃を導入する。 これにより、シャドーモデルボトルネックが取り除かれ、深層学習時代へのメンバシップ推論がもたらされる。
  論文  参考訳（メタデータ） (2026-04-03T17:17:51Z)
• Safe Semi-Supervised Contrastive Learning Using In-Distribution Data as Positive Examples [3.4546761246181696]
  本稿では,大量のラベルのないデータを完全に活用するための,自己教師付きコントラスト学習手法を提案する。 その結果,自己指導型コントラスト学習は分類精度を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-08-03T22:33:13Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Intra-class Adaptive Augmentation with Neighbor Correction for Deep Metric Learning [99.14132861655223]
  深層学習のためのクラス内適応拡張(IAA)フレームワークを提案する。 クラスごとのクラス内変動を合理的に推定し, 適応型合成試料を生成し, 硬質試料の採掘を支援する。 本手法は,検索性能の最先端手法を3%～6%向上させる。
  論文  参考訳（メタデータ） (2022-11-29T14:52:38Z)
• Similarity-based Label Inference Attack against Training and Inference of Split Learning [13.104547182351332]
  分割学習は、プライバシを保存する分散学習のための有望なパラダイムである。 本稿では、スマッシュデータを含む交換された中間結果が、既にプライベートラベルを明らかにすることができることを示す。 トレーニングと推論の両段階において,プライベートラベルを効率よく回収する3つのラベル推論攻撃を提案する。
  論文  参考訳（メタデータ） (2022-03-10T08:02:03Z)
• Agree to Disagree: Diversity through Disagreement for Better Transferability [54.308327969778155]
  本稿では,D-BAT(Diversity-By-dis-Agreement Training)を提案する。 我々は、D-BATが一般化された相違の概念から自然に現れることを示す。
  論文  参考訳（メタデータ） (2022-02-09T12:03:02Z)
• Mitigating Generation Shifts for Generalized Zero-Shot Learning [52.98182124310114]
  一般化ゼロショット学習(英: Generalized Zero-Shot Learning、GZSL)は、学習中に見知らぬクラスが観察できない、見つからないサンプルを認識するために意味情報(属性など)を活用するタスクである。 本稿では,未知のデータ合成を効率よく,効率的に学習するための新しい生成シフト緩和フローフレームワークを提案する。 実験結果から,GSMFlowは従来のゼロショット設定と一般化されたゼロショット設定の両方において,最先端の認識性能を実現することが示された。
  論文  参考訳（メタデータ） (2021-07-07T11:43:59Z)
• An Empirical Comparison of Instance Attribution Methods for NLP [62.63504976810927]
  本研究は,トレーニングサンプルの重要性に関して,異なるインスタンス属性が一致した度合いを評価する。 単純な検索メソッドは、グラデーションベースの方法によって識別されたものと異なるトレーニングインスタンスを生成する。
  論文  参考訳（メタデータ） (2021-04-09T01:03:17Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。