論文の概要: From Reweighting to Rewriting: Unlocking the Intervention Effects of Influential Samples in Training Data Attribution
- arxiv url: http://arxiv.org/abs/2609.02771v1
- Date: Wed, 02 Sep 2026 16:07:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-03 17:53:18.46272
- Title: From Reweighting to Rewriting: Unlocking the Intervention Effects of Influential Samples in Training Data Attribution
- Title（参考訳）: リライトからリライトへ:学習データ属性におけるインフルエンシャルサンプルの介入効果を解き放つ
- Abstract要約: トレーニングデータ属性は、モデルの振る舞いを形作るトレーニング例を特定することを目的としている。
その介入値は、どの例が選択され、どのように修正されるかによって異なります。
- 参考スコア（独自算出の注目度）: 31.17710939532687
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training data attribution (TDA) aims to identify training examples that shape model behavior, but its intervention value depends on both which examples are selected and how they are modified. Influence functions (IF) estimate behavioral changes under infinitesimal reweighting, yet IF-selected examples often show limited advantages over random selection under conventional weight-based interventions. This raises the question of whether influential examples lack intervention value or whether reweighting fails to realize their behavioral leverage.We introduce influence-guided response rewriting, which uses IF to identify intervention targets and replaces their responses with behavior-aligned or behavior-opposed supervision while keeping instructions fixed. Across four open-weight LLMs, we compare rewriting and reweighting on the same influence-selected examples using epistemic abstention as our primary testbed. Response rewriting produces stronger, more persistent, and bidirectional behavioral shifts, while reweighting the same examples yields weak and inconsistent effects. Further analyses show that influence-selected examples provide greater rewriting leverage than alternative selectors, with changes remaining concentrated on target-relevant behaviors. The same qualitative contrast extends to safety refusal. These results distinguish the local reweighting effects captured by influence estimates from the broader intervention leverage of the examples they identify, motivating intervention-aware evaluation of TDA methods.
- Abstract（参考訳）: トレーニングデータ属性(TDA)は、モデルの振る舞いを形作るトレーニング例を特定することを目的としているが、その介入値は、どのサンプルが選択され、どのように修正されるかによって異なる。
影響関数(IF)は、無限小再重み付けの下での行動変化を推定するが、IF選択された例は、従来の重み付けによる介入によるランダム選択よりも限られた利点を示すことが多い。
このことは、影響力のある事例が介入価値を欠いているか、あるいはリウェイトが彼らの行動レバレッジを実現するのに失敗しているかという疑問を提起する。
本研究は,4つのオープンウェイトLDMにおいて,第1テストベッドとしててんかん性膿瘍を用いた影響選択例の書き換えと再重み付けを比較した。
反応の書き直しはより強く、より永続的で、双方向の振舞いの変化をもたらすが、同じ例を重み付けすると弱く一貫性のない効果をもたらす。
さらに分析したところ、影響選択された例は代替セレクタよりも高い書き換えレバレッジを示し、変化はターゲット関連行動に集中している。
同じ質的なコントラストは、安全性の拒絶にまで及ぶ。
これらの結果から, 影響評価によって得られた局所的再重み付け効果と, それらが同定した事例のより広範な介入レバレッジとを区別し, TDA手法の介入意識評価を動機づける。
関連論文リスト
- The Illusion of Intervention: Your LLM-Simulated Experiment is an Observational Study [56.649987197786096]
大規模言語モデル(LLM)は人間の行動のシミュレータとしての可能性を示している。
LLMは潜在ユーザ属性の意図しないシフトを誘発し、ユーザのドリフトを引き起こす。
ユーザのドリフトによって生じる不確実性や選択バイアスを形式化する。
論文 参考訳（メタデータ） (2026-05-20T06:09:41Z) - Attention Hijacking: Response Manipulation Across Queries in Vision-Language Models [57.870323273127234]
本研究の目的は,画像の持続的支配パターンに対して内的注意を喚起する新たな敵攻撃であるtextbfAttention Hijacking を提案することである。
提案手法は,クエリの特定の単語に対する操作された出力の依存性を低減する。
論文 参考訳（メタデータ） (2026-05-17T08:02:27Z) - Interaction-Aware Influence Functions for Group Attribution [26.126999503061345]
影響関数は、トレーニング例の除去が、目標関数と呼ばれる、ホールドアウト損失のような、関心の量を変化させる方法を近似する。
実例間の相互作用がターゲットに与える影響を特徴付ける対話型影響関数を提案する。
論文 参考訳（メタデータ） (2026-05-15T06:54:15Z) - ConfoundingSHAP: Quantifying confounding strength in causal inference [70.18600230387723]
因果推論では、共同設立者は治療の決定と結果の両方に影響を与える変数である。
本稿では,各共変量に共起強度を寄与させるShapleyベースの手法であるConfoundingSHAPを紹介する。
様々なデータセットにまたがる実践的価値を実証する。
論文 参考訳（メタデータ） (2026-05-11T13:19:33Z) - Unifying Perplexing Behaviors in Modified BP Attributions through Alignment Perspective [61.5509267439999]
GBP, RectGrad, LRP, DTD などの手法の統一理論フレームワークを提案する。
活性化ニューロンの重みを結合して入力アライメントを実現することを実証した。
このアライメントにより、可視化品質が向上し、重量ランダム化に対する感度が低下する。
論文 参考訳（メタデータ） (2025-03-14T07:58:26Z) - Indiscriminate Disruption of Conditional Inference on Multivariate Gaussians [60.22542847840578]
敵対的機械学習の進歩にもかかわらず、敵対者の存在下でのガウスモデルに対する推論は特に過小評価されている。
我々は,意思決定者の条件推論とその後の行動の妨害を希望する自己関心のある攻撃者について,一組の明らかな変数を乱すことで検討する。
検出を避けるため、攻撃者は、破損した証拠の密度によって可否が決定される場合に、攻撃が可否を示すことを望んでいる。
論文 参考訳（メタデータ） (2024-11-21T17:46:55Z) - Explaining Knock-on Effects of Bias Mitigation [13.46387356280467]
機械学習システムでは、バイアス緩和アプローチは特権と特権のないグループ間で成果をより公平にすることを目的としている。
本稿では,緩和介入を適用した場合のコホートの影響を特徴付けることを目的とする。
モデルライフサイクルの様々な段階で機能するバイアス緩和戦略について検討する。
検討の結果,全ての緩和策が非自明な事例,すなわち緩和努力のみでは望ましくない結果に悪影響を及ぼすことが明らかとなった。
論文 参考訳（メタデータ） (2023-12-01T18:40:37Z) - Causal Inference from Text: Unveiling Interactions between Variables [20.677407402398405]
既存の方法は、治療と結果の両方に影響を及ぼす共変量しか説明できない。
このバイアスは、衝突しない共変量について十分に考慮されていないことから生じる。
本研究では,変数間の相互作用を明らかにすることにより,バイアスを軽減することを目的とする。
論文 参考訳（メタデータ） (2023-11-09T11:29:44Z) - Causal Ordering Without Effect Estimation: A Framework for Using Proxies in Treatment Prioritization [3.0509197593879844]
予測プロキシを推論する決定中心のフレームワークを開発する。
プロキシが処理効果の優越的なモデレーターを反映した場合に保持する正しい効果順序をプロキシが回復する条件を同定する。
これらの条件が、個別選択設定において有用な近似としてどのように現れるかを示し、介入なしに行動する確率が説得を緩やかにすることを示す。
論文 参考訳（メタデータ） (2022-06-25T02:15:22Z) - Revisiting Methods for Finding Influential Examples [2.094022863940315]
テスト時間決定に有効なトレーニング例を見つける方法が提案されている。
本稿では,これらの手法がすべて不安定であることを示す。
本稿では, 毒素攻撃を検知する能力によって, このような説明を評価することを提案する。
論文 参考訳（メタデータ） (2021-11-08T18:00:06Z) - Deconfounding Scores: Feature Representations for Causal Effect
Estimation with Weak Overlap [140.98628848491146]
推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。
分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。
特に,この手法が標準正規化の魅力的な代替となることを示す。
論文 参考訳（メタデータ） (2021-04-12T18:50:11Z) - RelatIF: Identifying Explanatory Training Examples via Relative
Influence [13.87851325824883]
インフルエンス関数を使用して、関連するトレーニング例を特定し、機械学習モデルの予測を"説明"することを望んでいます。
本稿では,グローバルな影響に制約を課す最適化目標を用いて,関連するトレーニング事例を選択するための新しい基準であるRelatIFを紹介する。
経験的評価では、RelatIFで返される例は影響関数を用いた例に比べて直感的であることが判明した。
論文 参考訳（メタデータ） (2020-03-25T20:59:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。