論文の概要: Interaction-Aware Influence Functions for Group Attribution

• arxiv url: http://arxiv.org/abs/2605.15675v1
• Date: Fri, 15 May 2026 06:54:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-18 21:22:26.200026
• Title: Interaction-Aware Influence Functions for Group Attribution
• Title（参考訳）: グループ属性に対するインタラクション・アウェア影響関数
• Authors: Jaeseung Heo, Kyeongheung Yun, Youngbin Choi, Sehyun Hwang, Jungseul Ok, Dongwoo Kim,
• Abstract要約: 影響関数は、トレーニング例の除去が、目標関数と呼ばれる、ホールドアウト損失のような、関心の量を変化させる方法を近似する。 実例間の相互作用がターゲットに与える影響を特徴付ける対話型影響関数を提案する。
• 参考スコア（独自算出の注目度）: 26.126999503061345
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Influence functions approximate how removing a training example changes a quantity of interest, called the target function, such as a held-out loss. To estimate the influence of a group of examples, the standard practice is to sum the individual influences of its members. However, this sum does not capture how examples jointly affect the target: a pair of examples may be redundant or complementary, but the sum cannot distinguish these cases. We propose an interaction-aware influence function that characterizes how interactions between examples influence the target. By expanding the target to second order around the trained parameters, we obtain an estimator that augments the standard sum with a pairwise interaction term that captures the alignment between two examples' effects on the target. We empirically evaluate our estimator in two settings. First, on six dataset-model pairs spanning logistic regression, MLPs, and ResNet-9, our estimator tracks leave-group-out retraining substantially better than first-order influence across all settings. Second, when used as a greedy selection rule for instruction-tuning data on Llama-3.1-8B, it beats prior influence-based and representation-similarity baselines on five of seven downstream tasks, in a regime where standard influence-based selection underperforms random selection.
• Abstract（参考訳）: 影響関数は、トレーニング例の除去が、目標関数と呼ばれる、ホールドアウト損失のような、関心の量を変化させる方法を近似する。 サンプルのグループの影響を見積もるために、標準のプラクティスは、メンバーの個々の影響をまとめることである。 しかし、この和は、サンプルがターゲットにどのように共同で影響するかを捉えていない:一対の例は冗長あるいは相補的であるかもしれないが、この和はこれらのケースを区別することはできない。 実例間の相互作用がターゲットに与える影響を特徴付ける対話型影響関数を提案する。 トレーニングされたパラメータの周りでターゲットを2階に拡大することにより、標準和を2つの例の目標に対するアライメントをキャプチャする対の相互作用項で拡張する推定器を得る。 我々は2つの設定で推定器を実証的に評価した。 第一に、ロジスティック回帰、MLP、ResNet-9にまたがる6つのデータセットモデルペアにおいて、推定器は、すべての設定における一階の影響よりもかなり優れた離脱グループアウトリトレーニングを追跡する。 第2に、Llama-3.1-8Bの命令チューニングデータに対する欲求選択規則として使用されると、標準の影響に基づく選択がランダム選択を過小評価する体制において、7つの下流タスクのうち5つの影響ベースと表現類似性ベースラインを破る。

関連論文リスト

• Targeted Fine-Tuning of DNN-Based Receivers via Influence Functions [7.18961038438762]
  深層学習型無線受信機におけるインフルエンス関数の初利用について述べる。 その結果,有益なサンプルに対する2次クロスエントロピー損失と1次更新による損失相対的影響は,ジェニーアシスト性能に対するビット誤り率を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2025-09-19T13:01:30Z)
• Group-Level Data Selection for Efficient Pretraining [49.18903821780051]
  Group-MATESは、言語モデル事前訓練の速度品質フロンティアを最適化する効率的なグループレベルのデータ選択手法である。 Group-MATESは、リレーショナルデータの影響モデルを用いてコストの高いグループレベルの選択をパラメータ化する。
  論文  参考訳（メタデータ） (2025-02-20T16:34:46Z)
• InfFeed: Influence Functions as a Feedback to Improve the Performance of Subjective Tasks [10.124267937114611]
  本稿では、インフルエンサー関数を用いて、対象インスタンスのインフルエンサーインスタンスを計算するInfFeedを紹介する。 InfFeedは、ヘイトスピーチの分類で最大4%のマクロF1スコアのマージンで最先端のベースラインを上回っている。 また, ネガティブな影響を持つ拡張セット内のアノテートされた銀点のみを手動で再注釈することで, モデルの性能を大幅に向上させることができることを示す。
  論文  参考訳（メタデータ） (2024-02-22T16:59:09Z)
• If Influence Functions are the Answer, Then What is the Question? [7.873458431535409]
  影響関数は、モデルの学習パラメータに対する1つのトレーニングデータポイントの除去の効果を効率的に推定する。 影響推定は線形モデルの残余再トレーニングとよく一致しているが、最近の研究では、ニューラルネットワークではこのアライメントが不十分であることが示されている。
  論文  参考訳（メタデータ） (2022-09-12T16:17:43Z)
• Understanding Programmatic Weak Supervision via Source-aware Influence Function [76.74549130841383]
  Programmatic Weak Supervision (PWS)は、複数の弱い監督ソースのソース投票を確率的トレーニングラベルに集約する。 エンドモデルのトレーニング目標を分解し、各(データ、ソース、クラス)に関連する影響を計算するために、インフルエンス関数(IF)を構築します。 これらのプリミティブな影響スコアは、ソース投票、監督ソース、トレーニングデータなど、個々のコンポーネントPWSの影響を推定するために使用することができる。
  論文  参考訳（メタデータ） (2022-05-25T15:57:24Z)
• Rethinking InfoNCE: How Many Negative Samples Do You Need? [54.146208195806636]
  半定量的理論フレームワークを用いて, InfoNCE に最適化された負のサンプル数について検討した。 トレーニングの有効性関数を最大化する$K$値を用いて,最適負サンプリング比を推定する。
  論文  参考訳（メタデータ） (2021-05-27T08:38:29Z)
• Deconfounding Scores: Feature Representations for Causal Effect Estimation with Weak Overlap [140.98628848491146]
  推定対象の偏りを伴わずに高い重なりを生じさせる,デコンファウンディングスコアを導入する。 分離スコアは観測データで識別可能なゼロ共分散条件を満たすことを示す。 特に,この手法が標準正規化の魅力的な代替となることを示す。
  論文  参考訳（メタデータ） (2021-04-12T18:50:11Z)
• Understanding Adversarial Examples from the Mutual Influence of Images and Perturbations [83.60161052867534]
  クリーンな画像と敵の摂動を遠ざけることで敵の例を分析し,その相互への影響を分析した。 以上の結果から,画像と普遍摂動の関係に対する新たな視点が示唆された。 我々は、オリジナルトレーニングデータを活用することなく、目標とするユニバーサルアタックの挑戦的なタスクを最初に達成した人物です。
  論文  参考訳（メタデータ） (2020-07-13T05:00:09Z)
• RelatIF: Identifying Explanatory Training Examples via Relative Influence [13.87851325824883]
  インフルエンス関数を使用して、関連するトレーニング例を特定し、機械学習モデルの予測を"説明"することを望んでいます。 本稿では,グローバルな影響に制約を課す最適化目標を用いて,関連するトレーニング事例を選択するための新しい基準であるRelatIFを紹介する。 経験的評価では、RelatIFで返される例は影響関数を用いた例に比べて直感的であることが判明した。
  論文  参考訳（メタデータ） (2020-03-25T20:59:54Z)
• Improving Multi-Turn Response Selection Models with Complementary Last-Utterance Selection by Instance Weighting [84.9716460244444]
  我々は、データリソース自体の根底にある相関を利用して、異なる種類の監視信号を導出することを検討する。 2つの公開データセットで広範な実験を行い、両方のデータセットで大幅に改善した。
  論文  参考訳（メタデータ） (2020-02-18T06:29:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。