論文の概要: Form Over Content In Gradient-Based Data Attribution Methods

• arxiv url: http://arxiv.org/abs/2609.19589v1
• Date: Thu, 17 Sep 2026 02:15:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:54.068891
• Title: Form Over Content In Gradient-Based Data Attribution Methods
• Title（参考訳）: グラディエント型データ属性法におけるコンテントの形式化
• Abstract要約: 勾配に基づく属性法は,タスクのセマンティクスよりも形式的類似性を追跡する。 本研究では,解答形式とタスクが独立に異なるデータに対して,勾配に基づく帰属法を検証すべきであることを示す。
• 参考スコア（独自算出の注目度）: 39.73116339463126
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Data attribution methods using gradient similarity are widely used to analyze and select training data for large language models, but what gradient similarity actually measures is debated. Some interpret it as identifying task-relevant skills, while other work reports that surface form is the main factor. We resolve this debate for supervised fine-tuning examples by varying task and answer format independently. Specifically, we render benchmarks in different answer formats, such that datasets can share a task without a format or a format without a task. We find that gradient alignment follows the answer format, as benchmark pairs sharing an answer format align strongly (disattenuated cosine near 0.4), while same benchmarks rendered with different answer format classes show no alignment (near 0.0). We demonstrate that this ordering holds from the earliest pretraining checkpoints through post-training, and across model scales and families. We then analyze the released selections of LESS, a gradient-based data selection method for instruction tuning, and find that each target's selections over-represent the target's own answer format. Hence, we demonstrate that gradient-based attribution methods track format similarity more than task semantics, meaning that such methods, as well as the semantic interpretation of the gradient, should be tested on data where answer format and task vary independently for greater robustness and reliability.
• Abstract（参考訳）: 勾配類似度を用いたデータ帰属法は、大規模言語モデルの学習データの解析と選択に広く用いられているが、勾配類似度が実際に何を測るかは議論されている。 タスク関連スキルを識別するものとして解釈する者もいれば、表面形状が主な要因であると報告する者もいる。 本稿では,教師付き微調整事例に対して,タスクと回答の形式を独立して行うことで,この議論を解決する。 具体的には、データセットがタスクのないフォーマットやフォーマットなしでタスクを共有できるように、さまざまな回答フォーマットでベンチマークをレンダリングします。 解答形式を共有するベンチマークペアが強く整合している(0.4付近で不飽和なコサイン)のに対し、異なる解答形式クラスでレンダリングされた同じベンチマークは整合性がない(0.0付近)。 この順序付けは、訓練後チェックポイントからモデルスケールや家族まで、最も早い段階から成り立っていることを実証する。 次に、命令チューニングのための勾配に基づくデータ選択手法であるLESSの解放された選択を分析し、各ターゲットの選択がターゲット自身の回答形式を過剰に表現していることを確認する。 したがって、勾配に基づく帰属法は、タスク意味論よりも形式的類似性を追跡することが示され、従属形式とタスクがより堅牢で信頼性の高いデータに対して、勾配の意味論的解釈と同様に、そのような手法をテストすべきである。

関連論文リスト

• Learning to Weight Parameters for Training Data Attribution [62.830878652285406]
  本稿では,アノテートラベルを必要とせず,パラメータ重み付けをデータから直接明示的に学習する手法を提案する。 提案手法は,画像分類,言語モデリング,拡散など多種多様なタスクに対する帰属精度を向上し,主題やスタイルといった概念に対する微粒な帰属を可能にする。
  論文  参考訳（メタデータ） (2025-06-06T00:32:04Z)
• Uniform Discretized Integrated Gradients: An effective attribution based method for explaining large language models [0.0]
  統合グラディエンス(Integrated Gradients)は、ディープラーニングモデルを説明するテクニックとしてよく知られている。 本稿では,UDIG(Uniform Discretized Integrated Gradients)と呼ばれる手法を提案する。 本手法は,2種類のNLPタスクに対して,3つのメトリクスビズログオッズ,包括性,十分性に対する感性分類と質問応答について検討した。
  論文  参考訳（メタデータ） (2024-12-05T05:39:03Z)
• Global-to-Local Support Spectrums for Language Model Explainability [32.93685486241694]
  本稿では,サポートスペクトルの形で説明を生成する手法を提案する。 サポートセットは、予測されたクラスのトレーニングポイントのセットであり、他のクラスのテストポイントとトレーニングポイントの間にある。 既存のメソッドをグローバルおよびローカルなコンポーネントに分離することで、グローバルからローカルへの重要度を測定する。
  論文  参考訳（メタデータ） (2024-08-12T08:05:30Z)
• From colouring-in to pointillism: revisiting semantic segmentation supervision [48.637031591058175]
  本稿では,意味的セグメンテーションアノテーションに対するポジリスト的アプローチを提案する。 Open Imagesデータセットで4,171のクラスに2260万のポイントラベルを収集してリリースしました。
  論文  参考訳（メタデータ） (2022-10-25T16:42:03Z)
• Self-Adaptive Label Augmentation for Semi-supervised Few-shot Classification [121.63992191386502]
  Few-shotの分類は、ラベル付きサンプルがわずかにあれば、新しいタスクをうまく一般化できるモデルを学ぶことを目的としている。 そこで本研究では,手動で定義した指標を用いて,ラベルのない各サンプルに適切なラベルを割り当てる半教師付き小ショット分類手法を提案する。 SALAの目新しいところは、タスク適応計量であり、エンドツーエンドの方法で異なるタスクに対するメトリックを適応的に学習することができる。
  論文  参考訳（メタデータ） (2022-06-16T13:14:03Z)
• Graph Sampling Based Deep Metric Learning for Generalizable Person Re-Identification [114.56752624945142]
  我々は、最も一般的なランダムサンプリング手法である有名なpkサンプリングは、深層メトリック学習にとって有益で効率的ではないと主張する。 大規模計量学習のためのグラフサンプリング(GS)と呼ばれる効率的なミニバッチサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2021-04-04T06:44:15Z)
• Adaptive Task Sampling for Meta-Learning [79.61146834134459]
  数ショットの分類のためのメタラーニングの鍵となるアイデアは、テスト時に直面した数ショットの状況を模倣することである。 一般化性能を向上させるための適応型タスクサンプリング手法を提案する。
  論文  参考訳（メタデータ） (2020-07-17T03:15:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。