論文の概要: Helpful or Harmful Data? Fine-tuning-free Shapley Attribution for Explaining Language Model Predictions

• arxiv url: http://arxiv.org/abs/2406.04606v1
• Date: Fri, 7 Jun 2024 03:29:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-10 15:39:08.300144
• Title: Helpful or Harmful Data? Fine-tuning-free Shapley Attribution for Explaining Language Model Predictions
• Title（参考訳）: ヘルプ・ハーム・データ : 言語モデル予測のための微調整不要なシェープ・アトリビューション
• Authors: Jingtan Wang, Xiaoqiang Lin, Rui Qiao, Chuan-Sheng Foo, Bryan Kian Hsiang Low,
• Abstract要約: 実例スコアの符号にロバスト性の概念を提案する。 本稿では,例えば,Shapley値の高精度な微調整自由近似を導入する。
• 参考スコア（独自算出の注目度）: 38.87540833773233
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The increasing complexity of foundational models underscores the necessity for explainability, particularly for fine-tuning, the most widely used training method for adapting models to downstream tasks. Instance attribution, one type of explanation, attributes the model prediction to each training example by an instance score. However, the robustness of instance scores, specifically towards dataset resampling, has been overlooked. To bridge this gap, we propose a notion of robustness on the sign of the instance score. We theoretically and empirically demonstrate that the popular leave-one-out-based methods lack robustness, while the Shapley value behaves significantly better, but at a higher computational cost. Accordingly, we introduce an efficient fine-tuning-free approximation of the Shapley value (FreeShap) for instance attribution based on the neural tangent kernel. We empirically demonstrate that FreeShap outperforms other methods for instance attribution and other data-centric applications such as data removal, data selection, and wrong label detection, and further generalize our scale to large language models (LLMs). Our code is available at https://github.com/JTWang2000/FreeShap.
• Abstract（参考訳）: 基礎モデルの複雑さの増大は、特に微調整において、下流タスクにモデルを適用するために最も広く使用される訓練方法である説明可能性の必要性を浮き彫りにする。 1つのタイプの説明であるインスタンス属性は、モデル予測をインスタンススコアによって各トレーニング例に属性付ける。 しかし、特にデータセットの再サンプリングに向けたインスタンススコアの堅牢性は見過ごされている。 このギャップを埋めるために、インスタンススコアの符号にロバスト性の概念を提案する。 理論的および実証的に、一般的なout-out-out-basedメソッドは堅牢性に欠けるが、Shapley値はより良く振る舞うが、より計算コストが高い。 そこで我々は,ニューラルネットワークカーネルをベースとしたShapley値(FreeShap)の効率的な微調整自由近似を導入する。 我々は、FreeShapがデータ削除、データ選択、ラベル検出などのデータ中心アプリケーションなど、他の手法よりも優れていることを実証的に証明し、我々のスケールを大規模言語モデル(LLM)に一般化する。 私たちのコードはhttps://github.com/JTWang2000/FreeShapで利用可能です。

関連論文リスト

• Data Shapley in One Training Run [88.59484417202454]
  Data Shapleyは、機械学習コンテキストにおけるデータのコントリビューションに寄与するための、原則化されたフレームワークを提供する。 既存のアプローチでは、計算集約的な異なるデータサブセット上の再学習モデルが必要である。 本稿では、対象とするデータモデルに対するスケーラブルなデータ属性を提供することにより、これらの制限に対処するIn-Run Data Shapleyを紹介する。
  論文  参考訳（メタデータ） (2024-06-16T17:09:24Z)
• Accelerated Shapley Value Approximation for Data Evaluation [3.707457963532597]
  機械学習問題の構造的特性を活用することにより,データポイントのシェープ値をより効率的に近似できることを示す。 我々の分析は、データバリュエーションの文脈において、小さなサブセットで訓練されたモデルはより重要であることを示唆している。
  論文  参考訳（メタデータ） (2023-11-09T13:15:36Z)
• An Efficient Shapley Value Computation for the Naive Bayes Classifier [0.0]
  本稿では, 単純ベイズ分類器の場合のShapley値の正確な解析式を提案する。 以上の結果から,本提案はアルゴリズムの複雑さを低く抑えた有意な結果をもたらすことが示唆された。
  論文  参考訳（メタデータ） (2023-07-31T14:39:10Z)
• Efficient Shapley Values Estimation by Amortization for Text Classification [66.7725354593271]
  我々は,各入力特徴のシェープ値を直接予測し,追加のモデル評価を行なわずに補正モデルを開発する。 2つのテキスト分類データセットの実験結果から、アモルタイズされたモデルでは、Shapley Valuesを最大60倍のスピードアップで正確に見積もっている。
  論文  参考訳（メタデータ） (2023-05-31T16:19:13Z)
• Robust Outlier Rejection for 3D Registration with Variational Bayes [70.98659381852787]
  我々は、ロバストアライメントのための新しい変分非局所ネットワークベース外乱除去フレームワークを開発した。 そこで本稿では, 投票に基づく不整合探索手法を提案し, 変換推定のための高品質な仮説的不整合をクラスタリングする。
  論文  参考訳（メタデータ） (2023-04-04T03:48:56Z)
• Beta Shapley: a Unified and Noise-reduced Data Valuation Framework for Machine Learning [13.66570363867102]
  データ共有の相当な一般化であるBeta Shapleyを提案する。 Beta Shapleyは、いくつかの一般的なデータバリュエーションメソッドを統合し、特別なケースとしてデータShapleyを含んでいる。 Beta Shapleyは、いくつかの下流MLタスクにおいて最先端のデータアセスメント手法より優れていることを示す。
  論文  参考訳（メタデータ） (2021-10-26T22:03:55Z)
• An Empirical Comparison of Instance Attribution Methods for NLP [62.63504976810927]
  本研究は,トレーニングサンプルの重要性に関して,異なるインスタンス属性が一致した度合いを評価する。 単純な検索メソッドは、グラデーションベースの方法によって識別されたものと異なるトレーニングインスタンスを生成する。
  論文  参考訳（メタデータ） (2021-04-09T01:03:17Z)
• Causal Shapley Values: Exploiting Causal Knowledge to Explain Individual Predictions of Complex Models [6.423239719448169]
  シェープ値は、モデルの予測と平均ベースラインの差をモデルへの入力として使用する異なる特徴に関連付けるように設計されている。 これらの「因果」シャプリー値が、それらの望ましい性質を犠牲にすることなく、一般因果グラフに対してどのように導出できるかを示す。
  論文  参考訳（メタデータ） (2020-11-03T11:11:36Z)
• Robust and On-the-fly Dataset Denoising for Image Classification [72.10311040730815]
  On-the-fly Data Denoising (ODD)は、間違ったラベルの例に対して堅牢だが、通常のトレーニングと比べて計算オーバーヘッドはほぼゼロである。 ODDはWebVisionやClothing1Mといった現実世界のデータセットを含む、幅広いデータセットで最先端の結果を達成することができる。
  論文  参考訳（メタデータ） (2020-03-24T03:59:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。