論文の概要: First is Better Than Last for Language Data Influence

• arxiv url: http://arxiv.org/abs/2202.11844v3
• Date: Thu, 27 Oct 2022 16:22:15 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-19 15:10:30.733155
• Title: First is Better Than Last for Language Data Influence
• Title（参考訳）: 第一は、言語データの影響で最後より良い
• Authors: Chih-Kuan Yeh, Ankur Taly, Mukund Sundararajan, Frederick Liu, Pradeep Ravikumar
• Abstract要約: 我々は、TracIn-WEが、最終層に適用される他のデータ影響手法を著しく上回っていることを示す。 また、TracIn-WEは、トレーニング入力全体のレベルだけでなく、トレーニング入力内の単語のレベルでもスコアを生成できることを示す。
• 参考スコア（独自算出の注目度）: 44.907420330002815
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The ability to identify influential training examples enables us to debug training data and explain model behavior. Existing techniques to do so are based on the flow of training data influence through the model parameters. For large models in NLP applications, it is often computationally infeasible to study this flow through all model parameters, therefore techniques usually pick the last layer of weights. However, we observe that since the activation connected to the last layer of weights contains "shared logic", the data influenced calculated via the last layer weights prone to a ``cancellation effect'', where the data influence of different examples have large magnitude that contradicts each other. The cancellation effect lowers the discriminative power of the influence score, and deleting influential examples according to this measure often does not change the model's behavior by much. To mitigate this, we propose a technique called TracIn-WE that modifies a method called TracIn to operate on the word embedding layer instead of the last layer, where the cancellation effect is less severe. One potential concern is that influence based on the word embedding layer may not encode sufficient high level information. However, we find that gradients (unlike embeddings) do not suffer from this, possibly because they chain through higher layers. We show that TracIn-WE significantly outperforms other data influence methods applied on the last layer significantly on the case deletion evaluation on three language classification tasks for different models. In addition, TracIn-WE can produce scores not just at the level of the overall training input, but also at the level of words within the training input, a further aid in debugging.
• Abstract（参考訳）: 影響力のあるトレーニング例を識別することで、トレーニングデータのデバッグとモデルの振る舞い説明が可能になります。 そのための既存のテクニックは、モデルパラメータを通じたトレーニングデータの影響の流れに基づいています。 NLPアプリケーションにおける大規模モデルの場合、このフローを全てのモデルパラメータを通して研究することは、しばしば計算不可能である。 しかし、重みの最後の層に繋がる活性化には「共有論理」が含まれているため、前層の重みによって計算されたデータは「キャンセル効果」の傾向がみられ、異なる例のデータの影響は互いに矛盾するほど大きい。 キャンセル効果は影響スコアの判別力を低下させ、この尺度に従って影響のある例を削除することは、しばしばモデルの振る舞いを大きく変えることはない。 そこで本研究では,TracIn-WEと呼ばれる手法を提案する。この手法は,単語の埋め込み層を最終層ではなく操作するためにTracInと呼ばれる手法を改良し,キャンセル効果を小さくする。 潜在的な懸念の1つは、単語埋め込み層に基づく影響が十分な高レベル情報をエンコードしない可能性があることである。 しかし、勾配(埋め込みとは異なり)は、おそらくより高い層をチェーンするので、この問題に苦しむことはない。 また,TracIn-WEは,各モデルに対する3つの言語分類タスクのケース削除評価において,最終層に適用される他のデータ影響手法よりも有意に優れていることを示す。 さらに、tracin-weは、全体的なトレーニング入力のレベルだけでなく、トレーニング入力内の単語のレベルでもスコアを作成でき、デバッグの助けとなる。

関連論文リスト

• Scalable Influence and Fact Tracing for Large Language Model Pretraining [14.598556308631018]
  トレーニングデータ属性(TDA)メソッドは、特定のトレーニング例にモデル出力を振り返ることを目的としている。 本稿では,既存の勾配法を改良し,大規模に効果的に機能させる。
  論文  参考訳（メタデータ） (2024-10-22T20:39:21Z)
• Unlearning Traces the Influential Training Data of Language Models [31.33791825286853]
  アンラーニングは、トレーニングデータセットがモデルの性能に与える影響をトレースする。 よりスケーラブルなアプローチであるUnTrac-Invを提案し、テストデータセットを解放し、トレーニングデータセットの未学習モデルを評価する。
  論文  参考訳（メタデータ） (2024-01-26T23:17:31Z)
• Understanding and Mitigating the Label Noise in Pre-training on Downstream Tasks [91.15120211190519]
  本稿では、事前学習データセットにおけるノイズの性質を理解し、下流タスクへの影響を軽減することを目的とする。 雑音の悪影響を軽減するために特徴空間に適応する軽量ブラックボックスチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2023-09-29T06:18:15Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• Inf-CP: A Reliable Channel Pruning based on Channel Influence [4.692400531340393]
  チャネルプルーニングの最も効果的な方法の1つは、各ニューロンの重要性に基づいてトリムを行うことである。 従来の研究は、単一層または複数の連続するニューロンの統計を考慮し、トリムすることを提案した。 我々は、アンサンブル学習を用いて、異なるデータバッチのモデルをトレーニングすることを提案する。
  論文  参考訳（メタデータ） (2021-12-05T09:30:43Z)
• Hard-label Manifolds: Unexpected Advantages of Query Efficiency for Finding On-manifold Adversarial Examples [67.23103682776049]
  画像分類モデルに対する最近のゼロオーダーのハードラベル攻撃は、ファーストオーダーのグラデーションレベルの代替品に匹敵する性能を示している。 最近、グラデーションレベルの設定では、通常の敵対的な例がデータ多様体から離れ、オンマニホールドの例が実際には一般化エラーであることが示されている。 雑音の多い多様体距離オラクルに基づく情報理論論的議論を提案し、敵の勾配推定を通じて多様体情報を漏洩させる。
  論文  参考訳（メタデータ） (2021-03-04T20:53:06Z)
• FastIF: Scalable Influence Functions for Efficient Model Interpretation and Debugging [112.19994766375231]
  影響関数は、テスト予測のためのトレーニングデータポイントの「影響」を近似する。 fastifは、実行時間を大幅に改善する関数に影響を与えるための、単純な修正セットです。 本実験はモデル解釈とモデル誤差の修正における影響関数の可能性を示す。
  論文  参考訳（メタデータ） (2020-12-31T18:02:34Z)
• Explaining Neural Matrix Factorization with Gradient Rollback [22.33402175974514]
  グラデーション・ロールバックは インフルエンス・アセスメントの一般的なアプローチです トレーニング時間とテスト時間の両方において,勾配ロールバックが非常に効率的であることを示す。 グラデーションロールバックは、知識ベース補完と推奨データセットの忠実な説明を提供する。
  論文  参考訳（メタデータ） (2020-10-12T08:15:54Z)
• Not All Unlabeled Data are Equal: Learning to Weight Data in Semi-supervised Learning [135.89676456312247]
  ラベル付けされていないすべての例に対して、異なるウェイトを使用する方法を示します。 影響関数に基づいたアルゴリズムを用いて重み付けを調整する。 本手法は,半教師付き画像および言語分類タスクにおける最先端手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2020-07-02T17:59:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。