論文の概要: FastIF: Scalable Influence Functions for Efficient Model Interpretation and Debugging

• arxiv url: http://arxiv.org/abs/2012.15781v1
• Date: Thu, 31 Dec 2020 18:02:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-17 17:29:06.247680
• Title: FastIF: Scalable Influence Functions for Efficient Model Interpretation and Debugging
• Title（参考訳）: FastIF: 効率的なモデル解釈とデバッグのためのスケーラブルな影響関数
• Authors: Han Guo, Nazneen Fatema Rajani, Peter Hase, Mohit Bansal, Caiming Xiong
• Abstract要約: 影響関数は、テスト予測のためのトレーニングデータポイントの「影響」を近似する。 fastifは、実行時間を大幅に改善する関数に影響を与えるための、単純な修正セットです。 本実験はモデル解釈とモデル誤差の修正における影響関数の可能性を示す。
• 参考スコア（独自算出の注目度）: 112.19994766375231
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Influence functions approximate the 'influences' of training data-points for test predictions and have a wide variety of applications. Despite the popularity, their computational cost does not scale well with model and training data size. We present FastIF, a set of simple modifications to influence functions that significantly improves their run-time. We use k-Nearest Neighbors (kNN) to narrow the search space down to a subset of good candidate data points, identify the configurations that best balance the speed-quality trade-off in estimating the inverse Hessian-vector product, and introduce a fast parallel variant. Our proposed method achieves about 80x speedup while being highly correlated with the original influence values. With the availability of the fast influence functions, we demonstrate their usefulness in four applications. First, we examine whether influential data-points can 'explain' test time behavior using the framework of simulatability. Second, we visualize the influence interactions between training and test data-points. Third, we show that we can correct model errors by additional fine-tuning on certain influential data-points, improving the accuracy of a trained MNLI model by 2.6% on the HANS challenge set using a small number of gradient updates. Finally, we experiment with a data-augmentation setup where we use influence functions to search for new data-points unseen during training to improve model performance. Overall, our fast influence functions can be efficiently applied to large models and datasets, and our experiments demonstrate the potential of influence functions in model interpretation and correcting model errors. Code is available at https://github.com/salesforce/fast-influence-functions
• Abstract（参考訳）: 影響関数は、テスト予測のためのトレーニングデータポイントの「影響」を近似し、幅広い応用を持つ。 人気にもかかわらず、計算コストはモデルやトレーニングデータのサイズではうまくスケールしない。 fastifは、実行時間を大幅に改善する関数に影響を与えるための、単純な修正セットです。 我々はk-Nearest Neighbors (kNN) を用いて、検索空間を良い候補データポイントのサブセットに絞り込み、逆ヘッセンベクトル積を推定する際の速度品質トレードオフのバランスを最も良くする構成を特定し、高速な並列変種を導入する。 提案手法は,元の影響値と高い相関を保ちながら,約80倍の高速化を実現する。 高速影響関数が利用可能となると、4つのアプリケーションでそれらの有用性を示す。 まず、シミュレーション可能性の枠組みを用いて、影響のあるデータポイントがテスト時間の振る舞いを「説明」できるかどうかを検討する。 次に、トレーニングとテストデータポイント間の相互作用を可視化する。 第3に,特定のデータポイントを微調整することでモデル誤差を補正し,少数の勾配更新を用いたHANSチャレンジセットにおいて,トレーニング済みMNLIモデルの精度を2.6%向上できることを示す。 最後に,インフルエンス関数を用いて,トレーニング中の新たなデータポイントを探索し,モデル性能を向上させるデータ提供設定を実験する。 全体としては,高速な影響関数を大規模モデルやデータセットに適用し,モデル解釈やモデルの誤り訂正における影響関数の可能性を示す。 コードはhttps://github.com/salesforce/fast-influence-functionsで入手できる。

関連論文リスト

• Do Influence Functions Work on Large Language Models? [10.463762448166714]
  影響関数は、個々のトレーニングデータポイントがモデルの予測に与える影響を定量化することを目的としている。 我々は,複数のタスクにまたがる影響関数を評価し,ほとんどの設定において不整合なパフォーマンスを示す。
  論文  参考訳（メタデータ） (2024-09-30T06:50:18Z)
• Efficient Grammatical Error Correction Via Multi-Task Training and Optimized Training Schedule [55.08778142798106]
  原文と修正文のアライメントを利用する補助タスクを提案する。 我々は,各タスクをシーケンス・ツー・シーケンス問題として定式化し,マルチタスク・トレーニングを行う。 トレーニングに使用されるデータセットの順序や、データセット内の個々のインスタンスでさえ、最終的なパフォーマンスに重要な影響を与える可能性があることが分かりました。
  論文  参考訳（メタデータ） (2023-11-20T14:50:12Z)
• DataInf: Efficiently Estimating Data Influence in LoRA-tuned LLMs and Diffusion Models [31.65198592956842]
  本稿では,大規模生成AIモデルに有効な効率的な影響近似手法であるDataInfを提案する。 理論的解析により,DataInfはLoRAのようなパラメータ効率のよい微調整技術に特に適していることが示された。 RoBERTa-large、Llama-2-13B-chat、stable-diffusion-v1.5モデルへの適用において、DataInfは、他の近似影響スコアよりも、最も影響力のある微調整例を効果的に識別する。
  論文  参考訳（メタデータ） (2023-10-02T04:59:19Z)
• Stubborn Lexical Bias in Data and Models [50.79738900885665]
  我々は、データに基づいてトレーニングされたモデルに、データのスプリアスパターンが現れるかどうかを調べるために、新しい統計手法を用いる。 トレーニングデータに*reweight*に最適化アプローチを適用し、数千のスプリアス相関を低減します。 驚くべきことに、この方法ではトレーニングデータの語彙バイアスを低減できますが、トレーニングされたモデルで対応するバイアスの強い証拠がまだ見つかっていません。
  論文  参考訳（メタデータ） (2023-06-03T20:12:27Z)
• GIF: A General Graph Unlearning Strategy via Influence Function [63.52038638220563]
  Graph Influence Function (GIF)は、削除されたデータにおける$epsilon$-massの摂動に応答してパラメータの変化を効率的に正確に推定できる、モデルに依存しない未学習の手法である。 我々は,4つの代表的GNNモデルと3つのベンチマークデータセットについて広範な実験を行い,未学習の有効性,モデルの有用性,未学習効率の観点からGIFの優位性を正当化する。
  論文  参考訳（メタデータ） (2023-04-06T03:02:54Z)
• Characterizing the Influence of Graph Elements [24.241010101383505]
  グラフ畳み込みネットワーク(GCN)の影響関数は、入力グラフからトレーニングノード/エッジを除去する効果に光を当てることができる。 本研究では,SGCモデルの効果関数を用いて,トレーニングノードやエッジの除去がSGCのテスト性能に与える影響を,モデルの再学習を伴わずに評価できることを示した。
  論文  参考訳（メタデータ） (2022-10-14T01:04:28Z)
• If Influence Functions are the Answer, Then What is the Question? [7.873458431535409]
  影響関数は、モデルの学習パラメータに対する1つのトレーニングデータポイントの除去の効果を効率的に推定する。 影響推定は線形モデルの残余再トレーニングとよく一致しているが、最近の研究では、ニューラルネットワークではこのアライメントが不十分であることが示されている。
  論文  参考訳（メタデータ） (2022-09-12T16:17:43Z)
• Multi-Stage Influence Function [97.19210942277354]
  我々は、事前学習データまで遡って、微調整されたモデルから予測を追跡するための多段階影響関数スコアを開発する。 本研究は,2つのシナリオについて検討し,事前訓練した埋め込みを微調整タスクで固定または更新する。
  論文  参考訳（メタデータ） (2020-07-17T16:03:11Z)
• Influence Functions in Deep Learning Are Fragile [52.31375893260445]
  影響関数は、テスト時間予測におけるサンプルの効果を近似する。 影響評価は浅いネットワークでは かなり正確です ヘッセン正則化は、高品質な影響推定を得るために重要である。
  論文  参考訳（メタデータ） (2020-06-25T18:25:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。