論文の概要: Deeper Understanding of Black-box Predictions via Generalized Influence Functions

• arxiv url: http://arxiv.org/abs/2312.05586v2
• Date: Mon, 6 May 2024 07:38:21 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-08 00:15:17.455928
• Title: Deeper Understanding of Black-box Predictions via Generalized Influence Functions
• Title（参考訳）: 一般化影響関数によるブラックボックス予測のより深い理解
• Authors: Hyeonsu Lyu, Jonggyu Jang, Sehyun Ryu, Hyun Jong Yang,
• Abstract要約: 影響関数(IF)は、データがどのようにモデルを変更するかを明らかにする。 大規模モデルにおけるサイズと非解釈性の増加はIFを不正確なものにしている。 固定パラメータに対するニュアンス勾配変化を無効化しながら、ターゲットパラメータの影響を正確に推定する一般化IFを導入する。
• 参考スコア（独自算出の注目度）: 6.649753747542211
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Influence functions (IFs) elucidate how training data changes model behavior. However, the increasing size and non-convexity in large-scale models make IFs inaccurate. We suspect that the fragility comes from the first-order approximation which may cause nuisance changes in parameters irrelevant to the examined data. However, simply computing influence from the chosen parameters can be misleading, as it fails to nullify the hidden effects of unselected parameters on the analyzed data. Thus, our approach introduces generalized IFs, precisely estimating target parameters' influence while nullifying nuisance gradient changes on fixed parameters. We identify target update parameters closely associated with the input data by the output- and gradient-based parameter selection methods. We verify the generalized IFs with various alternatives of IFs on the class removal and label change tasks. The experiments align with the "less is more" philosophy, demonstrating that updating only 5\% of the model produces more accurate results than other influence functions across all tasks. We believe our proposal works as a foundational tool for optimizing models, conducting data analysis, and enhancing AI interpretability beyond the limitation of IFs. Codes are available at https://github.com/hslyu/GIF.
• Abstract（参考訳）: 影響関数(IF)は、トレーニングデータがどのようにモデルの振る舞いを変えるかを解明する。 しかし、大規模モデルにおける大きさと非凸性の増加はIFを不正確なものにしている。 この不安定性は、検査データに関係のないパラメータのニュアンス変化を引き起こす可能性のある1次近似から生じるものと考えられる。 しかし、単に選択されたパラメータからの影響を計算すれば、分析されたデータに対する未選択パラメータの隠れた影響を無効化できないため、誤解を招く可能性がある。 そこで本研究では,固定パラメータに対するニュアンス勾配変化を無効化しながら,対象パラメータの影響を正確に推定する一般化IFを導入する。 出力および勾配に基づくパラメータ選択法により、入力データと密接に関連するターゲット更新パラメータを同定する。 クラス削除およびラベル変更タスクにおけるIFの代替として,一般化されたIFを検証した。 実験は、モデルの5倍の更新しかすべてのタスクにまたがる他の影響関数よりも正確な結果が得られないことを示しながら、"less is more"の哲学と一致している。 我々の提案は、モデル最適化、データ分析の実行、IFの制限を超えてAIの解釈可能性の向上のための基礎的なツールとして機能すると考えている。 コードはhttps://github.com/hslyu/GIFで入手できる。

関連論文リスト

• Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
  拡散モデルは、生成的モデリングに大きな進歩をもたらした。 しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。 本稿では,テキスト・インフルエンス・ファンクション・フレームワークを開発することにより,このような課題に対処することを目的とする。
  論文  参考訳（メタデータ） (2024-10-17T17:59:02Z)
• DataInf: Efficiently Estimating Data Influence in LoRA-tuned LLMs and Diffusion Models [31.65198592956842]
  本稿では,大規模生成AIモデルに有効な効率的な影響近似手法であるDataInfを提案する。 理論的解析により,DataInfはLoRAのようなパラメータ効率のよい微調整技術に特に適していることが示された。 RoBERTa-large、Llama-2-13B-chat、stable-diffusion-v1.5モデルへの適用において、DataInfは、他の近似影響スコアよりも、最も影響力のある微調整例を効果的に識別する。
  論文  参考訳（メタデータ） (2023-10-02T04:59:19Z)
• Class based Influence Functions for Error Detection [12.925739281660938]
  影響関数(IF)は、ディープネットワークに適用すると不安定である。 2つのデータポイントが2つの異なるクラスに属している場合、IFは信頼できないことを示す。 我々のソリューションは、IFの安定性を向上させるためにクラス情報を活用する。
  論文  参考訳（メタデータ） (2023-05-02T13:01:39Z)
• A Closer Look at Parameter-Efficient Tuning in Diffusion Models [39.52999446584842]
  安定拡散のような大規模拡散モデルは強力であり、様々な現実世界の応用を見出すことができる。 学習可能な小モジュールを挿入することにより,大規模拡散モデルにおけるパラメータ効率の調整について検討する。
  論文  参考訳（メタデータ） (2023-03-31T16:23:29Z)
• On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
  現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。 これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。 我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
  論文  参考訳（メタデータ） (2022-11-28T17:41:48Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Causality-based Counterfactual Explanation for Classification Models [11.108866104714627]
  本稿では,プロトタイプに基づく対実的説明フレームワーク(ProCE)を提案する。 ProCEは、カウンターファクトデータの特徴の根底にある因果関係を保存することができる。 さらに,提案手法を応用した多目的遺伝的アルゴリズムを考案した。
  論文  参考訳（メタデータ） (2021-05-03T09:25:59Z)
• FastIF: Scalable Influence Functions for Efficient Model Interpretation and Debugging [112.19994766375231]
  影響関数は、テスト予測のためのトレーニングデータポイントの「影響」を近似する。 fastifは、実行時間を大幅に改善する関数に影響を与えるための、単純な修正セットです。 本実験はモデル解釈とモデル誤差の修正における影響関数の可能性を示す。
  論文  参考訳（メタデータ） (2020-12-31T18:02:34Z)
• Interpreting Robust Optimization via Adversarial Influence Functions [24.937845875059928]
  本稿では、ロバストな最適化によって生成されるソリューションを調査するためのツールとして、AIF(Adversarial Influence Function)を紹介する。 AIFの使用法を説明するために、モデル感度(自然データにおける予測損失の変化を捉えるために定義された量)について検討する。 AIFを用いて、モデルの複雑さとランダムな平滑化が、特定のモデルに対するモデルの感度にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2020-10-03T01:19:10Z)
• Estimating Structural Target Functions using Machine Learning and Influence Functions [103.47897241856603]
  統計モデルから特定可能な関数として生じる対象関数の統計的機械学習のための新しい枠組みを提案する。 このフレームワークは問題とモデルに依存しないものであり、応用統計学における幅広い対象パラメータを推定するのに使用できる。 我々は、部分的に観測されていない情報を持つランダム/二重ロバストな問題において、いわゆる粗大化に特に焦点をあてた。
  論文  参考訳（メタデータ） (2020-08-14T16:48:29Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。