論文の概要: Deeper Understanding of Black-box Predictions via Generalized Influence Functions

• arxiv url: http://arxiv.org/abs/2312.05586v1
• Date: Sat, 9 Dec 2023 14:17:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-12 20:01:32.036227
• Title: Deeper Understanding of Black-box Predictions via Generalized Influence Functions
• Title（参考訳）: 一般化影響関数によるブラックボックス予測の深い理解
• Authors: Hyeonsu Lyu, Jonggyu Jang, Sehyun Ryu, Hyun Jong Yang
• Abstract要約: 影響関数(IF)は、学習データがモデル行動に与える影響を解明する。 しかし、現代の大規模モデルにおける非選択性や不正確なパラメータの数の増加は、計算の近似不安定性に影響を与える。 固定パラメータの脆弱性を考慮した一般化IFを導入し, 対象パラメータの影響を正確に推定する。
• 参考スコア（独自算出の注目度）: 7.264378254137811
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Influence functions (IFs) elucidate how learning data affects model behavior. However, growing non-convexity and the number of parameters in modern large-scale models lead to imprecise influence approximation and instability in computations. We highly suspect that the first-order approximation in large models causes such fragility, as IFs change all parameters including possibly nuisance parameters that are irrelevant to the examined data. Thus, we attempt to selectively analyze parameters associated with the data. However, simply computing influence from the chosen parameters can be misleading, as it fails to nullify the subliminal impact of unselected parameters. Our approach introduces generalized IFs, precisely estimating target parameters' influence while considering fixed parameters' effects. Unlike the classic IFs, we newly adopt a method to identify pertinent target parameters closely associated with the analyzed data. Furthermore, we tackle computational instability with a robust inverse-Hessian-vector product approximation. Remarkably, the proposed approximation algorithm guarantees convergence regardless of the network configurations. We evaluated our approach on ResNet-18 and VGG-11 for class removal and backdoor model recovery. Modifying just 10\% of the network yields results comparable to the network retrained from scratch. Aligned with our first guess, we also confirm that modifying an excessive number of parameters results in a decline in network utility. We believe our proposal can become a versatile tool for model analysis across various AI domains, appealing to both specialists and general readers. Codes are available at https://github.com/hslyu/GIF.
• Abstract（参考訳）: 影響関数(IF)は、学習データがモデル行動に与える影響を解明する。 しかし、現代の大規模モデルにおける非凸性の増加とパラメータ数の増大は、計算における不正確な影響近似と不安定性をもたらす。 大規模なモデルにおける一階近似は、IFが検査データに関係のないニュアンスパラメータを含む全てのパラメータを変更するため、そのような不安定性を引き起こすと強く疑っている。 そこで我々は,データに関連するパラメータを選択的に解析する。 しかし、選択されたパラメータからの影響を単に計算するだけでは、未選択パラメータのサブリミナルな影響を無効化できないため、誤解を招くことがある。 提案手法では,固定パラメータの影響を考慮しつつ,対象パラメータの影響を正確に推定する一般化IFを導入する。 従来のifsとは異なり、分析データと密接に関連した関連するターゲットパラメータを識別する手法を新たに採用した。 さらに,ロバストな逆ヘッセン-ベクトル積近似を用いて計算不安定性に取り組む。 驚くべきことに,提案手法はネットワーク構成にかかわらず収束を保証している。 resnet-18とvgg-11のクラス削除とバックドアモデルのリカバリに関するアプローチを評価した。 ネットワークのわずか10\%を変更すると、スクラッチから再トレーニングされたネットワークに匹敵する結果が得られる。 最初の推測と一致して、過剰なパラメータの変更によってネットワークユーティリティが低下することを確認した。 私たちの提案は、さまざまなaiドメインにわたるモデル分析の汎用ツールになり、専門家と一般読者の両方にアピールできると考えています。 コードはhttps://github.com/hslyu/GIFで入手できる。

関連論文リスト

• Influence Functions for Scalable Data Attribution in Diffusion Models [52.92223039302037]
  拡散モデルは、生成的モデリングに大きな進歩をもたらした。 しかし、彼らの普及はデータ属性と解釈可能性に関する課題を引き起こす。 本稿では,テキスト・インフルエンス・ファンクション・フレームワークを開発することにより,このような課題に対処することを目的とする。
  論文  参考訳（メタデータ） (2024-10-17T17:59:02Z)
• DataInf: Efficiently Estimating Data Influence in LoRA-tuned LLMs and Diffusion Models [31.65198592956842]
  本稿では,大規模生成AIモデルに有効な効率的な影響近似手法であるDataInfを提案する。 理論的解析により,DataInfはLoRAのようなパラメータ効率のよい微調整技術に特に適していることが示された。 RoBERTa-large、Llama-2-13B-chat、stable-diffusion-v1.5モデルへの適用において、DataInfは、他の近似影響スコアよりも、最も影響力のある微調整例を効果的に識別する。
  論文  参考訳（メタデータ） (2023-10-02T04:59:19Z)
• Class based Influence Functions for Error Detection [12.925739281660938]
  影響関数(IF)は、ディープネットワークに適用すると不安定である。 2つのデータポイントが2つの異なるクラスに属している場合、IFは信頼できないことを示す。 我々のソリューションは、IFの安定性を向上させるためにクラス情報を活用する。
  論文  参考訳（メタデータ） (2023-05-02T13:01:39Z)
• A Closer Look at Parameter-Efficient Tuning in Diffusion Models [39.52999446584842]
  安定拡散のような大規模拡散モデルは強力であり、様々な現実世界の応用を見出すことができる。 学習可能な小モジュールを挿入することにより,大規模拡散モデルにおけるパラメータ効率の調整について検討する。
  論文  参考訳（メタデータ） (2023-03-31T16:23:29Z)
• On the Effectiveness of Parameter-Efficient Fine-Tuning [79.6302606855302]
  現在、多くの研究が、パラメータのごく一部のみを微調整し、異なるタスク間で共有されるパラメータのほとんどを保持することを提案している。 これらの手法は, いずれも細粒度モデルであり, 新たな理論的解析を行う。 我々の理論に根ざした空間性の有効性にもかかわらず、調整可能なパラメータをどう選ぶかという問題はまだ未解決のままである。
  論文  参考訳（メタデータ） (2022-11-28T17:41:48Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)
• Causality-based Counterfactual Explanation for Classification Models [11.108866104714627]
  本稿では,プロトタイプに基づく対実的説明フレームワーク(ProCE)を提案する。 ProCEは、カウンターファクトデータの特徴の根底にある因果関係を保存することができる。 さらに,提案手法を応用した多目的遺伝的アルゴリズムを考案した。
  論文  参考訳（メタデータ） (2021-05-03T09:25:59Z)
• FastIF: Scalable Influence Functions for Efficient Model Interpretation and Debugging [112.19994766375231]
  影響関数は、テスト予測のためのトレーニングデータポイントの「影響」を近似する。 fastifは、実行時間を大幅に改善する関数に影響を与えるための、単純な修正セットです。 本実験はモデル解釈とモデル誤差の修正における影響関数の可能性を示す。
  論文  参考訳（メタデータ） (2020-12-31T18:02:34Z)
• Interpreting Robust Optimization via Adversarial Influence Functions [24.937845875059928]
  本稿では、ロバストな最適化によって生成されるソリューションを調査するためのツールとして、AIF(Adversarial Influence Function)を紹介する。 AIFの使用法を説明するために、モデル感度(自然データにおける予測損失の変化を捉えるために定義された量)について検討する。 AIFを用いて、モデルの複雑さとランダムな平滑化が、特定のモデルに対するモデルの感度にどのように影響するかを分析する。
  論文  参考訳（メタデータ） (2020-10-03T01:19:10Z)
• Estimating Structural Target Functions using Machine Learning and Influence Functions [103.47897241856603]
  統計モデルから特定可能な関数として生じる対象関数の統計的機械学習のための新しい枠組みを提案する。 このフレームワークは問題とモデルに依存しないものであり、応用統計学における幅広い対象パラメータを推定するのに使用できる。 我々は、部分的に観測されていない情報を持つランダム/二重ロバストな問題において、いわゆる粗大化に特に焦点をあてた。
  論文  参考訳（メタデータ） (2020-08-14T16:48:29Z)
• Evaluating Prediction-Time Batch Normalization for Robustness under Covariate Shift [81.74795324629712]
  我々は予測時間バッチ正規化と呼び、共変量シフト時のモデル精度とキャリブレーションを大幅に改善する。 予測時間バッチ正規化は、既存の最先端アプローチに相補的な利点をもたらし、ロバスト性を向上させることを示します。 この手法は、事前トレーニングと併用して使用すると、さまざまな結果が得られるが、より自然なタイプのデータセットシフトでは、パフォーマンスが良くないようだ。
  論文  参考訳（メタデータ） (2020-06-19T05:08:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。