論文の概要: Statistical and Computational Guarantees for Influence Diagnostics
- arxiv url: http://arxiv.org/abs/2212.04014v2
- Date: Tue, 19 Sep 2023 23:55:46 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-22 00:35:57.967437
- Title: Statistical and Computational Guarantees for Influence Diagnostics
- Title(参考訳): 影響診断のための統計的・計算的保証
- Authors: Jillian Fisher, Lang Liu, Krishna Pillutla, Yejin Choi, Zaid Harchaoui
- Abstract要約: 影響診断は、影響のあるデータポイントまたはデータポイントのサブセットを特定する強力な統計ツールである。
我々は、影響関数と近似最大影響摂動に対して、有限サンプル統計境界と計算複雑性境界を確立する。
- 参考スコア(独自算出の注目度): 44.66763278782308
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Influence diagnostics such as influence functions and approximate maximum
influence perturbations are popular in machine learning and in AI domain
applications. Influence diagnostics are powerful statistical tools to identify
influential datapoints or subsets of datapoints. We establish finite-sample
statistical bounds, as well as computational complexity bounds, for influence
functions and approximate maximum influence perturbations using efficient
inverse-Hessian-vector product implementations. We illustrate our results with
generalized linear models and large attention based models on synthetic and
real data.
- Abstract(参考訳): 影響関数や近似最大影響摂動などの影響診断は、機械学習やAIドメインアプリケーションで人気がある。
影響診断は、影響のあるデータポイントまたはデータポイントのサブセットを特定する強力な統計ツールである。
我々は、効率的な逆複素ベクトル積実装を用いた影響関数と近似最大影響摂動に対して、有限サンプル統計境界と計算複雑性境界を確立する。
本稿では,合成データと実データに基づく一般化線形モデルと注目モデルを用いて,この結果について述べる。
関連論文リスト
- Statistical inference using machine learning and classical techniques
based on accumulated local effects (ALE) [0.0]
Accumulated Local Effects (ALE) は、機械学習アルゴリズムのグローバルな説明のためのモデルに依存しないアプローチである。
ALEに基づく統計的推論を行うには,少なくとも3つの課題がある。
ALEを用いた統計的推論のための革新的なツールと技術を紹介する。
論文 参考訳(メタデータ) (2023-10-15T16:17:21Z) - DataInf: Efficiently Estimating Data Influence in LoRA-tuned LLMs and
Diffusion Models [31.65198592956842]
本稿では,大規模生成AIモデルに有効な効率的な影響近似手法であるDataInfを提案する。
理論的解析により,DataInfはLoRAのようなパラメータ効率のよい微調整技術に特に適していることが示された。
RoBERTa-large、Llama-2-13B-chat、stable-diffusion-v1.5モデルへの適用において、DataInfは、他の近似影響スコアよりも、最も影響力のある微調整例を効果的に識別する。
論文 参考訳(メタデータ) (2023-10-02T04:59:19Z) - Measuring Causal Effects of Data Statistics on Language Model's
`Factual' Predictions [59.284907093349425]
大量のトレーニングデータが、最先端のNLPモデルの高性能化の大きな理由の1つである。
トレーニングデータがどのように予測に影響を及ぼすかを記述するための言語を,因果的フレームワークを通じて提供する。
我々のフレームワークは、高価なモデルの再訓練の必要性を回避し、観測データのみに基づいて因果効果を推定することができる。
論文 参考訳(メタデータ) (2022-07-28T17:36:24Z) - On Understanding the Influence of Controllable Factors with a Feature
Attribution Algorithm: a Medical Case Study [7.331240833902455]
既存の特徴属性アルゴリズムは、データセット内のすべての特徴を均質に扱う。
本稿では、制御可能な特徴の相対的重要性を計算するために、制御可能なfActor特徴属性(CAFA)アプローチを提案する。
論文 参考訳(メタデータ) (2022-03-23T19:49:45Z) - Learning Infomax and Domain-Independent Representations for Causal
Effect Inference with Real-World Data [9.601837205635686]
上記の問題を解くためにInfomaxとDomain-Independent Representationsを学習する。
提案手法は,因果関係の推論における最先端性能を実現する。
論文 参考訳(メタデータ) (2022-02-22T13:35:15Z) - Learning Neural Causal Models with Active Interventions [83.44636110899742]
本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。
本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。
シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
論文 参考訳(メタデータ) (2021-09-06T13:10:37Z) - Doing Great at Estimating CATE? On the Neglected Assumptions in
Benchmark Comparisons of Treatment Effect Estimators [91.3755431537592]
もっとも単純な設定であっても、無知性仮定に基づく推定は誤解を招く可能性があることを示す。
異種処理効果評価のための機械学習ベンチマークデータセットを2つ検討した。
ベンチマークデータセットの固有の特性が、他のものよりもいくつかのアルゴリズムを好んでいる点を強調します。
論文 参考訳(メタデータ) (2021-07-28T13:21:27Z) - Estimating Structural Target Functions using Machine Learning and
Influence Functions [103.47897241856603]
統計モデルから特定可能な関数として生じる対象関数の統計的機械学習のための新しい枠組みを提案する。
このフレームワークは問題とモデルに依存しないものであり、応用統計学における幅広い対象パラメータを推定するのに使用できる。
我々は、部分的に観測されていない情報を持つランダム/二重ロバストな問題において、いわゆる粗大化に特に焦点をあてた。
論文 参考訳(メタデータ) (2020-08-14T16:48:29Z) - Influence Functions in Deep Learning Are Fragile [52.31375893260445]
影響関数は、テスト時間予測におけるサンプルの効果を近似する。
影響評価は浅いネットワークでは かなり正確です
ヘッセン正則化は、高品質な影響推定を得るために重要である。
論文 参考訳(メタデータ) (2020-06-25T18:25:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。