論文の概要: A Free Lunch with Influence Functions? Improving Neural Network
Estimates with Concepts from Semiparametric Statistics
- arxiv url: http://arxiv.org/abs/2202.09096v1
- Date: Fri, 18 Feb 2022 09:35:51 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-21 14:35:23.437503
- Title: A Free Lunch with Influence Functions? Improving Neural Network
Estimates with Concepts from Semiparametric Statistics
- Title（参考訳）: 影響関数を持つフリーランチ?
半パラメトリック統計を用いたニューラルネットワーク推定の改善
- Authors: Matthew J. Vowels and Sina Akbari and Jalal Etesami and Necati Cihan
Camgoz and Richard Bowden
- Abstract要約: ニューラルネットワークや機械学習アルゴリズムの改善に使用される半パラメトリック理論の可能性を探る。
本稿では,単一アーキテクチャを用いてアンサンブルの柔軟性と多様性を求めるニューラルネットワーク手法であるMultiNetを提案する。
- 参考スコア（独自算出の注目度）: 41.99023989695363
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Parameter estimation in the empirical fields is usually undertaken using
parametric models, and such models are convenient because they readily
facilitate statistical inference. Unfortunately, they are unlikely to have a
sufficiently flexible functional form to be able to adequately model real-world
phenomena, and their usage may therefore result in biased estimates and invalid
inference. Unfortunately, whilst non-parametric machine learning models may
provide the needed flexibility to adapt to the complexity of real-world
phenomena, they do not readily facilitate statistical inference, and may still
exhibit residual bias. We explore the potential for semiparametric theory (in
particular, the Influence Function) to be used to improve neural networks and
machine learning algorithms in terms of (a) improving initial estimates without
needing more data (b) increasing the robustness of our models, and (c) yielding
confidence intervals for statistical inference. We propose a new neural network
method MultiNet, which seeks the flexibility and diversity of an ensemble using
a single architecture. Results on causal inference tasks indicate that MultiNet
yields better performance than other approaches, and that all considered
methods are amenable to improvement from semiparametric techniques under
certain conditions. In other words, with these techniques we show that we can
improve existing neural networks for `free', without needing more data, and
without needing to retrain them. Finally, we provide the expression for
deriving influence functions for estimands from a general graph, and the code
to do so automatically.
- Abstract（参考訳）: 経験的場におけるパラメータ推定は通常パラメトリックモデルを用いて行われ、そのようなモデルは統計的推論が容易であるため便利である。
残念なことに、現実の現象を適切にモデル化できる十分な柔軟性のある機能形式を持つ可能性は低いため、その使用はバイアスのある見積もりと無効な推論をもたらす可能性がある。
残念なことに、非パラメトリック機械学習モデルは現実世界の現象の複雑さに適応するために必要な柔軟性を提供するが、それらは容易に統計的推論を促進しず、まだ残差がある可能性がある。
我々は、ニューラルネットワークや機械学習アルゴリズムを改善するために使用される半パラメトリック理論(特に影響関数)の可能性を探究する。
(a)データを増やすことなく初期見積もりを改善する
b)我々のモデルの堅牢性を高め、
(c)統計的推論に信頼区間を与える。
本稿では,単一アーキテクチャを用いてアンサンブルの柔軟性と多様性を求めるニューラルネットワーク手法であるMultiNetを提案する。
因果推論タスクの結果から、MultiNetは他の手法よりも優れた性能を示し、ある条件下での半パラメトリック手法から改善できると考えられる。
言い換えれば、これらの技術により、より多くのデータを必要とすることなく、再トレーニングすることなく、既存のニューラルネットワークを 'free' のために改善できることが示されます。
最後に、一般的なグラフから推定する影響関数を導出するための式と、それを自動的に実行するコードを提供する。
関連論文リスト
- CF-GO-Net: A Universal Distribution Learner via Characteristic Function Networks with Graph Optimizers [8.816637789605174]
本稿では,分布に直接対応する確率的記述子である特徴関数(CF)を用いる手法を提案する。
確率密度関数 (pdf) とは異なり、特徴関数は常に存在するだけでなく、さらなる自由度を与える。
提案手法では,訓練済みのオートエンコーダなどの事前学習モデルを使用することで,特徴空間で直接学習することができる。
論文 参考訳（メタデータ） (2024-09-19T09:33:12Z) - Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察
ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。
圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文 参考訳（メタデータ） (2023-06-28T18:14:22Z) - Single-model uncertainty quantification in neural network potentials
does not consistently outperform model ensembles [0.7499722271664145]
ニューラルネットワーク(NN)は、遠く離れた地点であっても、予測に高い信頼性を割り当てることが多い。
不確かさ定量化(英: Uncertainty Quantification、UQ)は、物質系における原子間ポテンシャルのモデル化に使用されるときの課題である。
異なるUQ技術は、新しい情報データを見つけ、堅牢なポテンシャルのためにアクティブな学習ループを駆動することができる。
論文 参考訳（メタデータ） (2023-05-02T19:41:17Z) - Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。
我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
論文 参考訳（メタデータ） (2023-01-16T14:25:02Z) - Variational Hierarchical Mixtures for Probabilistic Learning of Inverse
Dynamics [20.953728061894044]
適切に校正された確率回帰モデルは、データセットが急速に成長し、タスクがより複雑になるにつれて、ロボットアプリケーションにおいて重要な学習要素である。
計算効率のよい表現と計算複雑性の正規化を両世界の利点と組み合わせた確率論的階層的モデリングパラダイムを考察する。
これらの表現を学習するための2つの効率的な変分推論手法を導出し、階層的無限局所回帰モデルの利点を強調する。
論文 参考訳（メタデータ） (2022-11-02T13:54:07Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - Uncertainty Modeling for Out-of-Distribution Generalization [56.957731893992495]
特徴統計を適切に操作することで、ディープラーニングモデルの一般化能力を向上させることができると論じる。
一般的な手法では、特徴統計を学習した特徴から測定された決定論的値とみなすことが多い。
我々は、学習中に合成された特徴統計を用いて、領域シフトの不確かさをモデル化することにより、ネットワークの一般化能力を向上させる。
論文 参考訳（メタデータ） (2022-02-08T16:09:12Z) - Modeling Item Response Theory with Stochastic Variational Inference [8.369065078321215]
項目応答理論(IRT)のための変分ベイズ推論アルゴリズムを提案する。
この手法を5つの大規模項目応答データセットに適用すると、欠落したデータを出力する際の高いログ可能性と高い精度が得られる。
アルゴリズムの実装はオープンソースであり、簡単に利用できる。
論文 参考訳（メタデータ） (2021-08-26T05:00:27Z) - Gone Fishing: Neural Active Learning with Fisher Embeddings [55.08537975896764]
ディープニューラルネットワークと互換性のあるアクティブな学習アルゴリズムの必要性が高まっている。
本稿では,ニューラルネットワークのための抽出可能かつ高性能な能動学習アルゴリズムBAITを紹介する。
論文 参考訳（メタデータ） (2021-06-17T17:26:31Z) - Optimizing Variational Representations of Divergences and Accelerating
their Statistical Estimation [6.34892104858556]
高次元確率分布間の発散と距離の変動表現は、重要な理論的洞察を与える。
確率モデルをトレーニングするための、魅力的でスケーラブルなアプローチとして、機械学習で人気を博している。
発散のより厳密な変動表現を構築するための方法論を開発する。
論文 参考訳（メタデータ） (2020-06-15T21:32:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。