論文の概要: Bayesian Influence Functions for Hessian-Free Data Attribution
- arxiv url: http://arxiv.org/abs/2509.26544v1
- Date: Tue, 30 Sep 2025 17:17:37 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-10-01 14:45:00.225681
- Title: Bayesian Influence Functions for Hessian-Free Data Attribution
- Title（参考訳）: ヘシアンフリーデータ属性に対するベイズの影響関数
- Authors: Philipp Alexander Kreer, Wilson Wu, Maxwell Adam, Zach Furman, Jesse Hoogland,
- Abstract要約: 本研究では, 局所ベイズ影響関数 (BIF) を提案する。
このHessian-freeアプローチは、パラメータ間の高次相互作用をキャプチャし、数十億のパラメータを持つニューラルネットワークに効率的にスケールする。
- 参考スコア（独自算出の注目度）: 2.7579219652466453
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Classical influence functions face significant challenges when applied to deep neural networks, primarily due to non-invertible Hessians and high-dimensional parameter spaces. We propose the local Bayesian influence function (BIF), an extension of classical influence functions that replaces Hessian inversion with loss landscape statistics that can be estimated via stochastic-gradient MCMC sampling. This Hessian-free approach captures higher-order interactions among parameters and scales efficiently to neural networks with billions of parameters. We demonstrate state-of-the-art results on predicting retraining experiments.
- Abstract（参考訳）: 古典的影響関数は、ディープニューラルネットワークに適用する場合、主に非可逆ヘッセンと高次元パラメータ空間のために重要な課題に直面している。
本稿では, 局所ベイズ影響関数(BIF)を提案する。これは, 確率勾配MCMCサンプリングにより推定できるロスランドスケープ統計をヘッセン反転に置き換える古典的影響関数の拡張である。
このHessian-freeアプローチは、パラメータ間の高次相互作用をキャプチャし、数十億のパラメータを持つニューラルネットワークに効率的にスケールする。
我々は,再訓練実験の予測における最先端の成果を示す。
関連論文リスト
- A Simple Approximate Bayesian Inference Neural Surrogate for Stochastic Petri Net Models [0.0]
後部分布フレームワークのニューラルネットワークに基づく近似を導入する。
我々のモデルは、Gilespie-simulated SPN realizations上で訓練された1D Convolutional Residual Networkを使用する。
20%の欠落事象を持つ合成SPNでは, RMSE = 0.108で速度関数係数を回復し, 従来のベイズ手法よりもかなり高速に動作する。
論文 参考訳（メタデータ） (2025-07-14T18:31:19Z) - Functional Stochastic Gradient MCMC for Bayesian Neural Networks [15.766590837199427]
本稿では,より情報に富む事前を組み込むことのできる勾配版を含む,新しい機能的MCMCスキームを提案する。
提案手法は,複数のタスクにおける予測精度と不確実性の両方において,性能の向上を実証する。
論文 参考訳（メタデータ） (2024-09-25T05:23:01Z) - Subject-specific Deep Neural Networks for Count Data with
High-cardinality Categorical Features [1.2289361708127877]
本稿では,ポアソンディープニューラルネットワークにガンマランダム効果を導入するための新しい階層的確率学習フレームワークを提案する。
提案手法は,固定パラメータの最大極大推定器とランダム効果の最適非バイアス予測器を同時に生成する。
最先端のネットワークアーキテクチャは、提案されたh-likelihoodフレームワークに容易に実装できる。
論文 参考訳（メタデータ） (2023-10-18T01:54:48Z) - Promises and Pitfalls of the Linearized Laplace in Bayesian Optimization [73.80101701431103]
線形化ラプラス近似(LLA)はベイズニューラルネットワークの構築に有効で効率的であることが示されている。
ベイズ最適化におけるLLAの有用性について検討し,その性能と柔軟性を強調した。
論文 参考訳（メタデータ） (2023-04-17T14:23:43Z) - Towards Efficient MCMC Sampling in Bayesian Neural Networks by
Exploiting Symmetry [1.7942265700058988]
理論的には、ベイズニューラルネットワークの後方予測密度は対称性のないパラメータ参照セットに制限可能である。
実験の結果, 効率的なサンプリングが可能であることが示唆され, 深層学習における正確な不確実性定量化への道が開かれた。
論文 参考訳（メタデータ） (2023-04-06T07:20:57Z) - Adaptive LASSO estimation for functional hidden dynamic geostatistical
model [69.10717733870575]
関数型隠れ統計モデル(f-HD)のためのペナル化極大推定器(PMLE)に基づく新しいモデル選択アルゴリズムを提案する。
このアルゴリズムは反復最適化に基づいており、適応最小限の収縮・セレクタ演算子(GMSOLAS)ペナルティ関数を用いており、これは不給付のf-HD最大線量推定器によって得られる。
論文 参考訳（メタデータ） (2022-08-10T19:17:45Z) - Inf-CP: A Reliable Channel Pruning based on Channel Influence [4.692400531340393]
チャネルプルーニングの最も効果的な方法の1つは、各ニューロンの重要性に基づいてトリムを行うことである。
従来の研究は、単一層または複数の連続するニューロンの統計を考慮し、トリムすることを提案した。
我々は、アンサンブル学習を用いて、異なるデータバッチのモデルをトレーニングすることを提案する。
論文 参考訳（メタデータ） (2021-12-05T09:30:43Z) - Influence Functions in Deep Learning Are Fragile [52.31375893260445]
影響関数は、テスト時間予測におけるサンプルの効果を近似する。
影響評価は浅いネットワークでは かなり正確です
ヘッセン正則化は、高品質な影響推定を得るために重要である。
論文 参考訳（メタデータ） (2020-06-25T18:25:59Z) - Beyond Dropout: Feature Map Distortion to Regularize Deep Neural
Networks [107.77595511218429]
本稿では,ディープニューラルネットワークの中間層に関連する実験的なRademacher複雑性について検討する。
上記の問題に対処するための特徴歪み法(Disout)を提案する。
より高い試験性能を有するディープニューラルネットワークを作製するための特徴写像歪みの優位性を解析し、実証した。
論文 参考訳（メタデータ） (2020-02-23T13:59:13Z) - Bayesian Deep Learning and a Probabilistic Perspective of Generalization [56.69671152009899]
ディープアンサンブルはベイズ辺化を近似する有効なメカニズムであることを示す。
また,アトラクションの流域内での辺縁化により,予測分布をさらに改善する関連手法を提案する。
論文 参考訳（メタデータ） (2020-02-20T15:13:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。