論文の概要: Importance Sampling for Nonlinear Models
- arxiv url: http://arxiv.org/abs/2505.12353v1
- Date: Sun, 18 May 2025 10:34:39 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-05-20 14:57:11.183574
- Title: Importance Sampling for Nonlinear Models
- Title(参考訳): 非線形モデルにおける重要サンプリング
- Authors: Prakash Palanivelu Rajmohan, Fred Roosta,
- Abstract要約: 非線形写像の随伴作用素の概念を導入する。
これらのノルムとレバレッジスコアの概念に基づくサンプリングは、基礎となる非線形写像に対して近似を保証することを実証する。
- 参考スコア(独自算出の注目度): 5.421981644827842
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While norm-based and leverage-score-based methods have been extensively studied for identifying "important" data points in linear models, analogous tools for nonlinear models remain significantly underdeveloped. By introducing the concept of the adjoint operator of a nonlinear map, we address this gap and generalize norm-based and leverage-score-based importance sampling to nonlinear settings. We demonstrate that sampling based on these generalized notions of norm and leverage scores provides approximation guarantees for the underlying nonlinear mapping, similar to linear subspace embeddings. As direct applications, these nonlinear scores not only reduce the computational complexity of training nonlinear models by enabling efficient sampling over large datasets but also offer a novel mechanism for model explainability and outlier detection. Our contributions are supported by both theoretical analyses and experimental results across a variety of supervised learning scenarios.
- Abstract(参考訳): ノルムベースおよびレバレッジスコアベースの手法は、線形モデルにおいて「重要な」データポイントを特定するために広く研究されているが、非線形モデルのための類似ツールは非常に未発達のままである。
非線形写像の随伴作用素の概念を導入することにより、このギャップに対処し、ノルムベースおよびレバレッジスコアベースの重要度サンプリングを非線形設定に一般化する。
これらの一般化されたノルム概念とレバレッジスコアに基づくサンプリングは、線形部分空間埋め込みと同様に、基礎となる非線形写像に対して近似保証を与えることを示した。
直接的応用として、これらの非線形スコアは、大規模なデータセットの効率的なサンプリングを可能にすることによって、トレーニング非線形モデルの計算複雑性を減少させるだけでなく、モデル説明可能性と外れ値検出のための新しいメカニズムを提供する。
我々の貢献は、様々な教師付き学習シナリオにおける理論的分析と実験結果の両方によって支えられている。
関連論文リスト
- TD(0) Learning converges for Polynomial mixing and non-linear functions [49.1574468325115]
そこで本研究では,より適切な仮定の下でのTD学習に関する理論的知見について述べる。
これは、普遍的および非独立なステップサイズの下でマルコフデータ上でのTD(0)収束の最初の証明である。
我々の結果は、一般化勾配の下での線型モデルと非線形モデルの境界と、H"より古い連続性を含む。
論文 参考訳(メタデータ) (2025-02-08T22:01:02Z) - Mixture of partially linear experts [0.0]
非線形関係を捉えるために不特定関数を組み込んだ部分線形構造を提案する。
軽度条件下では,提案モデルの同定可能性を確立し,実用的な推定アルゴリズムを導入する。
論文 参考訳(メタデータ) (2024-05-05T12:10:37Z) - Bayesian Inference for Consistent Predictions in Overparameterized Nonlinear Regression [0.0]
本研究では,ベイズフレームワークにおける過パラメータ化非線形回帰の予測特性について検討した。
リプシッツ連続活性化関数を持つ一般化線形および単一ニューロンモデルに対して後部収縮が成立する。
提案手法は数値シミュレーションと実データアプリケーションを用いて検証した。
論文 参考訳(メタデータ) (2024-04-06T04:22:48Z) - Learning Linear Causal Representations from Interventions under General
Nonlinear Mixing [52.66151568785088]
介入対象にアクセスできることなく、未知の単一ノード介入を考慮し、強い識別可能性を示す。
これは、ディープニューラルネットワークの埋め込みに対する非ペアの介入による因果識別性の最初の例である。
論文 参考訳(メタデータ) (2023-06-04T02:32:12Z) - On the Detection and Quantification of Nonlinearity via Statistics of
the Gradients of a Black-Box Model [0.0]
非線形性の検出と同定は構造力学において重要な課題である。
データ駆動モデルの勾配分布に基づいて非線形性を検出する手法を提案する。
論文 参考訳(メタデータ) (2023-02-15T23:15:22Z) - Towards a mathematical understanding of learning from few examples with
nonlinear feature maps [68.8204255655161]
トレーニングセットがわずか数個のデータポイントから構成されるデータ分類の問題を考える。
我々は、AIモデルの特徴空間の幾何学、基礎となるデータ分布の構造、モデルの一般化能力との間の重要な関係を明らかにする。
論文 参考訳(メタデータ) (2022-11-07T14:52:58Z) - Learning from few examples with nonlinear feature maps [68.8204255655161]
我々はこの現象を探求し、AIモデルの特徴空間の次元性、データ分散の非退化、モデルの一般化能力の間の重要な関係を明らかにする。
本分析の主な推力は、元のデータを高次元および無限次元空間にマッピングする非線形特徴変換が結果のモデル一般化能力に与える影響である。
論文 参考訳(メタデータ) (2022-03-31T10:36:50Z) - Lower Bounds on the Generalization Error of Nonlinear Learning Models [2.1030878979833467]
本稿では,多層ニューラルネットワークから導出したモデルの一般化誤差に対する下限について,学習データ中のサンプル数と層の大きさが一致した状況下で検討する。
偏りのない推定器は,このような非線形ネットワークでは受け入れられない性能を示す。
線形回帰や2層ネットワークの場合、一般偏差推定器の明示的な一般化の下界を導出する。
論文 参考訳(メタデータ) (2021-03-26T20:37:54Z) - Hessian Eigenspectra of More Realistic Nonlinear Models [73.31363313577941]
私たちは、非線形モデルの広いファミリーのためのヘッセン固有スペクトルの言語的特徴付けを行います。
我々の分析は、より複雑な機械学習モデルで観察される多くの顕著な特徴の起源を特定するために一歩前進する。
論文 参考訳(メタデータ) (2021-03-02T06:59:52Z) - Learning Fast Approximations of Sparse Nonlinear Regression [50.00693981886832]
本研究では,Threshold Learned Iterative Shrinkage Algorithming (NLISTA)を導入することでギャップを埋める。
合成データを用いた実験は理論結果と相関し,その手法が最先端の手法より優れていることを示す。
論文 参考訳(メタデータ) (2020-10-26T11:31:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。