論文の概要: Scalable Higher-Order Tensor Product Spline Models
- arxiv url: http://arxiv.org/abs/2402.01090v1
- Date: Fri, 2 Feb 2024 01:18:48 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-05 17:16:15.660382
- Title: Scalable Higher-Order Tensor Product Spline Models
- Title（参考訳）: スケーラブルな高次テンソル製品スプラインモデル
- Authors: David R\"ugamer
- Abstract要約: 本稿では,高階テンソル積スプラインモデルから高階テンソル積を導出する因子分解法を提案する。
本手法では,非線形特徴効果のすべての(高次)相互作用を,相互作用のないモデルに比例した計算コストで組み込むことが可能である。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In the current era of vast data and transparent machine learning, it is
essential for techniques to operate at a large scale while providing a clear
mathematical comprehension of the internal workings of the method. Although
there already exist interpretable semi-parametric regression methods for
large-scale applications that take into account non-linearity in the data, the
complexity of the models is still often limited. One of the main challenges is
the absence of interactions in these models, which are left out for the sake of
better interpretability but also due to impractical computational costs. To
overcome this limitation, we propose a new approach using a factorization
method to derive a highly scalable higher-order tensor product spline model.
Our method allows for the incorporation of all (higher-order) interactions of
non-linear feature effects while having computational costs proportional to a
model without interactions. We further develop a meaningful penalization scheme
and examine the induced optimization problem. We conclude by evaluating the
predictive and estimation performance of our method.
- Abstract（参考訳）: 膨大なデータと透過的な機械学習の時代には、その手法の内部動作を数学的に理解しつつ、大規模に運用する技術が不可欠である。
データの非線形性を考慮した大規模アプリケーションには、既に解釈可能な半パラメトリック回帰法が存在するが、モデルの複雑さは依然として限られている。
主な課題の1つは、これらのモデルに相互作用がないことである。
この限界を克服するために,高度にスケーラブルな高次テンソル積スプラインモデルを導出する因子化手法を用いた新しい手法を提案する。
本手法では,非線形特徴効果のすべての(高次)相互作用を,相互作用のないモデルに比例した計算コストで組み込むことができる。
さらに,有意義なペナライゼーション手法を開発し,誘導最適化問題を検討する。
提案手法の予測性能と推定性能を評価することで結論を導いた。
関連論文リスト
- Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。
この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
論文 参考訳（メタデータ） (2024-11-01T21:11:48Z) - Towards Learning Stochastic Population Models by Gradient Descent [0.0]
パラメータと構造を同時に推定することで,最適化手法に大きな課題が生じることを示す。
モデルの正確な推定を実証するが、擬似的、解釈可能なモデルの推論を強制することは、難易度を劇的に高める。
論文 参考訳（メタデータ） (2024-04-10T14:38:58Z) - Accelerating Generalized Linear Models by Trading off Computation for
Uncertainty [29.877181350448193]
一般化線形モデル(GLM)は、分類的、順序的、連続的なデータをモデル化するための柔軟な確率的フレームワークを定義する。
結果の近似誤差はモデルの信頼性に悪影響を及ぼし、予測の不確実性を考慮しない。
このエラーを明示的にモデル化する反復的手法のファミリーを紹介します。
論文 参考訳（メタデータ） (2023-10-31T08:58:16Z) - Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
独立サブネットワークトレーニング(IST)の理論的考察
ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。
圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
論文 参考訳（メタデータ） (2023-06-28T18:14:22Z) - HyperImpute: Generalized Iterative Imputation with Automatic Model
Selection [77.86861638371926]
カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。
既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
論文 参考訳（メタデータ） (2022-06-15T19:10:35Z) - Additive Higher-Order Factorization Machines [0.0]
因子化手法を用いて,スケーラブルな高次テンソル積スプラインモデルを導出する。
本手法では,非線形特徴効果のすべての(高次)相互作用を含めることができる。
我々は理論上も経験的にも,我々の手法が既存の手法よりも顕著に優れていることを証明している。
論文 参考訳（メタデータ） (2022-05-28T19:50:52Z) - Extension of Dynamic Mode Decomposition for dynamic systems with
incomplete information based on t-model of optimal prediction [69.81996031777717]
動的モード分解は、動的データを研究するための非常に効率的な手法であることが証明された。
このアプローチの適用は、利用可能なデータが不完全である場合に問題となる。
本稿では,森-Zwanzig分解の1次近似を考察し,対応する最適化問題を記述し,勾配に基づく最適化法を用いて解く。
論文 参考訳（メタデータ） (2022-02-23T11:23:59Z) - Improving Generalization via Uncertainty Driven Perturbations [107.45752065285821]
トレーニングデータポイントの不確実性による摂動について考察する。
損失駆動摂動とは異なり、不確実性誘導摂動は決定境界を越えてはならない。
線形モデルにおいて,UDPがロバスト性マージン決定を達成することが保証されていることを示す。
論文 参考訳（メタデータ） (2022-02-11T16:22:08Z) - Non-intrusive Nonlinear Model Reduction via Machine Learning
Approximations to Low-dimensional Operators [0.0]
本稿では,従来の非侵入的手法を用いて,従来型の侵入的縮小順序モデルを正確に近似する手法を提案する。
この手法は、現代の機械学習回帰手法を用いて、プロジェクションベースのリダクションオーダーモデル(ROM)に関連する低次元演算子を近似する。
非侵襲性を実現することに加えて、このアプローチが計算の複雑さを極端に低くし、最大1000ドル程度の実行時間削減を実現することを実証する。
論文 参考訳（メタデータ） (2021-06-17T17:04:42Z) - On the Treatment of Optimization Problems with L1 Penalty Terms via
Multiobjective Continuation [0.0]
本稿では,線形・非線形最適化におけるスパース性の影響を詳細に把握するアルゴリズムを提案する。
本手法は非線形の場合に対する線形回帰問題に対するよく知られたホモトピー法の一般化と見なすことができる。
論文 参考訳（メタデータ） (2020-12-14T13:00:50Z) - A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。
ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。
シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
論文 参考訳（メタデータ） (2020-11-30T21:47:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。