論文の概要: Additive Higher-Order Factorization Machines

• arxiv url: http://arxiv.org/abs/2205.14515v1
• Date: Sat, 28 May 2022 19:50:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-06-04 17:59:21.004584
• Title: Additive Higher-Order Factorization Machines
• Title（参考訳）: 加算高次因子化機
• Authors: David R\"ugamer
• Abstract要約: 因子化手法を用いて,スケーラブルな高次テンソル積スプラインモデルを導出する。 本手法では,非線形特徴効果のすべての(高次)相互作用を含めることができる。 我々は理論上も経験的にも,我々の手法が既存の手法よりも顕著に優れていることを証明している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the age of big data and interpretable machine learning, approaches need to work at scale and at the same time allow for a clear mathematical understanding of the method's inner workings. While there exist inherently interpretable semi-parametric regression techniques for large-scale applications to account for non-linearity in the data, their model complexity is still often restricted. One of the main limitations are missing interactions in these models, which are not included for the sake of better interpretability, but also due to untenable computational costs. To address this shortcoming, we derive a scalable high-order tensor product spline model using a factorization approach. Our method allows to include all (higher-order) interactions of non-linear feature effects while having computational costs proportional to a model without interactions. We prove both theoretically and empirically that our methods scales notably better than existing approaches, derive meaningful penalization schemes and also discuss further theoretical aspects. We finally investigate predictive and estimation performance both with synthetic and real data.
• Abstract（参考訳）: ビッグデータと解釈可能な機械学習の時代において、アプローチは大規模に動作し、同時にメソッドの内部動作の数学的理解を可能にする必要がある。 データの非線形性を考慮した大規模アプリケーションには本質的に解釈可能な半パラメトリック回帰手法が存在するが、そのモデルの複雑さは制限されていることが多い。 主な制限の1つはこれらのモデルにおける相互作用の欠如であり、それらはより良い解釈可能性のためではなく、維持不可能な計算コストのために含まれている。 この欠点に対処するために、因子化アプローチを用いてスケーラブルな高階テンソル製品スプラインモデルを導出する。 本手法は非線形特徴効果のすべての(高次)相互作用を含ませつつ、相互作用のないモデルに比例する計算コストを持つことができる。 我々は,本手法が既存手法よりも顕著にスケールし,有意義な罰則を導出し,さらに理論的側面を議論することを証明する。 合成データと実データの両方を用いて予測および推定性能について検討する。

関連論文リスト

• Scalable Higher-Order Tensor Product Spline Models [0.0]
  本稿では,高階テンソル積スプラインモデルから高階テンソル積を導出する因子分解法を提案する。 本手法では,非線形特徴効果のすべての(高次)相互作用を,相互作用のないモデルに比例した計算コストで組み込むことが可能である。
  論文  参考訳（メタデータ） (2024-02-02T01:18:48Z)
• Accelerating Generalized Linear Models by Trading off Computation for Uncertainty [29.877181350448193]
  一般化線形モデル(GLM)は、分類的、順序的、連続的なデータをモデル化するための柔軟な確率的フレームワークを定義する。 結果の近似誤差はモデルの信頼性に悪影響を及ぼし、予測の不確実性を考慮しない。 このエラーを明示的にモデル化する反復的手法のファミリーを紹介します。
  論文  参考訳（メタデータ） (2023-10-31T08:58:16Z)
• Towards a Better Theoretical Understanding of Independent Subnetwork Training [56.24689348875711]
  独立サブネットワークトレーニング(IST)の理論的考察 ISTは、上記の問題を解決するための、最近提案され、非常に効果的である。 圧縮通信を用いた分散手法など,ISTと代替手法の基本的な違いを同定する。
  論文  参考訳（メタデータ） (2023-06-28T18:14:22Z)
• Variational Hierarchical Mixtures for Probabilistic Learning of Inverse Dynamics [20.953728061894044]
  適切に校正された確率回帰モデルは、データセットが急速に成長し、タスクがより複雑になるにつれて、ロボットアプリケーションにおいて重要な学習要素である。 計算効率のよい表現と計算複雑性の正規化を両世界の利点と組み合わせた確率論的階層的モデリングパラダイムを考察する。 これらの表現を学習するための2つの効率的な変分推論手法を導出し、階層的無限局所回帰モデルの利点を強調する。
  論文  参考訳（メタデータ） (2022-11-02T13:54:07Z)
• HyperImpute: Generalized Iterative Imputation with Automatic Model Selection [77.86861638371926]
  カラムワイズモデルを適応的かつ自動的に構成するための一般化反復計算フレームワークを提案する。 既製の学習者,シミュレータ,インターフェースを備えた具体的な実装を提供する。
  論文  参考訳（メタデータ） (2022-06-15T19:10:35Z)
• A Hypergradient Approach to Robust Regression without Correspondence [85.49775273716503]
  本稿では,入力データと出力データとの対応が不十分な回帰問題について考察する。 ほとんどの既存手法はサンプルサイズが小さい場合にのみ適用できる。 シャッフル回帰問題に対する新しい計算フレームワークであるROBOTを提案する。
  論文  参考訳（メタデータ） (2020-11-30T21:47:38Z)
• Non-parametric Models for Non-negative Functions [48.7576911714538]
  同じ良い線形モデルから非負関数に対する最初のモデルを提供する。 我々は、それが表現定理を認め、凸問題に対する効率的な二重定式化を提供することを証明した。
  論文  参考訳（メタデータ） (2020-07-08T07:17:28Z)
• Causal Inference with Deep Causal Graphs [0.0]
  パラメトリック因果モデリング技術は、カウンターファクト推定の機能を提供することはめったにない。 Deep Causal Graphsは、因果分布をモデル化するニューラルネットワークに必要な機能の抽象的な仕様である。 複雑な相互作用をモデル化する上で,その表現力を示し,機械学習の説明可能性と公正性を示す。
  論文  参考訳（メタデータ） (2020-06-15T13:03:33Z)
• Multiplicative noise and heavy tails in stochastic optimization [62.993432503309485]
  経験的最適化は現代の機械学習の中心であるが、その成功における役割はまだ不明である。 分散による離散乗法雑音のパラメータによく現れることを示す。 最新のステップサイズやデータを含む重要な要素について、詳細な分析を行い、いずれも最先端のニューラルネットワークモデルで同様の結果を示す。
  論文  参考訳（メタデータ） (2020-06-11T09:58:01Z)
• A Semiparametric Approach to Interpretable Machine Learning [9.87381939016363]
  機械学習におけるブラックボックスモデルは、複雑な問題と高次元設定において優れた予測性能を示した。 透明性と解釈可能性の欠如は、重要な意思決定プロセスにおけるそのようなモデルの適用性を制限します。 半パラメトリック統計学のアイデアを用いて予測モデルにおける解釈可能性と性能のトレードオフを行う新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-06-08T16:38:15Z)
• Machine learning for causal inference: on the use of cross-fit estimators [77.34726150561087]
  より優れた統計特性を得るために、二重ローバストなクロスフィット推定器が提案されている。 平均因果効果(ACE)に対する複数の推定器の性能評価のためのシミュレーション研究を行った。 機械学習で使用する場合、二重確率のクロスフィット推定器は、バイアス、分散、信頼区間のカバレッジで他のすべての推定器よりも大幅に優れていた。
  論文  参考訳（メタデータ） (2020-04-21T23:09:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。