論文の概要: Accelerating Generalized Linear Models by Trading off Computation for Uncertainty

• arxiv url: http://arxiv.org/abs/2310.20285v1
• Date: Tue, 31 Oct 2023 08:58:16 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-01 15:59:08.062908
• Title: Accelerating Generalized Linear Models by Trading off Computation for Uncertainty
• Title（参考訳）: 不確実性計算による一般化線形モデルの高速化
• Authors: Lukas Tatzel, Jonathan Wenger, Frank Schneider, Philipp Hennig
• Abstract要約: このエラーを明示的にモデル化する反復的手法のファミリーを紹介します。 それらは並列コンピューティングハードウェア、効率的な計算のリサイクル、情報圧縮に適している。 示すように,本手法は,不確実性を高めるために,削減された計算を明示的に取り除き,トレーニングを著しく加速する。
• 参考スコア（独自算出の注目度）: 29.877181350448193
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bayesian Generalized Linear Models (GLMs) define a flexible probabilistic framework to model categorical, ordinal and continuous data, and are widely used in practice. However, exact inference in GLMs is prohibitively expensive for large datasets, thus requiring approximations in practice. The resulting approximation error adversely impacts the reliability of the model and is not accounted for in the uncertainty of the prediction. In this work, we introduce a family of iterative methods that explicitly model this error. They are uniquely suited to parallel modern computing hardware, efficiently recycle computations, and compress information to reduce both the time and memory requirements for GLMs. As we demonstrate on a realistically large classification problem, our method significantly accelerates training by explicitly trading off reduced computation for increased uncertainty.
• Abstract（参考訳）: ベイズ一般化線形モデル(glms)は、カテゴリー、順序、連続データをモデル化するための柔軟な確率的枠組みを定義し、実際に広く使われている。 しかし、GLMの正確な推測は大規模なデータセットでは違法に高価であり、実際には近似を必要とする。 その結果生じる近似誤差はモデルの信頼性に悪影響を与え、予測の不確実性には考慮されない。 本稿では,このエラーを明示的にモデル化する反復的手法のファミリーを紹介する。 これらは並列コンピューティングハードウェアに特化しており、計算を効率よくリサイクルし、GLMの時間とメモリの要求の両方を減らすために情報を圧縮する。 本手法は,不確かさを増大させるために,減算計算を明示的に切り換えることで,トレーニングを著しく高速化する。

関連論文リスト

• Computation-Aware Gaussian Processes: Model Selection And Linear-Time Inference [55.150117654242706]
  我々は、1.8万のデータポイントでトレーニングされた計算対応GPのモデル選択が、1つのGPU上で数時間以内に可能であることを示す。 この研究の結果、ガウス過程は、不確実性を定量化する能力を著しく妥協することなく、大規模なデータセットで訓練することができる。
  論文  参考訳（メタデータ） (2024-11-01T21:11:48Z)
• Gradient-free variational learning with conditional mixture networks [39.827869318925494]
  条件付き混合ネットワーク(CMN)は、高速で勾配のない推論に適しており、複雑な分類タスクを解くことができる。 UCIレポジトリから標準ベンチマークで2層CMNをトレーニングすることで、このアプローチを検証する。 提案手法であるCAVI-CMNは,バックプロパゲーションを伴う最大推定値(MLE)と比較して,競合的かつしばしば優れた予測精度を実現する。
  論文  参考訳（メタデータ） (2024-08-29T10:43:55Z)
• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Scalable Higher-Order Tensor Product Spline Models [0.0]
  本稿では,高階テンソル積スプラインモデルから高階テンソル積を導出する因子分解法を提案する。 本手法では,非線形特徴効果のすべての(高次)相互作用を,相互作用のないモデルに比例した計算コストで組み込むことが可能である。
  論文  参考訳（メタデータ） (2024-02-02T01:18:48Z)
• Additive Higher-Order Factorization Machines [0.0]
  因子化手法を用いて,スケーラブルな高次テンソル積スプラインモデルを導出する。 本手法では,非線形特徴効果のすべての(高次)相互作用を含めることができる。 我々は理論上も経験的にも,我々の手法が既存の手法よりも顕著に優れていることを証明している。
  論文  参考訳（メタデータ） (2022-05-28T19:50:52Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Multi-output Gaussian Processes for Uncertainty-aware Recommender Systems [3.908842679355254]
  モデルトレーニングと推論のための効率的な戦略を導入し、その結果、非常に大きくスパースなデータセットにスケールするモデルを生み出します。 我々のモデルは、その予測の定量化に関する有意義な不確実性推定も提供する。
  論文  参考訳（メタデータ） (2021-06-08T10:01:14Z)
• Scalable Marginal Likelihood Estimation for Model Selection in Deep Learning [78.83598532168256]
  階層型モデル選択は、推定困難のため、ディープラーニングではほとんど使われない。 本研究は,検証データが利用できない場合,限界的可能性によって一般化が向上し,有用であることを示す。
  論文  参考訳（メタデータ） (2021-04-11T09:50:24Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Real-Time Regression with Dividing Local Gaussian Processes [62.01822866877782]
  局所ガウス過程は、ガウス過程の回帰に基づく新しい、計算効率の良いモデリング手法である。 入力空間の反復的データ駆動分割により、実際にはトレーニングポイントの総数において、サブ線形計算複雑性が達成される。 実世界のデータセットに対する数値的な評価は、予測と更新の速度だけでなく、精度の点で他の最先端手法よりも有利であることを示している。
  論文  参考訳（メタデータ） (2020-06-16T18:43:31Z)
• Scaling Bayesian inference of mixed multinomial logit models to very large datasets [9.442139459221785]
  本稿では,バックプロパゲーション,自動微分,GPU加速計算を活用するアモルティファイド変分推論手法を提案する。 本研究では, 後部近似の柔軟性を高めるために, フローの正規化がいかに有効かを示す。
  論文  参考訳（メタデータ） (2020-04-11T15:30:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。