論文の概要: Estimation of the Learning Coefficient Using Empirical Loss

• arxiv url: http://arxiv.org/abs/2502.09998v1
• Date: Fri, 14 Feb 2025 08:30:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-17 14:47:46.569156
• Title: Estimation of the Learning Coefficient Using Empirical Loss
• Title（参考訳）: 経験的損失を用いた学習係数の推定
• Authors: Tatsuyoshi Takio, Joe Suzuki,
• Abstract要約: 学習係数は,情報基準の性能分析において重要な役割を果たす。 本稿では,従来の手法と根本的に異なる新しい数値推定法を提案する。
• 参考スコア（独自算出の注目度）: 0.9208007322096532
• License:
• Abstract: The learning coefficient plays a crucial role in analyzing the performance of information criteria, such as the Widely Applicable Information Criterion (WAIC) and the Widely Applicable Bayesian Information Criterion (WBIC), which Sumio Watanabe developed to assess model generalization ability. In regular statistical models, the learning coefficient is given by d/2, where d is the dimension of the parameter space. More generally, it is defined as the absolute value of the pole order of a zeta function derived from the Kullback-Leibler divergence and the prior distribution. However, except for specific cases such as reduced-rank regression, the learning coefficient cannot be derived in a closed form. Watanabe proposed a numerical method to estimate the learning coefficient, which Imai further refined to enhance its convergence properties. These methods utilize the asymptotic behavior of WBIC and have been shown to be statistically consistent as the sample size grows. In this paper, we propose a novel numerical estimation method that fundamentally differs from previous approaches and leverages a new quantity, "Empirical Loss," which was introduced by Watanabe. Through numerical experiments, we demonstrate that our proposed method exhibits both lower bias and lower variance compared to those of Watanabe and Imai. Additionally, we provide a theoretical analysis that elucidates why our method outperforms existing techniques and present empirical evidence that supports our findings.
• Abstract（参考訳）: 学習係数は、渡辺純夫がモデル一般化能力を評価するために開発したワイド・応用情報基準(WAIC)やワイド・応用ベイズ情報基準(WBIC)などの情報基準の性能を分析する上で重要な役割を担っている。 正規統計モデルでは、学習係数は d/2 で与えられるが、d はパラメータ空間の次元である。 より一般に、これはクルバック・リーバーの発散とそれ以前の分布から導かれるゼータ函数の極次数の絶対値として定義される。 しかし、低ランク回帰のような特定の場合を除いて、学習係数は閉形式では導出できない。 渡辺は学習係数を推定する数値的手法を提案し、今井は収束性を高めるためにさらに改良した。 これらの手法はWBICの漸近的挙動を利用しており、サンプルサイズが大きくなるにつれて統計的に一貫性があることが示されている。 本稿では,従来の手法と根本的に異なる新しい数値推定法を提案し,渡辺が導入した新しい量"Empirical Loss"を活用する。 数値実験により, 提案手法は, 渡辺や今井に比べて低いバイアスと低い分散の両方を示すことを示した。 さらに,本手法が既存の手法より優れている理由を解明する理論解析を行い,本研究の成果を裏付ける実証的証拠を提示する。

関連論文リスト

• Model-free Methods for Event History Analysis and Efficient Adjustment (PhD Thesis) [55.2480439325792]
  この論文は、モデルフリーの観点から統一された統計学への独立した貢献のシリーズである。 第1章では、機械学習から予測技術を活用する柔軟なメソッドを定式化するために、モデルフリーの視点をどのように利用できるか、詳しく説明している。 第2章では、あるプロセスの進化が他のプロセスに直接影響されるかどうかを記述した地域独立の概念を研究している。
  論文  参考訳（メタデータ） (2025-02-11T19:24:09Z)
• Method-of-Moments Inference for GLMs and Doubly Robust Functionals under Proportional Asymptotics [30.324051162373973]
  高次元一般化線形モデル(GLM)における回帰係数と信号対雑音比の推定について考察する。 我々は、推論対象の一貫性と漸近的正規性(CAN)推定を導出する。 理論的結果を数値実験と既存文献との比較で補完する。
  論文  参考訳（メタデータ） (2024-08-12T12:43:30Z)
• Model Free Prediction with Uncertainty Assessment [7.524024486998338]
  そこで本研究では,深部推定パラダイムを条件付き平均推定を行うプラットフォームに変換する新しいフレームワークを提案する。 本研究では, 条件付き拡散モデルに対する終端収束率を開発し, 生成した試料の正規性を確立する。 数値実験により,提案手法の有効性を実証的に検証した。
  論文  参考訳（メタデータ） (2024-05-21T11:19:50Z)
• Selective Nonparametric Regression via Testing [54.20569354303575]
  本研究では,所定の点における条件分散の値に関する仮説を検証し,留置手順を開発する。 既存の手法とは異なり、提案手法は分散自体の値だけでなく、対応する分散予測器の不確実性についても考慮することができる。
  論文  参考訳（メタデータ） (2023-09-28T13:04:11Z)
• Non-Parametric Learning of Stochastic Differential Equations with Non-asymptotic Fast Rates of Convergence [65.63201894457404]
  非線形微分方程式のドリフトと拡散係数の同定のための新しい非パラメトリック学習パラダイムを提案する。 鍵となる考え方は、基本的には、対応するフォッカー・プランク方程式のRKHSに基づく近似をそのような観測に適合させることである。
  論文  参考訳（メタデータ） (2023-05-24T20:43:47Z)
• Data-Driven Influence Functions for Optimization-Based Causal Inference [105.5385525290466]
  統計的汎関数に対するガトー微分を有限差分法で近似する構成的アルゴリズムについて検討する。 本研究では,確率分布を事前知識がないが,データから推定する必要がある場合について検討する。
  論文  参考訳（メタデータ） (2022-08-29T16:16:22Z)
• A New Central Limit Theorem for the Augmented IPW Estimator: Variance Inflation, Cross-Fit Covariance and Beyond [0.9172870611255595]
  クロスフィッティングを用いたクロスフィッティング逆確率重み付け(AIPW)は、実際は一般的な選択肢である。 本研究では, 高次元状態における結果回帰モデルと確率スコアモデルを用いて, クロスフィット型AIPW推定器について検討する。 本研究は, メッセージパッシング理論, 決定論的等価性理論, 離脱一元的アプローチの3つの異なるツール間の新たな相互作用を利用する。
  論文  参考訳（メタデータ） (2022-05-20T14:17:53Z)
• Learning to Estimate Without Bias [57.82628598276623]
  ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。 本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
  論文  参考訳（メタデータ） (2021-10-24T10:23:51Z)
• Statistical Inference for High-Dimensional Linear Regression with Blockwise Missing Data [13.48481978963297]
  ブロックワイドなデータは、異なるソースまたはモダリティが相補的な情報を含むマルチソースまたはマルチモダリティデータを統合するときに発生する。 本稿では,未偏差推定方程式に基づいて回帰係数ベクトルを計算効率良く推定する手法を提案する。 アルツハイマー病神経画像イニシアチブの数値的研究と応用分析により、提案手法は既存の方法よりも教師なしのサンプルからより優れた性能と利益を得られることを示した。
  論文  参考訳（メタデータ） (2021-06-07T05:12:42Z)
• Statistical learning and cross-validation for point processes [0.9281671380673306]
  本稿では,一般空間における点過程の一般(パラメトリック)統計学習フレームワークを提案する。 一般的な考え方は、対応するトレーニングセットを使用してcv生成検証セットを予測して適合させることである。 統計的学習手法が平均(積分)二乗誤差の点で芸術の状態を上回っていることを数値的に示す。
  論文  参考訳（メタデータ） (2021-03-01T23:47:48Z)
• Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
  実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。 特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。 本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
  論文  参考訳（メタデータ） (2021-02-12T12:23:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。