Fugu-MT 論文翻訳(概要): Estimating the Local Learning Coefficient at Scale

論文の概要: Estimating the Local Learning Coefficient at Scale

arxiv url: http://arxiv.org/abs/2402.03698v2
Date: Mon, 30 Sep 2024 05:40:51 GMT
ステータス: 翻訳完了
システム内更新日: 2024-10-01 22:01:27.144241
Title: Estimating the Local Learning Coefficient at Scale
Title（参考訳）: 大規模学習における局所学習係数の推定
Authors: Zach Furman, Edmund Lau,
Abstract要約: テキスト局所学習係数(英: textitlocal learning coefficient, LLC)は、モデル複雑性を定量化する原理的な方法である。我々は,最大100Mパラメータの深部線形ネットワーク(DLN)に対して,LLCを正確に,かつ自己整合的に測定する方法を実証的に示す。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: The \textit{local learning coefficient} (LLC) is a principled way of quantifying model complexity, originally derived in the context of Bayesian statistics using singular learning theory (SLT). Several methods are known for numerically estimating the local learning coefficient, but so far these methods have not been extended to the scale of modern deep learning architectures or data sets. Using a method developed in {\tt arXiv:2308.12108 [stat.ML]} we empirically show how the LLC may be measured accurately and self-consistently for deep linear networks (DLNs) up to 100M parameters. We also show that the estimated LLC has the rescaling invariance that holds for the theoretical quantity.
Abstract（参考訳）: \textit{local learning coefficient} (LLC) はモデル複雑性を定量化する原理的な方法であり、もともとは特異学習理論(SLT)を用いてベイズ統計の文脈から導かれた。局所的な学習係数を数値的に推定する手法はいくつか知られているが、これらの手法は現代のディープラーニングアーキテクチャやデータセットの規模にまで拡張されていない。 {\tt arXiv:2308.12108 [stat.ML]} で開発された手法を用いて、深い線形ネットワーク(DLN)を最大100Mパラメータまで正確に自己整合的に測定する方法を実証的に示す。また, 推定LLCは, 理論量に対する再スケーリング不変性を有することを示す。

関連論文リスト

Iterative Methods for Full-Scale Gaussian Process Approximations for Large Spatial Data [9.913418444556486]
本稿では, FSAを用いた確率, 勾配, 予測分布の計算コストの削減に, 反復法をどのように利用できるかを示す。また,推定法や反復法に依存する予測分散を計算する新しい,正確かつ高速な手法を提案する。すべてのメソッドは、ハイレベルなPythonとRパッケージを備えたフリーのC++ソフトウェアライブラリで実装されている。
論文参考訳（メタデータ） (2024-05-23T12:25:22Z)
Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
論文参考訳（メタデータ） (2024-01-18T08:12:23Z)
The Local Learning Coefficient: A Singularity-Aware Complexity Measure [2.1670528702668648]
深層ニューラルネットワーク(DNN)の新たな複雑性尺度として,局所学習係数(LLC)が導入されている。本稿では,LLCの理論的基盤を探究し,その応用に関する明確な定義と直感的な洞察を提供する。最終的に、LLCは、ディープラーニングの複雑さとパーシモニーの原則との明らかな矛盾を和らげる重要なツールとして現れます。
論文参考訳（メタデータ） (2023-08-23T12:55:41Z)
Unifying Synergies between Self-supervised Learning and Dynamic Computation [53.66628188936682]
SSLとDCのパラダイム間の相互作用に関する新しい視点を提示する。 SSL設定において、スクラッチから高密度かつゲートされたサブネットワークを同時に学習することは可能であることを示す。密集エンコーダとゲートエンコーダの事前学習における共進化は、良好な精度と効率のトレードオフをもたらす。
論文参考訳（メタデータ） (2023-01-22T17:12:58Z)
Adaptive neighborhood Metric learning [184.95321334661898]
適応的近傍距離距離学習(ANML)という新しい距離距離距離距離距離距離学習アルゴリズムを提案する。 ANMLは線形埋め込みと深層埋め込みの両方を学ぶのに使うことができる。本手法で提案するemphlog-exp平均関数は,深層学習手法をレビューするための新たな視点を与える。
論文参考訳（メタデータ） (2022-01-20T17:26:37Z)
Learning to Estimate Without Bias [57.82628598276623]
ガウスの定理は、重み付き最小二乗推定器は線形モデルにおける線形最小分散アンバイアスド推定(MVUE)であると述べている。本稿では、バイアス制約のあるディープラーニングを用いて、この結果を非線形設定に拡張する第一歩を踏み出す。 BCEの第二の動機は、同じ未知の複数の推定値が平均化されてパフォーマンスが向上するアプリケーションにおいてである。
論文参考訳（メタデータ） (2021-10-24T10:23:51Z)
Neural Networks for Parameter Estimation in Intractable Models [0.0]
本稿では,最大安定過程からパラメータを推定する方法を示す。モデルシミュレーションのデータを入力として使用し,統計的パラメータを学習するために深層ニューラルネットワークを訓練する。
論文参考訳（メタデータ） (2021-07-29T21:59:48Z)
Clustered Federated Learning via Generalized Total Variation Minimization [83.26141667853057]
本研究では,分散ネットワーク構造を持つローカルデータセットの局所的(あるいはパーソナライズされた)モデルを学習するための最適化手法について検討する。我々の主要な概念的貢献は、総変動最小化(GTV)としてフェデレーション学習を定式化することである。私たちのアルゴリズムの主な貢献は、完全に分散化されたフェデレーション学習アルゴリズムです。
論文参考訳（メタデータ） (2021-05-26T18:07:19Z)
Fast covariance parameter estimation of spatial Gaussian process models using neural networks [0.0]
我々はnnを入力として適度な大きさの空間場または変量線を取り、範囲と信号間の共分散パラメータを返すように訓練する。トレーニングが完了すると、nnsはml推定と同等の精度で見積もりを提供し、100倍以上のスピードアップを行う。この作業は、他のより複雑な空間問題に容易に拡張することができ、計算統計における機械学習の使用に対する概念の証明を提供する。
論文参考訳（メタデータ） (2020-12-30T22:06:26Z)
Efficient Debiased Evidence Estimation by Multilevel Monte Carlo Sampling [0.0]
ベイズ推論に基づくマルチレベルモンテカルロ法(MLMC)の最適化手法を提案する。計算結果から,従来の推定値と比較すると,かなりの計算量の削減が確認できた。
論文参考訳（メタデータ） (2020-01-14T09:14:24Z)
Localized Debiased Machine Learning: Efficient Inference on Quantile Treatment Effects and Beyond [69.83813153444115]
因果推論における(局所)量子化処理効果((L)QTE)の効率的な推定式を検討する。 Debiased Machine Learning (DML)は、高次元のニュアンスを推定するデータ分割手法である。本稿では、この負担のかかるステップを避けるために、局所的脱バイアス機械学習(LDML)を提案する。
論文参考訳（メタデータ） (2019-12-30T14:42:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。