論文の概要: It Is Likely That Your Loss Should be a Likelihood

• arxiv url: http://arxiv.org/abs/2007.06059v2
• Date: Fri, 2 Oct 2020 14:39:37 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-11 05:11:28.705169
• Title: It Is Likely That Your Loss Should be a Likelihood
• Title（参考訳）: あなたの損失は 可能性は高いでしょうが
• Authors: Mark Hamilton, Evan Shelhamer, William T. Freeman
• Abstract要約: 正規分散やソフトマックス温度といったパラメータを含む全確率の最適化を議論する。 これらの「様相パラメータ」とモデルパラメータとの結合最適化は、正規化の強さに加えて、損失のスケールと形状を適応的に調整することができる。
• 参考スコア（独自算出の注目度）: 39.940871134237106
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many common loss functions such as mean-squared-error, cross-entropy, and reconstruction loss are unnecessarily rigid. Under a probabilistic interpretation, these common losses correspond to distributions with fixed shapes and scales. We instead argue for optimizing full likelihoods that include parameters like the normal variance and softmax temperature. Joint optimization of these "likelihood parameters" with model parameters can adaptively tune the scales and shapes of losses in addition to the strength of regularization. We explore and systematically evaluate how to parameterize and apply likelihood parameters for robust modeling, outlier-detection, and re-calibration. Additionally, we propose adaptively tuning $L_2$ and $L_1$ weights by fitting the scale parameters of normal and Laplace priors and introduce more flexible element-wise regularizers.
• Abstract（参考訳）: 平均二乗誤差、クロスエントロピー、レコンストラクション損失といった多くの一般的な損失関数は不必要に剛性がある。 確率論的解釈の下で、これらの共通の損失は一定の形状とスケールの分布に対応する。 代わりに、正規分散やソフトマックス温度といったパラメータを含む完全な可能性の最適化を議論する。 これらの「相似パラメータ」とモデルパラメータの合同最適化は、正規化の強さに加えて損失のスケールや形状を適応的に調整することができる。 我々は,ロバストなモデリング,異常検出,再校正のための確率パラメータのパラメータ化と適用方法について検討し,体系的に評価する。 さらに, 正規およびラプラスプリエントのスケールパラメータを適合させることにより, $l_2$ と $l_1$ を適応的に調整し, より柔軟な要素方向正則化器を導入する。

関連論文リスト

• Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
  我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。 我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
  論文  参考訳（メタデータ） (2024-07-11T13:28:34Z)
• Scaling and renormalization in high-dimensional regression [72.59731158970894]
  本稿では,様々な高次元リッジ回帰モデルの訓練および一般化性能の簡潔な導出について述べる。 本稿では,物理と深層学習の背景を持つ読者を対象に,これらのトピックに関する最近の研究成果の紹介とレビューを行う。
  論文  参考訳（メタデータ） (2024-05-01T15:59:00Z)
• Distributionally Robust Optimization with Bias and Variance Reduction [9.341215359733601]
  勾配に基づくアルゴリズムであるProspectは、スムーズな正規化損失に対する線形収束を享受していることを示す。 また、勾配法のようなベースラインよりも2～3$times$早く収束できることも示している。
  論文  参考訳（メタデータ） (2023-10-21T00:03:54Z)
• Learning Layer-wise Equivariances Automatically using Gradients [66.81218780702125]
  畳み込みは等価対称性をニューラルネットワークにエンコードし、より優れた一般化性能をもたらす。 対称性は、ネットワークが表現できる機能、事前に指定する必要、適応できない機能に対して、固定されたハード制約を提供する。 私たちのゴールは、勾配を使ってデータから自動的に学習できるフレキシブル対称性の制約を可能にすることです。
  論文  参考訳（メタデータ） (2023-10-09T20:22:43Z)
• Leveraging Self-Consistency for Data-Efficient Amortized Bayesian Inference [9.940560505044122]
  本稿では,償却ベイズ推定の効率と精度を向上させる手法を提案する。 我々は,関節モデルの近似表現に基づいて限界確率を推定する。
  論文  参考訳（メタデータ） (2023-10-06T17:41:41Z)
• Robust scalable initialization for Bayesian variational inference with multi-modal Laplace approximations [0.0]
  フル共分散構造を持つ変分混合は、パラメータ数による変動パラメータによる二次的な成長に苦しむ。 本稿では,変分推論のウォームスタートに使用できる初期ガウスモデル近似を構築する方法を提案する。
  論文  参考訳（メタデータ） (2023-07-12T19:30:04Z)
• Provably tuning the ElasticNet across instances [53.0518090093538]
  我々は、複数の問題インスタンスにまたがるリッジ回帰、LASSO、ElasticNetの正規化パラメータをチューニングする問題を考察する。 我々の結果は、この重要な問題に対する学習理論による最初の一般的な保証である。
  論文  参考訳（メタデータ） (2022-07-20T21:22:40Z)
• Support estimation in high-dimensional heteroscedastic mean regression [2.28438857884398]
  ランダムな設計と、潜在的にヘテロセダスティックで重み付きエラーを伴う線形平均回帰モデルを考える。 我々は,問題のパラメータに依存するチューニングパラメータを備えた,厳密な凸・滑らかなHuber損失関数の変種を用いる。 得られた推定器に対して、$ell_infty$ノルムにおける符号一貫性と最適収束率を示す。
  論文  参考訳（メタデータ） (2020-11-03T09:46:31Z)
• Understanding Implicit Regularization in Over-Parameterized Single Index Model [55.41685740015095]
  我々は高次元単一インデックスモデルのための正規化自由アルゴリズムを設計する。 暗黙正則化現象の理論的保証を提供する。
  論文  参考訳（メタデータ） (2020-07-16T13:27:47Z)
• Asymptotics of Ridge (less) Regression under General Source Condition [26.618200633139256]
  我々は,真の回帰パラメータの構造が果たす役割を考察する。 有界信号-雑音比(SNR)においても(正規化なし)が最適であることを示す。 これは、リッジ回帰を考慮した以前の研究と対照的であり、この場合、無限 SNR の極限においてのみ最適である。
  論文  参考訳（メタデータ） (2020-06-11T13:00:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。