Fugu-MT 論文翻訳(概要): Learning Randomly Perturbed Structured Predictors for Direct Loss Minimization

論文の概要: Learning Randomly Perturbed Structured Predictors for Direct Loss Minimization

arxiv url: http://arxiv.org/abs/2007.05724v2
Date: Mon, 14 Jun 2021 08:55:45 GMT
ステータス: 処理完了
システム内更新日: 2022-11-11 13:08:14.156633
Title: Learning Randomly Perturbed Structured Predictors for Direct Loss Minimization
Title（参考訳）: 直接損失最小化のためのランダム摂動構造予測器の学習
Authors: Hedda Cohen Indelman, Tamir Hazan
Abstract要約: 直接損失最小化は、構造化ラベル空間上の予測子を学習するための一般的なアプローチである。構造化予測において,学習したスコア関数とランダム化雑音とのバランスが良くなることを示す。
参考スコア（独自算出の注目度）: 18.981576950505442
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Direct loss minimization is a popular approach for learning predictors over structured label spaces. This approach is computationally appealing as it replaces integration with optimization and allows to propagate gradients in a deep net using loss-perturbed prediction. Recently, this technique was extended to generative models, while introducing a randomized predictor that samples a structure from a randomly perturbed score function. In this work, we learn the variance of these randomized structured predictors and show that it balances better between the learned score function and the randomized noise in structured prediction. We demonstrate empirically the effectiveness of learning the balance between the signal and the random noise in structured discrete spaces.
Abstract（参考訳）: 直接損失最小化は、構造化ラベル空間上の予測子を学習するための一般的なアプローチである。このアプローチは、最適化と統合を置き換え、損失摂動予測を用いてディープネット内の勾配を伝播するので、計算的に魅力的である。近年、この手法が生成モデルに拡張され、ランダムに摂動したスコア関数から構造をサンプリングするランダム化予測器が導入された。本研究では,これらのランダム化構造予測器の分散を学習し,構造化予測における学習スコア関数とランダム化雑音とのバランス性を示す。構造化離散空間における信号とランダムノイズのバランスを学習する効果を実証的に示す。

関連論文リスト

Uncovering mesa-optimization algorithms in Transformers [61.06055590704677]
いくつかの自己回帰モデルは、入力シーケンスが処理されたときに学習でき、パラメータの変更を受けずに、それを行うように明示的に訓練されていない。我々は,新しい入力が明らかになったときにモデルを調整するための補助学習アルゴリズムが,標準の次トーケン予測誤差最小化によって生まれることを示す。本研究は、自己回帰損失最小化の産物としてコンテキスト内学習を説明し、新しい最適化ベースのトランスフォーマー層の設計を通知する。
論文参考訳（メタデータ） (2023-09-11T22:42:50Z)
Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
論文参考訳（メタデータ） (2023-09-02T01:27:53Z)
Learning Curves for Noisy Heterogeneous Feature-Subsampled Ridge Ensembles [34.32021888691789]
雑音の多い最小二乗尾根アンサンブルにおける特徴バッグングの理論を開発する。サブサンプリングは線形予測器の2Dピークをシフトすることを示した。特徴サブサンプリングアンサンブルの性能を1つの線形予測器と比較する。
論文参考訳（メタデータ） (2023-07-06T17:56:06Z)
Learning Structured Gaussians to Approximate Deep Ensembles [10.055143995729415]
本稿では,スパース構造多変量ガウシアンを用いて,高密度画像予測タスクのための閉形式近似器を提案する。正規分布における予測の不確かさと構造的相関を、サンプリング単独で暗黙的にではなく、明示的に捉える。単分子深度推定におけるアプローチの利点を実証し,本手法の利点が同等の定量的性能で得られることを示す。
論文参考訳（メタデータ） (2022-03-29T12:34:43Z)
Efficient and Differentiable Conformal Prediction with General Function Classes [96.74055810115456]
本稿では,複数の学習可能なパラメータに対する共形予測の一般化を提案する。本研究は, クラス内において, ほぼ有効な人口被覆率, ほぼ最適効率を実現していることを示す。実験の結果,提案アルゴリズムは有効な予測セットを学習し,効率を著しく向上できることがわかった。
論文参考訳（メタデータ） (2022-02-22T18:37:23Z)
Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
論文参考訳（メタデータ） (2022-02-14T16:42:16Z)
Probabilistic Forecasting with Generative Networks via Scoring Rule Minimization [5.5643498845134545]
生成ニューラルネットワークを用いて高次元空間上の分布をパラメトリズする。生成ネットワークをトレーニングし、関心の現象の時間的シーケンスの記録に基づいて、予測順序(または前順序)のスコアリングルールを最小化する。本手法は,特に確率的キャリブレーションにおいて,最先端の対角法よりも優れている。
論文参考訳（メタデータ） (2021-12-15T15:51:12Z)
Prediction intervals for Deep Neural Networks [0.0]
ニューラルネットワークのアンサンブルを構築するために,もともとランダム林向けに開発されたランダム化木法を適用した。アンサンブルで導入された超ランダム性は、予測のばらつきを減少させ、サンプル外の精度で利得を得る。
論文参考訳（メタデータ） (2020-10-08T15:11:28Z)
CASTLE: Regularization via Auxiliary Causal Graph Discovery [89.74800176981842]
因果構造学習(CASTLE)の正規化を導入し,変数間の因果関係を共同学習することでニューラルネットワークの正規化を提案する。 CASTLEは因果的隣り合いを持つ因果的DAGの特徴のみを効率的に再構成する一方、再構成ベース正規化器は全ての入力特徴を過度に再構成する。
論文参考訳（メタデータ） (2020-09-28T09:49:38Z)
Learning Output Embeddings in Structured Prediction [73.99064151691597]
構造化予測に対する強力で柔軟なアプローチは、予測される構造化対象を潜在的に無限次元の特徴空間に埋め込むことである。原空間における予測は、前像問題の解法により計算される。本研究では,新しい特徴空間に出力埋め込みと回帰関数の有限近似を共同で学習することを提案する。
論文参考訳（メタデータ） (2020-07-29T09:32:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。