Fugu-MT 論文翻訳(概要): Regression Prior Networks

論文の概要: Regression Prior Networks

arxiv url: http://arxiv.org/abs/2006.11590v2
Date: Wed, 9 Dec 2020 09:34:21 GMT
ステータス: 処理完了
システム内更新日: 2022-11-18 22:09:42.100124
Title: Regression Prior Networks
Title（参考訳）: 回帰優先ネットワーク
Authors: Andrey Malinin, Sergey Chervontsev, Ivan Provilkov and Mark Gales
Abstract要約: Prior Networksは、不確実性の解釈可能な尺度を生成する、新しく開発されたモデルのクラスである。また、Ensemble Distribution Distillation (EnD$2$)を介してモデルのアンサンブルを蒸留することもできる。この作業は、Normal-Wishart分布を考慮し、Presideor NetworksとEnD$2$を回帰タスクに拡張する。
参考スコア（独自算出の注目度）: 14.198991969107524
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Prior Networks are a recently developed class of models which yield interpretable measures of uncertainty and have been shown to outperform state-of-the-art ensemble approaches on a range of tasks. They can also be used to distill an ensemble of models via Ensemble Distribution Distillation (EnD$^2$), such that its accuracy, calibration and uncertainty estimates are retained within a single model. However, Prior Networks have so far been developed only for classification tasks. This work extends Prior Networks and EnD$^2$ to regression tasks by considering the Normal-Wishart distribution. The properties of Regression Prior Networks are demonstrated on synthetic data, selected UCI datasets and a monocular depth estimation task, where they yield performance competitive with ensemble approaches.
Abstract（参考訳）: Prior Networksは、不確実性の解釈可能な尺度を導出し、様々なタスクにおける最先端のアンサンブルアプローチより優れていることが示されている。アンサンブル分布蒸留(end$^2$)によってモデルのアンサンブルを蒸留することもでき、その精度、キャリブレーション、不確実性の推定を1つのモデルに保持することができる。しかし,これまでプリエントネットワークは分類タスクのみのために開発されてきた。この作業は、正規-ウィッシュアート分布を考慮し、事前ネットワークとEnD$^2$を回帰タスクに拡張する。回帰優先ネットワークの特性は、合成データ、選択されたUCIデータセット、モノクル深度推定タスクで示され、アンサンブルアプローチと競合する性能が得られる。

関連論文リスト

Building a Winning Team: Selecting Source Model Ensembles using a Submodular Transferability Estimation Approach [20.86345962679122]
公開されている事前訓練されたモデルの目標タスクへの転送可能性の推定は、伝達学習タスクにとって重要な場所となっている。本稿では, モデルアンサンブルの下流タスクへの転送可能性を評価するために, 最適なtranSportベースのsuBmOdular tRaNsferability Metrics(OSBORN)を提案する。
論文参考訳（メタデータ） (2023-09-05T17:57:31Z)
Cross-Inferential Networks for Source-free Unsupervised Domain Adaptation [17.718392065388503]
クロス推論ネットワーク (CIN) と呼ばれる新しい手法を提案する。主な考え方は、符号化された特徴からサンプルラベルを予測するためにネットワークモデルを適用する際に、これらの予測結果を用いて、派生したラベルを用いた新しいトレーニングサンプルを構築することである。ベンチマークデータを用いた実験の結果,提案手法により,ソースフリーなUDAの性能が大幅に向上することが示された。
論文参考訳（メタデータ） (2023-06-29T14:04:24Z)
Precision-Recall Divergence Optimization for Generative Modeling with GANs and Normalizing Flows [54.050498411883495]
本研究では,ジェネレーティブ・アドバイサル・ネットワークや正規化フローなどの生成モデルのための新しいトレーニング手法を開発した。指定された精度-リコールトレードオフを達成することは、textitPR-divergencesと呼ぶ家族からのユニークな$f$-divergenceを最小化することを意味する。当社のアプローチは,ImageNetなどのデータセットでテストした場合の精度とリコールの両面で,BigGANのような既存の最先端モデルの性能を向上させる。
論文参考訳（メタデータ） (2023-05-30T10:07:17Z)
SynBench: Task-Agnostic Benchmarking of Pretrained Representations using Synthetic Data [78.21197488065177]
近年、下流のタスクで大規模なデータで事前訓練された微調整大型モデルが成功し、ディープラーニングにおける重要なパラダイムシフトにつながった。本稿では,合成データを用いて事前学習した表現の質を測定するためのタスク非依存フレームワークであるtextitSynBenchを提案する。
論文参考訳（メタデータ） (2022-10-06T15:25:00Z)
Stochastic Deep Networks with Linear Competing Units for Model-Agnostic Meta-Learning [4.97235247328373]
本研究は,LWTA(Local winner-takes-all)アクティベーションを伴うディープネットワークを考慮したメタラーニング(ML)に対処する。このタイプのネットワークユニットは、ユニットが1つのユニットだけがゼロでない出力を生成するブロックに編成されるため、各モデルレイヤからスパース表現が生成される。提案手法は,数ショット画像の分類と回帰実験における最先端の予測精度と,アクティブな学習環境における予測誤差の低減を実現する。
論文参考訳（メタデータ） (2022-08-02T16:19:54Z)
Compound Density Networks for Risk Prediction using Electronic Health Records [1.1786249372283562]
複合密度ネットワーク(CDNet)を用いたエンドツーエンド統合手法を提案する。 CDNetは、単一のフレームワーク内で計算方法と予測モデルを調整できるようにする。我々は,MIMIC-IIIデータセット上での死亡予測タスクにおいてCDNetを検証した。
論文参考訳（メタデータ） (2022-08-02T09:04:20Z)
General Greedy De-bias Learning [163.65789778416172]
本稿では,関数空間における勾配降下のような偏りのあるモデルとベースモデルを優雅に訓練する一般グリーディ・デバイアス学習フレームワーク(GGD)を提案する。 GGDは、事前知識を持つタスク固有バイアスモデルと、事前知識を持たない自己アンサンブルバイアスモデルの両方の設定の下で、より堅牢なベースモデルを学ぶことができる。
論文参考訳（メタデータ） (2021-12-20T14:47:32Z)
Predicting with Confidence on Unseen Distributions [90.68414180153897]
ドメイン適応と予測不確実性文学を結びつけて、挑戦的な未知分布のモデル精度を予測する。分類器の予測における信頼度(DoC)の差は,様々な変化に対して,分類器の性能変化を推定することに成功した。具体的には, 合成分布と自然分布の区別について検討し, その単純さにもかかわらず, DoCは分布差の定量化に優れることを示した。
論文参考訳（メタデータ） (2021-07-07T15:50:18Z)
End-to-End Weak Supervision [15.125993628007972]
下流モデルを直接学習するためのエンドツーエンドアプローチを提案する。下流テストセットにおけるエンドモデル性能の観点から,先行作業よりも性能が向上したことを示す。
論文参考訳（メタデータ） (2021-07-05T19:10:11Z)
Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文参考訳（メタデータ） (2020-03-10T03:10:41Z)
Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。