論文の概要: Uncertainty Regularized Evidential Regression
- arxiv url: http://arxiv.org/abs/2401.01484v1
- Date: Wed, 3 Jan 2024 01:18:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-04 15:34:41.950129
- Title: Uncertainty Regularized Evidential Regression
- Title(参考訳): 不確実な正規化証拠回帰
- Authors: Kai Ye, Tiejin Chen, Hua Wei, Liang Zhan
- Abstract要約: Evidential Regression Network (ERN)は、深層学習とDempster-Shaferの理論を統合する新しいアプローチである。
特定のアクティベーション関数は非負の値を強制するために使わなければならない。
本稿では,この限界を理論的に解析し,克服するための改善を提案する。
- 参考スコア(独自算出の注目度): 5.874234972285304
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Evidential Regression Network (ERN) represents a novel approach that
integrates deep learning with Dempster-Shafer's theory to predict a target and
quantify the associated uncertainty. Guided by the underlying theory, specific
activation functions must be employed to enforce non-negative values, which is
a constraint that compromises model performance by limiting its ability to
learn from all samples. This paper provides a theoretical analysis of this
limitation and introduces an improvement to overcome it. Initially, we define
the region where the models can't effectively learn from the samples. Following
this, we thoroughly analyze the ERN and investigate this constraint. Leveraging
the insights from our analysis, we address the limitation by introducing a
novel regularization term that empowers the ERN to learn from the whole
training set. Our extensive experiments substantiate our theoretical findings
and demonstrate the effectiveness of the proposed solution.
- Abstract(参考訳): Evidential Regression Network(ERN)は、ディープラーニングとDempster-Shaferの理論を統合して、ターゲットを予測し、関連する不確実性を定量化する新しいアプローチである。
基本理論によって導かれる特定のアクティベーション関数は、非負の値を強制するために用いられる必要があり、これは全てのサンプルから学習する能力を制限することによってモデル性能を損なう制約である。
本稿では,この限界を理論的に解析し,克服するための改善を提案する。
まず、モデルがサンプルから効果的に学習できない領域を定義します。
次に、ERNを徹底的に分析し、この制約について検討する。
分析から得られた知見を活用して、ERNにトレーニングセット全体から学ぶ権限を与える新たな正規化用語を導入することで、制限に対処する。
広範な実験により,提案手法の有効性が実証された。
関連論文リスト
- Provably Efficient Partially Observable Risk-Sensitive Reinforcement
Learning with Hindsight Observation [35.278669159850146]
本稿では,後方観測を部分的に観測可能な決定プロセス(POMDP)フレームワークに統合する新しい定式化を提案する。
本研究では,この設定に適したRLアルゴリズムを初めて提案する。
これらの手法は、強化学習の理論的研究に特に関心がある。
論文 参考訳(メタデータ) (2024-02-28T08:24:06Z) - Theoretical Analysis of Leave-one-out Cross Validation for
Non-differentiable Penalties under High-dimensional Settings [12.029919627622954]
我々は, サンプル外リスクを推定する上で, 期待される2乗誤差(LO)に対して, サンプル上限を有限に設定する。
ここで提示される理論的枠組みは、LOの精度を示す経験的発見を解明するための確かな基盤を提供する。
論文 参考訳(メタデータ) (2024-02-13T15:48:10Z) - Source-Free Unsupervised Domain Adaptation with Hypothesis Consolidation
of Prediction Rationale [53.152460508207184]
Source-Free Unsupervised Domain Adaptation (SFUDA)は、モデルがターゲットのドメインラベルやソースドメインデータにアクセスせずに新しいドメインに適応する必要がある、という課題である。
本稿では,各サンプルについて複数の予測仮説を考察し,各仮説の背景にある理論的根拠について考察する。
最適性能を達成するために,モデル事前適応,仮説統合,半教師付き学習という3段階の適応プロセスを提案する。
論文 参考訳(メタデータ) (2024-02-02T05:53:22Z) - Iterative Preference Learning from Human Feedback: Bridging Theory and
Practice for RLHF under KL-Constraint [59.18441633176669]
本稿では,RLHFによる強化学習を用いた生成モデルのアライメント過程の理論的枠組みについて検討する。
我々は、標準的な数学的定式化、RLHFの逆KL正規化文脈帯域を考える。
我々は、オフライン、オンライン、ハイブリッドの3つの異なる設定でその振る舞いを調査し、有限サンプル理論的保証を持つ効率的なアルゴリズムを提案する。
論文 参考訳(メタデータ) (2023-12-18T18:58:42Z) - Understanding, Predicting and Better Resolving Q-Value Divergence in
Offline-RL [86.0987896274354]
まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。
そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。
われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
論文 参考訳(メタデータ) (2023-10-06T17:57:44Z) - Learn to Accumulate Evidence from All Training Samples: Theory and
Practice [7.257751371276488]
Evidential Deep Learningは、決定論的ニューラルネットワークの不確実性を認識するための、原則的かつ計算的に効率的な方法を提供する。
既存の明らかなアクティベーション関数はゼロエビデンス領域を生成するため、モデルがそのような領域に落ちてくるトレーニングサンプルから学ぶことができない。
我々の理論的基盤に基づく顕在的活性化関数のより深い分析は、新しい正則化器の設計を刺激する。
論文 参考訳(メタデータ) (2023-06-19T18:27:12Z) - Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳(メタデータ) (2023-06-09T08:30:51Z) - Task-Free Continual Learning via Online Discrepancy Distance Learning [11.540150938141034]
本稿では,来訪したサンプルとモデルトレーニングに利用可能な情報全体との差分距離に基づく一般化境界を提供する,新しい理論解析フレームワークを開発する。
この理論モデルに着想を得て,混合モデルに対する動的成分展開機構,すなわちオンライン離散距離学習(ODDL)によって実現された新しいアプローチを提案する。
論文 参考訳(メタデータ) (2022-10-12T20:44:09Z) - Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。
この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。
本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
論文 参考訳(メタデータ) (2022-06-08T04:09:13Z) - Excess risk analysis for epistemic uncertainty with application to
variational inference [110.4676591819618]
我々は、未知の分布からデータが生成される頻繁なセッティングにおいて、新しいEU分析を提示する。
一般化能力と、予測分布の分散やエントロピーなど、広く使用されているEUの測定値との関係を示す。
本研究では,PAC-ベイジアン理論に基づく予測とEU評価性能を直接制御する新しい変分推論を提案する。
論文 参考訳(メタデータ) (2022-06-02T12:12:24Z) - Can convolutional ResNets approximately preserve input distances? A
frequency analysis perspective [31.897568775099558]
正規化スキームとbi-Lipschitznessの理論的関係は、実際には成り立たない条件下でのみ有効であることを示す。
距離保存条件に対する逆例を探索する簡単な構成的アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-06-04T13:12:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。