論文の概要: Uncertainty Regularized Evidential Regression
- arxiv url: http://arxiv.org/abs/2401.01484v1
- Date: Wed, 3 Jan 2024 01:18:18 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-04 15:34:41.950129
- Title: Uncertainty Regularized Evidential Regression
- Title（参考訳）: 不確実な正規化証拠回帰
- Authors: Kai Ye, Tiejin Chen, Hua Wei, Liang Zhan
- Abstract要約: Evidential Regression Network (ERN)は、深層学習とDempster-Shaferの理論を統合する新しいアプローチである。
特定のアクティベーション関数は非負の値を強制するために使わなければならない。
本稿では,この限界を理論的に解析し,克服するための改善を提案する。
- 参考スコア（独自算出の注目度）: 5.874234972285304
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Evidential Regression Network (ERN) represents a novel approach that
integrates deep learning with Dempster-Shafer's theory to predict a target and
quantify the associated uncertainty. Guided by the underlying theory, specific
activation functions must be employed to enforce non-negative values, which is
a constraint that compromises model performance by limiting its ability to
learn from all samples. This paper provides a theoretical analysis of this
limitation and introduces an improvement to overcome it. Initially, we define
the region where the models can't effectively learn from the samples. Following
this, we thoroughly analyze the ERN and investigate this constraint. Leveraging
the insights from our analysis, we address the limitation by introducing a
novel regularization term that empowers the ERN to learn from the whole
training set. Our extensive experiments substantiate our theoretical findings
and demonstrate the effectiveness of the proposed solution.
- Abstract（参考訳）: Evidential Regression Network(ERN)は、ディープラーニングとDempster-Shaferの理論を統合して、ターゲットを予測し、関連する不確実性を定量化する新しいアプローチである。
基本理論によって導かれる特定のアクティベーション関数は、非負の値を強制するために用いられる必要があり、これは全てのサンプルから学習する能力を制限することによってモデル性能を損なう制約である。
本稿では,この限界を理論的に解析し,克服するための改善を提案する。
まず、モデルがサンプルから効果的に学習できない領域を定義します。
次に、ERNを徹底的に分析し、この制約について検討する。
分析から得られた知見を活用して、ERNにトレーニングセット全体から学ぶ権限を与える新たな正規化用語を導入することで、制限に対処する。
広範な実験により,提案手法の有効性が実証された。
関連論文リスト
- Rethinking State Disentanglement in Causal Reinforcement Learning [78.12976579620165]
因果性は、根底にある状態が識別可能性によって一意に回復できることを保証するための厳密な理論的支援を提供する。
我々はこの研究ラインを再考し、RL固有のコンテキストを取り入れることで、潜在状態に対する以前の識別可能性分析における不要な仮定を低減できることを示した。
本稿では, 従来手法の複雑な構造制約を, 遷移と報酬保存の2つの簡単な制約に置き換えることにより, 一般に部分的に観測可能なマルコフ決定過程(POMDP)を提案する。
論文 参考訳（メタデータ） (2024-08-24T06:49:13Z) - Empirical Tests of Optimization Assumptions in Deep Learning [41.05664717242051]
本稿では,理論解析において制御しなければならない重要な量を追跡するための新しい経験的指標を開発する。
テストされたすべての仮定は、確実に最適化性能を捉えられません。
このことは、理論解析に使用される解析的仮定の新しい実証的検証の必要性を強調している。
論文 参考訳（メタデータ） (2024-07-01T21:56:54Z) - Generalization Bounds for Causal Regression: Insights, Guarantees and Sensitivity Analysis [0.66567375919026]
このような保証を提供する一般化境界に基づく理論を提案する。
新たな測定の不等式の変化を導入することで、モデル損失を厳格に拘束することが可能になります。
半合成データと実データの境界を実証し、その顕著な厳密さと実用性を示す。
論文 参考訳（メタデータ） (2024-05-15T17:17:27Z) - Source-Free Unsupervised Domain Adaptation with Hypothesis Consolidation
of Prediction Rationale [53.152460508207184]
Source-Free Unsupervised Domain Adaptation (SFUDA)は、モデルがターゲットのドメインラベルやソースドメインデータにアクセスせずに新しいドメインに適応する必要がある、という課題である。
本稿では,各サンプルについて複数の予測仮説を考察し,各仮説の背景にある理論的根拠について考察する。
最適性能を達成するために,モデル事前適応,仮説統合,半教師付き学習という3段階の適応プロセスを提案する。
論文 参考訳（メタデータ） (2024-02-02T05:53:22Z) - Understanding, Predicting and Better Resolving Q-Value Divergence in
Offline-RL [86.0987896274354]
まず、オフラインRLにおけるQ値推定のばらつきの主な原因として、基本パターン、自己励起を同定する。
そこで本研究では,Q-network の学習における進化特性を測定するために,SEEM(Self-Excite Eigen Value Measure)尺度を提案する。
われわれの理論では、訓練が早期に発散するかどうかを確実に決定できる。
論文 参考訳（メタデータ） (2023-10-06T17:57:44Z) - Learn to Accumulate Evidence from All Training Samples: Theory and
Practice [7.257751371276488]
Evidential Deep Learningは、決定論的ニューラルネットワークの不確実性を認識するための、原則的かつ計算的に効率的な方法を提供する。
既存の明らかなアクティベーション関数はゼロエビデンス領域を生成するため、モデルがそのような領域に落ちてくるトレーニングサンプルから学ぶことができない。
我々の理論的基盤に基づく顕在的活性化関数のより深い分析は、新しい正則化器の設計を刺激する。
論文 参考訳（メタデータ） (2023-06-19T18:27:12Z) - Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。
提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。
複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
論文 参考訳（メタデータ） (2023-06-09T08:30:51Z) - Task-Free Continual Learning via Online Discrepancy Distance Learning [11.540150938141034]
本稿では,来訪したサンプルとモデルトレーニングに利用可能な情報全体との差分距離に基づく一般化境界を提供する,新しい理論解析フレームワークを開発する。
この理論モデルに着想を得て,混合モデルに対する動的成分展開機構,すなわちオンライン離散距離学習(ODDL)によって実現された新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-10-12T20:44:09Z) - Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。
この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。
本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
論文 参考訳（メタデータ） (2022-06-08T04:09:13Z) - Excess risk analysis for epistemic uncertainty with application to
variational inference [110.4676591819618]
我々は、未知の分布からデータが生成される頻繁なセッティングにおいて、新しいEU分析を提示する。
一般化能力と、予測分布の分散やエントロピーなど、広く使用されているEUの測定値との関係を示す。
本研究では,PAC-ベイジアン理論に基づく予測とEU評価性能を直接制御する新しい変分推論を提案する。
論文 参考訳（メタデータ） (2022-06-02T12:12:24Z) - Can convolutional ResNets approximately preserve input distances? A
frequency analysis perspective [31.897568775099558]
正規化スキームとbi-Lipschitznessの理論的関係は、実際には成り立たない条件下でのみ有効であることを示す。
距離保存条件に対する逆例を探索する簡単な構成的アルゴリズムを提案する。
論文 参考訳（メタデータ） (2021-06-04T13:12:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。