論文の概要: Learn to Accumulate Evidence from All Training Samples: Theory and Practice

• arxiv url: http://arxiv.org/abs/2306.11113v1
• Date: Mon, 19 Jun 2023 18:27:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-21 16:40:11.594328
• Title: Learn to Accumulate Evidence from All Training Samples: Theory and Practice
• Title（参考訳）: すべてのトレーニングサンプルからエビデンスを蓄積する方法:理論と実践
• Authors: Deep Pandey and Qi Yu
• Abstract要約: Evidential Deep Learningは、決定論的ニューラルネットワークの不確実性を認識するための、原則的かつ計算的に効率的な方法を提供する。 既存の明らかなアクティベーション関数はゼロエビデンス領域を生成するため、モデルがそのような領域に落ちてくるトレーニングサンプルから学ぶことができない。 我々の理論的基盤に基づく顕在的活性化関数のより深い分析は、新しい正則化器の設計を刺激する。
• 参考スコア（独自算出の注目度）: 7.257751371276488
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Evidential deep learning, built upon belief theory and subjective logic, offers a principled and computationally efficient way to turn a deterministic neural network uncertainty-aware. The resultant evidential models can quantify fine-grained uncertainty using the learned evidence. To ensure theoretically sound evidential models, the evidence needs to be non-negative, which requires special activation functions for model training and inference. This constraint often leads to inferior predictive performance compared to standard softmax models, making it challenging to extend them to many large-scale datasets. To unveil the real cause of this undesired behavior, we theoretically investigate evidential models and identify a fundamental limitation that explains the inferior performance: existing evidential activation functions create zero evidence regions, which prevent the model to learn from training samples falling into such regions. A deeper analysis of evidential activation functions based on our theoretical underpinning inspires the design of a novel regularizer that effectively alleviates this fundamental limitation. Extensive experiments over many challenging real-world datasets and settings confirm our theoretical findings and demonstrate the effectiveness of our proposed approach.
• Abstract（参考訳）: 信念理論と主観論理に基づいて構築された実証的ディープラーニングは、決定論的ニューラルネットワークの不確実性を認識するための原理的かつ計算効率の高い方法を提供する。 結果の明らかなモデルは、得られた証拠を用いてきめ細かい不確実性を定量化することができる。 理論的に明らかなモデルを確実にするためには、モデルトレーニングと推論に特別なアクティベーション機能を必要とする非負の証拠が必要である。 この制約は、標準的なsoftmaxモデルに比べて予測性能に劣ることが多いため、多くの大規模データセットに拡張するのが困難である。 この非望ましくない行動の本当の原因を明らかにするために、理論的に証拠モデルを調べ、その劣る性能を説明する基本的限界を同定する: 既存の明示的活性化関数はゼロエビデンス領域を作成し、そのような領域に落ちてくるサンプルのトレーニングからモデルが学習することを防ぐ。 我々の理論的根拠に基づく立証活性化関数のより深い分析は、この基本的な限界を効果的に緩和する新しい正規化器の設計を刺激する。 多くの挑戦的な実世界のデータセットと設定に関する広範囲な実験により、理論的な知見を確認し、提案手法の有効性を実証した。

関連論文リスト

• Cross-Entropy Is All You Need To Invert the Data Generating Process [29.94396019742267]
  経験的現象は、教師付きモデルが線形な方法で変化の解釈可能な要因を学習できることを示唆している。 近年の自己教師型学習の進歩により,データ生成過程を反転させることで潜在構造を復元できることが示されている。 標準分類タスクにおいても,モデルが線形変換までの変動の基底構造因子の表現を学習することが証明された。
  論文  参考訳（メタデータ） (2024-10-29T09:03:57Z)
• Lean-STaR: Learning to Interleave Thinking and Proving [53.923617816215774]
  証明の各ステップに先立って,非公式な思考を生成するために,言語モデルをトレーニングするフレームワークであるLean-STaRを紹介します。 Lean-STaRは、Lean定理証明環境内のminiF2F-testベンチマークで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2024-07-14T01:43:07Z)
• Uncertainty Regularized Evidential Regression [5.874234972285304]
  Evidential Regression Network (ERN)は、深層学習とDempster-Shaferの理論を統合する新しいアプローチである。 特定のアクティベーション関数は非負の値を強制するために使わなければならない。 本稿では,この限界を理論的に解析し,克服するための改善を提案する。
  論文  参考訳（メタデータ） (2024-01-03T01:18:18Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Advancing Counterfactual Inference through Nonlinear Quantile Regression [77.28323341329461]
  ニューラルネットワークで実装された効率的かつ効果的な対実的推論のためのフレームワークを提案する。 提案手法は、推定された反事実結果から見つからないデータまでを一般化する能力を高める。 複数のデータセットで実施した実証実験の結果は、我々の理論的な主張に対する説得力のある支持を提供する。
  論文  参考訳（メタデータ） (2023-06-09T08:30:51Z)
• Neuro-symbolic model for cantilever beams damage detection [0.0]
  本稿では,新しい認知アーキテクチャに基づくカンチレバービームの損傷検出のためのニューロシンボリックモデルを提案する。 ハイブリッド識別モデルはLogic Convolutional Neural Regressorという名称で導入されている。
  論文  参考訳（メタデータ） (2023-05-04T13:12:39Z)
• A Theoretical Study of Inductive Biases in Contrastive Learning [32.98250585760665]
  モデルクラスから派生した帰納的バイアスの効果を取り入れた,自己指導型学習に関する最初の理論的分析を行った。 モデルが限られたキャパシティを持つ場合、コントラスト表現はモデルアーキテクチャと互換性のある特定のクラスタリング構造を復元することを示す。
  論文  参考訳（メタデータ） (2022-11-27T01:53:29Z)
• Toward Certified Robustness Against Real-World Distribution Shifts [65.66374339500025]
  我々は、データから摂動を学ぶために生成モデルを訓練し、学習したモデルの出力に関して仕様を定義する。 この設定から生じるユニークな挑戦は、既存の検証者がシグモイドの活性化を厳密に近似できないことである。 本稿では,古典的な反例誘導的抽象的洗練の概念を活用するシグモイドアクティベーションを扱うための一般的なメタアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-06-08T04:09:13Z)
• Learnability of Competitive Threshold Models [11.005966612053262]
  理論的観点から,競合しきい値モデルの学習可能性について検討する。 ニューラルネットワークによって競合しきい値モデルをシームレスにシミュレートする方法を実証する。
  論文  参考訳（メタデータ） (2022-05-08T01:11:51Z)
• Deep Active Learning by Leveraging Training Dynamics [57.95155565319465]
  本稿では,学習力学を最大化するためにサンプルを選択する理論駆動型深層能動学習法(Dynamical)を提案する。 動的学習は、他のベースラインを一貫して上回るだけでなく、大規模なディープラーニングモデルでもうまくスケール可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-16T16:51:05Z)
• Plausible Counterfactuals: Auditing Deep Learning Classifiers with Realistic Adversarial Examples [84.8370546614042]
  ディープラーニングモデルのブラックボックスの性質は、彼らがデータから何を学ぶかについて、未回答の疑問を提起している。 GAN(Generative Adversarial Network)とマルチオブジェクトは、監査されたモデルに妥当な攻撃を与えるために使用される。 その実用性は人間の顔の分類タスクの中で示され、提案されたフレームワークの潜在的可能性を明らかにしている。
  論文  参考訳（メタデータ） (2020-03-25T11:08:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。