論文の概要: Transitional Uncertainty with Layered Intermediate Predictions

• arxiv url: http://arxiv.org/abs/2405.17494v1
• Date: Sat, 25 May 2024 13:03:38 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-30 00:00:30.040379
• Title: Transitional Uncertainty with Layered Intermediate Predictions
• Title（参考訳）: 層状中間予測による過渡不確かさ
• Authors: Ryan Benkert, Mohit Prabhushankar, Ghassan AlRegib,
• Abstract要約: 単一パス不確実性推定のための特徴工学について論じる。 本稿では,現在の単一パス推定器の欠点に対処する簡単なアプローチとして,階層型中間予測を用いた過渡不確実性を提案する。
• 参考スコア（独自算出の注目度）: 14.11559987180237
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we discuss feature engineering for single-pass uncertainty estimation. For accurate uncertainty estimates, neural networks must extract differences in the feature space that quantify uncertainty. This could be achieved by current single-pass approaches that maintain feature distances between data points as they traverse the network. While initial results are promising, maintaining feature distances within the network representations frequently inhibits information compression and opposes the learning objective. We study this effect theoretically and empirically to arrive at a simple conclusion: preserving feature distances in the output is beneficial when the preserved features contribute to learning the label distribution and act in opposition otherwise. We then propose Transitional Uncertainty with Layered Intermediate Predictions (TULIP) as a simple approach to address the shortcomings of current single-pass estimators. Specifically, we implement feature preservation by extracting features from intermediate representations before information is collapsed by subsequent layers. We refer to the underlying preservation mechanism as transitional feature preservation. We show that TULIP matches or outperforms current single-pass methods on standard benchmarks and in practical settings where these methods are less reliable (imbalances, complex architectures, medical modalities).
• Abstract（参考訳）: 本稿では,単一パス不確実性推定のための特徴工学について論じる。 正確な不確実性推定のために、ニューラルネットワークは不確実性を定量化する特徴空間の差を抽出しなければならない。 これは、ネットワークを横断するデータポイント間の特徴距離を維持する、現在のシングルパスアプローチによって実現される。 初期結果は有望であるが,ネットワーク表現における特徴距離の維持は情報圧縮を頻繁に阻害し,学習目標に反する。 保存された特徴がラベル分布の学習に寄与し、反対に振る舞う場合、出力中の特徴距離を保存することは有益である。 次に、現在のシングルパス推定器の欠点に対処するための簡単なアプローチとして、階層型中間予測(TULIP)を用いた遷移不確実性を提案する。 具体的には、情報層が破壊される前に中間表現から特徴を抽出して特徴保存を行う。 本稿では,その基盤となる保存機構をトランザクショナルな特徴保存と呼ぶ。 TULIPは、標準ベンチマークや、これらの手法が信頼性の低い(不均衡、複雑なアーキテクチャ、医療モダリティ)実践的な環境で、現在のシングルパスメソッドに適合または性能を向上することを示す。

関連論文リスト

• Target Networks and Over-parameterization Stabilize Off-policy Bootstrapping with Function Approximation [47.08004958269403]
  オフ・プライシ・データにおいても,ブートストラップ値推定の収束条件が弱くなることを証明する。 計算結果をトラジェクトリによる学習に拡張し、小さな修正を施した全てのタスクに対して収束が達成可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-31T17:36:16Z)
• QGait: Toward Accurate Quantization for Gait Recognition with Binarized Input [17.017127559393398]
  バックプロパゲーション時の円関数の勾配をよりよくシミュレートする,微分可能なソフト量子化器を提案する。 これにより、ネットワークは微妙な入力摂動から学習することができる。 量子化エラーをシミュレートしながら収束を確保するためのトレーニング戦略をさらに洗練する。
  論文  参考訳（メタデータ） (2024-05-22T17:34:18Z)
• Leveraging Unlabeled Data for 3D Medical Image Segmentation through Self-Supervised Contrastive Learning [3.7395287262521717]
  現在の3次元半教師付きセグメンテーション法は、文脈情報の限定的考慮のような重要な課題に直面している。 両者の相違を探索し、活用するために設計された2つの個別のワークを導入し、最終的に誤った予測結果を修正した。 我々は、信頼できない予測と信頼できない予測を区別するために、自己教師付きコントラスト学習パラダイムを採用している。
  論文  参考訳（メタデータ） (2023-11-21T14:03:16Z)
• ZigZag: Universal Sampling-free Uncertainty Estimation Through Two-Step Inference [54.17205151960878]
  汎用的でデプロイが容易なサンプリング不要のアプローチを導入します。 我々は,最先端手法と同等の信頼性のある不確実性推定を,計算コストを著しく低減した形で生成する。
  論文  参考訳（メタデータ） (2022-11-21T13:23:09Z)
• Weakly Supervised Representation Learning with Sparse Perturbations [82.39171485023276]
  潜伏変数のスパース摂動によって生じる観測の監督が弱い場合、未知の連続潜伏分布の下で識別が達成可能であることを示す。 本稿では,この理論に基づく自然な推定手法を提案し,それを低次元の合成および画像に基づく実験で説明する。
  論文  参考訳（メタデータ） (2022-06-02T15:30:07Z)
• Domain-Adjusted Regression or: ERM May Already Learn Features Sufficient for Out-of-Distribution Generalization [52.7137956951533]
  既存の特徴から予測器を学習するためのよりシンプルな手法を考案することは、将来の研究にとって有望な方向である、と我々は主張する。 本稿では,線形予測器を学習するための凸目標である領域調整回帰(DARE)を紹介する。 自然モデルの下では、DARE解が制限されたテスト分布の集合に対する最小最適予測器であることを証明する。
  論文  参考訳（メタデータ） (2022-02-14T16:42:16Z)
• Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty [58.144520501201995]
  ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T22:04:19Z)
• Learning Uncertainty For Safety-Oriented Semantic Segmentation In Autonomous Driving [77.39239190539871]
  自律運転における安全クリティカル画像セグメンテーションを実現するために、不確実性推定をどのように活用できるかを示す。 相似性関数によって測定された不一致予測に基づく新しい不確実性尺度を導入する。 本研究では,提案手法が競合手法よりも推論時間において計算集約性が低いことを示す。
  論文  参考訳（メタデータ） (2021-05-28T09:23:05Z)
• Uncertainty Surrogates for Deep Learning [17.868995105624023]
  不確実性サーロゲートを用いて深層ネットワークにおける予測不確実性を推定する新しい方法を紹介します。 これらのサーロゲートは、事前定義されたパターンに一致させるように強制される深いネットワークの衝動層の特徴です。 予測の不確実性や分布異常検出の推定に,本手法の有用性を示す。
  論文  参考訳（メタデータ） (2021-04-16T14:50:28Z)
• Unlabelled Data Improves Bayesian Uncertainty Calibration under Covariate Shift [100.52588638477862]
  後続正則化に基づく近似ベイズ推定法を開発した。 前立腺癌の予後モデルを世界規模で導入する上で,本手法の有用性を実証する。
  論文  参考訳（メタデータ） (2020-06-26T13:50:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。