論文の概要: Contextual Similarity Distillation: Ensemble Uncertainties with a Single Model

• arxiv url: http://arxiv.org/abs/2503.11339v2
• Date: Wed, 26 Mar 2025 08:31:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-27 13:19:15.089786
• Title: Contextual Similarity Distillation: Ensemble Uncertainties with a Single Model
• Title（参考訳）: 文脈類似性蒸留:1つのモデルで不確かさをアンサンブルする
• Authors: Moritz A. Zanger, Pascal R. Van der Vaart, Wendelin Böhmer, Matthijs T. J. Spaan,
• Abstract要約: 不確かさの定量化は強化学習と深層学習の重要な側面である。 本研究では,1つのモデルによる深層ニューラルネットワークのアンサンブルの分散を明示的に推定する新しい手法である文脈類似蒸留を提案する。 提案手法は,様々なアウト・オブ・ディストリビューション検出ベンチマークとスパース・リワード強化学習環境にまたがって実証的に検証する。
• 参考スコア（独自算出の注目度）: 5.624791703748109
• License:
• Abstract: Uncertainty quantification is a critical aspect of reinforcement learning and deep learning, with numerous applications ranging from efficient exploration and stable offline reinforcement learning to outlier detection in medical diagnostics. The scale of modern neural networks, however, complicates the use of many theoretically well-motivated approaches such as full Bayesian inference. Approximate methods like deep ensembles can provide reliable uncertainty estimates but still remain computationally expensive. In this work, we propose contextual similarity distillation, a novel approach that explicitly estimates the variance of an ensemble of deep neural networks with a single model, without ever learning or evaluating such an ensemble in the first place. Our method builds on the predictable learning dynamics of wide neural networks, governed by the neural tangent kernel, to derive an efficient approximation of the predictive variance of an infinite ensemble. Specifically, we reinterpret the computation of ensemble variance as a supervised regression problem with kernel similarities as regression targets. The resulting model can estimate predictive variance at inference time with a single forward pass, and can make use of unlabeled target-domain data or data augmentations to refine its uncertainty estimates. We empirically validate our method across a variety of out-of-distribution detection benchmarks and sparse-reward reinforcement learning environments. We find that our single-model method performs competitively and sometimes superior to ensemble-based baselines and serves as a reliable signal for efficient exploration. These results, we believe, position contextual similarity distillation as a principled and scalable alternative for uncertainty quantification in reinforcement learning and general deep learning.
• Abstract（参考訳）: 不確かさの定量化は強化学習と深層学習の重要な側面であり、効率的な探索や安定したオフライン強化学習から医学診断における異常検出まで多くの応用がある。 しかし、現代のニューラルネットワークのスケールは、完全なベイズ推論のような理論上よく動機付けられた多くのアプローチの使用を複雑にしている。 深層アンサンブルのような近似法は信頼性の高い不確実性推定を提供することができるが、それでも計算コストは高い。 本研究では,1つのモデルによる深層ニューラルネットワークのアンサンブルの分散を,そもそもそのようなアンサンブルを学習したり評価したりすることなく,明示的に推定する新しい手法である文脈類似蒸留を提案する。 本手法は,ニューラルネットワークが支配するニューラルネットワークの予測可能な学習力学に基づいて,無限アンサンブルの予測分散の効率的な近似を導出する。 具体的には,アンサンブル分散の計算をカーネル類似性を回帰目標とする教師付き回帰問題として再解釈する。 得られたモデルは、単一のフォワードパスで推測時の予測分散を推定することができ、ラベルのないターゲットドメインデータやデータ拡張を利用して、不確実性の推定を洗練することができる。 提案手法は,様々なアウト・オブ・ディストリビューション検出ベンチマークとスパース・リワード強化学習環境にまたがって実証的に検証する。 本手法は,アンサンブルに基づくベースラインよりも競争力が高く,時折優れ,効率的な探索のための信頼性の高い信号として機能することを発見した。 これらの結果は,拡張学習と一般ディープラーニングにおける不確実性定量化の原則的かつスケーラブルな代替手段として,文脈的類似性蒸留が有効であると考えている。

関連論文リスト

• Implicit Variational Inference for High-Dimensional Posteriors [7.924706533725115]
  変分推論において、ベイズモデルの利点は、真の後続分布を正確に捉えることに依存する。 複雑な多重モーダルおよび相関後部を近似するのに適した暗黙分布を特定するニューラルサンプリング手法を提案する。 提案手法では,ニューラルネットワークを局所的に線形化することにより,暗黙分布を用いた近似推論の新たなバウンダリを導入する。
  論文  参考訳（メタデータ） (2023-10-10T14:06:56Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Uncertainty Estimation by Fisher Information-based Evidential Deep Learning [61.94125052118442]
  不確実性推定は、ディープラーニングを実用アプリケーションで信頼できるものにする鍵となる要素である。 漁業情報に基づくエビデンシャルディープラーニング(mathcalI$-EDL)を提案する。 特に,各サンプルが有する証拠の情報量を測定するためにFisher Information Matrix (FIM)を導入し,目的的損失項を動的に重み付けし,不確実なクラスの表現学習に集中させる。
  論文  参考訳（メタデータ） (2023-03-03T16:12:59Z)
• Toward Robust Uncertainty Estimation with Random Activation Functions [3.0586855806896045]
  本稿では,ランダムアクティベーション関数(RAF)アンサンブルを用いた不確実性定量化手法を提案する。 RAF アンサンブルは、合成データセットと実世界のデータセットの両方において、最先端のアンサンブル不確実性定量化手法より優れている。
  論文  参考訳（メタデータ） (2023-02-28T13:17:56Z)
• Decorrelative Network Architecture for Robust Electrocardiogram Classification [4.808817930937323]
  すべてのシナリオで正確であるネットワークをトレーニングすることはできない。 深層学習法は不確実性を推定するためにモデルパラメータ空間をサンプリングする。 これらのパラメータは、しばしば、敵の攻撃によって悪用される、同じ脆弱性にさらされる。 本稿では,特徴デコレーションとフーリエ分割に基づく新たなアンサンブル手法を提案する。
  論文  参考訳（メタデータ） (2022-07-19T02:36:36Z)
• FiLM-Ensemble: Probabilistic Deep Learning via Feature-wise Linear Modulation [69.34011200590817]
  本稿では,特徴量線形変調の概念に基づく暗黙のアンサンブル手法であるFiLM-Ensembleを紹介する。 単一ディープネットワークのネットワークアクティベーションをFiLMで変調することにより、高多様性のモデルアンサンブルを得る。 我々は、FiLM-Ensembleが他の暗黙のアンサンブル法よりも優れており、ネットワークの明示的なアンサンブルの上限に非常に近いことを示す。
  論文  参考訳（メタデータ） (2022-05-31T18:33:15Z)
• Firearm Detection via Convolutional Neural Networks: Comparing a Semantic Segmentation Model Against End-to-End Solutions [68.8204255655161]
  武器の脅威検出とライブビデオからの攻撃的な行動は、潜在的に致命的な事故の迅速検出と予防に使用できる。 これを実現する一つの方法は、人工知能と、特に画像分析のための機械学習を使用することです。 従来のモノリシックなエンド・ツー・エンドのディープラーニングモデルと、セマンティクスセグメンテーションによって火花を検知する単純なニューラルネットワークのアンサンブルに基づく前述したモデルを比較した。
  論文  参考訳（メタデータ） (2020-12-17T15:19:29Z)
• Deep Ordinal Regression with Label Diversity [19.89482062012177]
  本稿では,複数の離散データ表現を同時に使用することで,ニューラルネットワーク学習を改善することを提案する。 我々のアプローチはエンドツーエンドで微分可能であり、従来の学習方法への単純な拡張として追加することができる。
  論文  参考訳（メタデータ） (2020-06-29T08:23:43Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Dropout Strikes Back: Improved Uncertainty Estimation via Diversity Sampling [3.077929914199468]
  ニューラルネットワークにおけるドロップアウト層に対するサンプリング分布の変更により,不確実性評価の品質が向上することを示す。 主要なアイデアは、ニューロン間のデータ駆動相関を計算し、最大多様なニューロンを含むサンプルを生成する、という2つの主要なステップで構成されています。
  論文  参考訳（メタデータ） (2020-03-06T15:20:04Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。