論文の概要: Uncertainty-Aware Perceiver
- arxiv url: http://arxiv.org/abs/2402.02433v1
- Date: Sun, 4 Feb 2024 10:11:27 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-06 19:51:34.032674
- Title: Uncertainty-Aware Perceiver
- Title(参考訳): 不確実性認識器
- Authors: EuiYul Song
- Abstract要約: PerceiverモデルはResNet-50やViTとある程度の精度で競合する。
さらに悪いことに、Perceiverの他のモデルに対する相対的な性能改善は限界がある。
私はPerceiverの5つの変異であるUncertainty-Aware Perceiversを発明しました。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The Perceiver makes few architectural assumptions about the relationship
among its inputs with quadratic scalability on its memory and computation time.
Indeed, the Perceiver model outpaces or is competitive with ResNet-50 and ViT
in terms of accuracy to some degree. However, the Perceiver does not take
predictive uncertainty and calibration into account. The Perceiver also
generalizes its performance on three datasets, three models, one evaluation
metric, and one hyper-parameter setting. Worst of all, the Perceiver's relative
performance improvement against other models is marginal. Furthermore, its
reduction of architectural prior is not substantial; is not equivalent to its
quality. Thereby, I invented five mutations of the Perceiver, the
Uncertainty-Aware Perceivers, that obtain uncertainty estimates and measured
their performance on three metrics. Experimented with CIFAR-10 and CIFAR-100,
the Uncertainty-Aware Perceivers make considerable performance enhancement
compared to the Perceiver.
- Abstract(参考訳): 知覚器は、その入力と二次スケーラビリティとの関係について、メモリと計算時間に関するアーキテクチャ上の仮定はほとんどない。
実際、PerceiverモデルはResNet-50やViTとある程度の精度で競合する。
しかし、Perceiverは予測の不確実性やキャリブレーションを考慮していない。
Perceiverはまた、そのパフォーマンスを3つのデータセット、3つのモデル、1つの評価基準、1つのハイパーパラメータ設定で一般化する。
さらに悪いことに、Perceiverの他のモデルに対する相対的な性能改善は限界がある。
さらに、アーキテクチャの事前の削減は重要ではなく、品質に匹敵するものではない。
そこで私は,不確実性推定を行い,その性能を3つの指標で測定する,不確実性認識型知覚器の5つの変異を考案した。
CIFAR-10とCIFAR-100の実験により、不確実性認識パーシーバーはパーシーバーに比べて性能が大幅に向上した。
関連論文リスト
- Error-Driven Uncertainty Aware Training [7.702016079410588]
エラー駆動不確実性認識トレーニングは、ニューラルネットワークが不確実性を正確に推定する能力を高めることを目的としている。
EUATアプローチは、モデルのトレーニングフェーズ中に、トレーニング例が正しく予測されているか、あるいは正しく予測されているかによって、2つの損失関数を選択的に使用することによって機能する。
画像認識領域における多様なニューラルモデルとデータセットを用いてEUATを評価する。
論文 参考訳(メタデータ) (2024-05-02T11:48:14Z) - Enabling Uncertainty Estimation in Iterative Neural Networks [49.56171792062104]
本研究では,アンサンブルのような手法よりもはるかに低い計算コストで最先端の見積もりを提供する不確実性推定手法を開発する。
航空画像における道路検出と2次元および3次元形状の空力特性の推定という2つの応用領域に組み込むことで,その実用的価値を実証する。
論文 参考訳(メタデータ) (2024-03-25T13:06:31Z) - On Calibration of Modern Quantized Efficient Neural Networks [79.06893963657335]
キャリブレーションの質は、量子化の質を追跡するために観察される。
GhostNet-VGGは、低い精度で全体的なパフォーマンス低下に対して最も堅牢であることが示されている。
論文 参考訳(メタデータ) (2023-09-25T04:30:18Z) - Mutual Information-calibrated Conformal Feature Fusion for
Uncertainty-Aware Multimodal 3D Object Detection at the Edge [1.7898305876314982]
3次元(3D)物体検出は、重要なロボティクスの操作であり、大きな進歩を遂げている。
本研究は,共形推論の原理と情報理論測度を統合し,モンテカルロ自由な不確実性推定を行う。
このフレームワークは、KITTIの3Dオブジェクト検出ベンチマークにおいて、不確実性に気付かない類似のメソッドと同等またはより良いパフォーマンスを示す。
論文 参考訳(メタデータ) (2023-09-18T09:02:44Z) - BEA: Revisiting anchor-based object detection DNN using Budding Ensemble
Architecture [8.736601342033431]
Budding Ensemble Architecture(BEA)は、アンカーベースのオブジェクト検出モデルのための、新しい縮小アンサンブルアーキテクチャである。
BEAにおける損失関数は、信頼性スコアの校正を改善し、不確かさを低減させる。
論文 参考訳(メタデータ) (2023-09-14T21:54:23Z) - Lightweight, Uncertainty-Aware Conformalized Visual Odometry [2.429910016019183]
データ駆動型ビジュアルオドメトリー(VO)は、自律エッジロボティクスにとって重要なサブルーチンである。
昆虫スケールドローンや外科ロボットのような最先端ロボットデバイスは、VOの予測の不確実性を推定する計算的に効率的な枠組みを欠いている。
本稿では,共形推論(CI)を利用してVOの不確実な帯域を抽出する,新しい,軽量で統計的に堅牢なフレームワークを提案する。
論文 参考訳(メタデータ) (2023-03-03T20:37:55Z) - Beyond calibration: estimating the grouping loss of modern neural
networks [68.8204255655161]
適切なスコアリングルール理論は、キャリブレーション損失が与えられた場合、個々のエラーを特徴づける欠片がグループ化損失であることを示している。
視覚およびNLPにおける現代のニューラルネットワークアーキテクチャは、特に分散シフト設定においてグループ化損失を示す。
論文 参考訳(メタデータ) (2022-10-28T07:04:20Z) - Monotonicity and Double Descent in Uncertainty Estimation with Gaussian
Processes [52.92110730286403]
限界確率はクロスバリデーションの指標を思い起こさせるべきであり、どちらもより大きな入力次元で劣化すべきである、と一般的に信じられている。
我々は,ハイパーパラメータをチューニングすることにより,入力次元と単調に改善できることを証明した。
また、クロスバリデーションの指標は、二重降下の特徴である質的に異なる挙動を示すことも証明した。
論文 参考訳(メタデータ) (2022-10-14T08:09:33Z) - Newer is not always better: Rethinking transferability metrics, their
peculiarities, stability and performance [5.650647159993238]
小さなカスタマイズされたデータセット上で、大規模で事前訓練された画像と言語モデルの微調整が人気を集めている。
共分散推定における統計的問題により,Hスコアの性能が低下することが示唆された。
そこで我々は,そのような設定における相対的精度に対する相関性能を補正し,評価することを推奨する。
論文 参考訳(メタデータ) (2021-10-13T17:24:12Z) - Learning to Predict Trustworthiness with Steep Slope Loss [69.40817968905495]
本研究では,現実の大規模データセットにおける信頼性の予測問題について検討する。
我々は、先行技術損失関数で訓練された信頼性予測器が、正しい予測と誤った予測の両方を信頼に値するものとみなす傾向があることを観察する。
そこで我々は,2つのスライド状の曲線による不正確な予測から,特徴w.r.t.正しい予測を分離する,新たな急勾配損失を提案する。
論文 参考訳(メタデータ) (2021-09-30T19:19:09Z) - Don't Just Blame Over-parametrization for Over-confidence: Theoretical
Analysis of Calibration in Binary Classification [58.03725169462616]
理論上は、過剰パラメトリゼーションは過剰信頼の唯一の理由ではない。
我々は、ロジスティック回帰は本質的に信頼過剰であり、実現可能で、非パラメータな設定であることを示す。
おそらく驚くことに、過剰な信頼が常にそうであるとは限らないことも示します。
論文 参考訳(メタデータ) (2021-02-15T21:38:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。