論文の概要: Pretrained Visual Uncertainties

• arxiv url: http://arxiv.org/abs/2402.16569v2
• Date: Tue, 27 Feb 2024 13:59:32 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 20:39:49.882034
• Title: Pretrained Visual Uncertainties
• Title（参考訳）: 事前訓練された視覚不確かさ
• Authors: Michael Kirchhof and Mark Collier and Seong Joon Oh and Enkelejda Kasneci
• Abstract要約: 視覚モデルのための最初の事前訓練された不確実性モジュールを紹介する。 これにより、大規模な事前学習データセットから特定の下流データセットへの不確実性のゼロショット転送が可能になる。 事前訓練された不確実性は、目に見えないデータセットに一般化される。
• 参考スコア（独自算出の注目度）: 28.07794034918115
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Accurate uncertainty estimation is vital to trustworthy machine learning, yet uncertainties typically have to be learned for each task anew. This work introduces the first pretrained uncertainty modules for vision models. Similar to standard pretraining this enables the zero-shot transfer of uncertainties learned on a large pretraining dataset to specialized downstream datasets. We enable our large-scale pretraining on ImageNet-21k by solving a gradient conflict in previous uncertainty modules and accelerating the training by up to 180x. We find that the pretrained uncertainties generalize to unseen datasets. In scrutinizing the learned uncertainties, we find that they capture aleatoric uncertainty, disentangled from epistemic components. We demonstrate that this enables safe retrieval and uncertainty-aware dataset visualization. To encourage applications to further problems and domains, we release all pretrained checkpoints and code under https://github.com/mkirchhof/url .
• Abstract（参考訳）: 正確な不確実性推定は、信頼できる機械学習には不可欠であるが、通常、タスクごとに不確実性を学ぶ必要がある。 この研究は、視覚モデルのための最初の事前訓練された不確実性モジュールを導入する。 標準的なプリトレーニングと同様に、大きなプリトレーニングデータセットで学んだ不確実性を、特別なダウンストリームデータセットにゼロショットで転送することができる。 我々は,以前の不確実性モジュールの勾配衝突を解決し,最大180倍のトレーニングを加速することにより,imagenet-21kの大規模事前トレーニングを可能にする。 事前訓練された不確実性は、目に見えないデータセットに一般化される。 学習した不確かさを精査すると、それらがてんかん成分から遠ざかっているアレラトリック不確かさを捉えていることが分かる。 これにより、安全な検索と不確実性対応データセットの可視化が可能になる。 アプリケーションにさらなる問題やドメインを推奨するために、トレーニング済みのチェックポイントとコードをhttps://github.com/mkirchhof/url でリリースします。

関連論文リスト

• What Do Learning Dynamics Reveal About Generalization in LLM Reasoning? [83.83230167222852]
  モデルの一般化動作は,事前記憶列車の精度と呼ばれるトレーニング指標によって効果的に特徴づけられることがわかった。 モデルの学習行動と一般化を結びつけることで、トレーニング戦略に目標とする改善を導くことができる。
  論文  参考訳（メタデータ） (2024-11-12T09:52:40Z)
• Uncertainties of Latent Representations in Computer Vision [2.33877878310217]
  この論文は、事前訓練されたコンピュータビジョンモデルの潜在表現ベクトルにそれらを追加することで、不確実性推定を容易にアクセスできるようにする。 観測不可能な潜在表現に関するこれらの観測不可能な不確実性は、確実に正しいことを示す。
  論文  参考訳（メタデータ） (2024-08-26T14:02:30Z)
• Mind the Interference: Retaining Pre-trained Knowledge in Parameter Efficient Continual Learning of Vision-Language Models [79.28821338925947]
  ドメインクラスのインクリメンタル学習は現実的だが、継続的な学習シナリオである。 これらの多様なタスクに対処するために、事前訓練されたビジョンランゲージモデル(VLM)を導入し、その強力な一般化性を実現する。 事前訓練されたVLMにエンコードされた知識は、新しいタスクに適応する際に妨げられ、固有のゼロショット能力を損なう。 既存の手法では、膨大なオーバーヘッドを必要とする余分なデータセットに知識蒸留でVLMをチューニングすることで、この問題に対処している。 我々は、事前学習した知識を保持できるDIKI(Distributed-Aware Interference-free Knowledge Integration)フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-07-07T12:19:37Z)
• Uncertainty-aware self-training with expectation maximization basis transformation [9.7527450662978]
  モデルとデータセットの両方の不確実性情報を組み合わせるための,新たな自己学習フレームワークを提案する。 具体的には,ラベルをスムースにし,不確実性情報を包括的に推定するために期待最大化(EM)を提案する。
  論文  参考訳（メタデータ） (2024-05-02T11:01:31Z)
• Initialization Matters for Adversarial Transfer Learning [61.89451332757625]
  我々は、逆向きに頑健な事前訓練モデルの必要性を発見する。 本稿では, 対向線形探索により得られる重み付き線形ヘッドを初期化する対向微調整のためのロバスト線形初期化法(RoLI)を提案する。 5つの異なる画像分類データセットにおいて,RoLIの有効性を実証し,新しい最先端結果を得た。
  論文  参考訳（メタデータ） (2023-12-10T00:51:05Z)
• URL: A Representation Learning Benchmark for Transferable Uncertainty Estimates [26.453013634439802]
  本稿では,不確かさを意識した表現学習ベンチマークを提案する。 これは、新しい計量を用いて不確実性推定のゼロショット転送可能性を測定する。 その結果,表現自体の不確実性に注目するアプローチや,上流階級の確率に基づいて予測リスクを直接上回る手法が得られた。
  論文  参考訳（メタデータ） (2023-07-07T19:34:04Z)
• Quantifying Overfitting: Evaluating Neural Network Performance through Analysis of Null Space [10.698553177585973]
  ニューラルネットワークの最後の層におけるヌル空間を分析し、トレーニングデータへのアクセスやそれらのデータの正確性に関する知識を必要とせずに、オーバーフィッティングを定量化する。 私たちの研究は、トレーニングデータへのアクセスやトレーニングサンプルに関する知識を必要とせずに、オーバーフィッティングを定量化する最初の試みです。
  論文  参考訳（メタデータ） (2023-05-30T21:31:24Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• CertainNet: Sampling-free Uncertainty Estimation for Object Detection [65.28989536741658]
  ニューラルネットワークの不確実性を推定することは、安全クリティカルな設定において基本的な役割を果たす。 本研究では,オブジェクト検出のための新しいサンプリング不要不確実性推定法を提案する。 私たちはそれをCertainNetと呼び、各出力信号に対して、オブジェクト性、クラス、位置、サイズという、別の不確実性を提供するのは、これが初めてです。
  論文  参考訳（メタデータ） (2021-10-04T17:59:31Z)
• Learning Uncertainty For Safety-Oriented Semantic Segmentation In Autonomous Driving [77.39239190539871]
  自律運転における安全クリティカル画像セグメンテーションを実現するために、不確実性推定をどのように活用できるかを示す。 相似性関数によって測定された不一致予測に基づく新しい不確実性尺度を導入する。 本研究では,提案手法が競合手法よりも推論時間において計算集約性が低いことを示す。
  論文  参考訳（メタデータ） (2021-05-28T09:23:05Z)
• Do Not Forget to Attend to Uncertainty while Mitigating Catastrophic Forgetting [29.196246255389664]
  ディープラーニングモデルの大きな制限の1つは、漸進的な学習シナリオにおいて、破滅的な忘れに直面していることだ。 ベイズ式を定式化して,不確実性をモデル化する。 漸進的な学習問題に対処するために、自己認識フレームワークも組み込んでいます。
  論文  参考訳（メタデータ） (2021-02-03T06:54:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。