論文の概要: On the Use of Anchoring for Training Vision Models

• arxiv url: http://arxiv.org/abs/2406.00529v1
• Date: Sat, 1 Jun 2024 18:43:43 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 06:35:32.644083
• Title: On the Use of Anchoring for Training Vision Models
• Title（参考訳）: 訓練視覚モデルにおけるアンコリングの利用について
• Authors: Vivek Narayanaswamy, Kowshik Thopalli, Rushil Anirudh, Yamen Mubarka, Wesam Sakla, Jayaraman J. Thiagarajan,
• Abstract要約: アンコリング(Anchoring)は、不確実性推定、キャリブレーション、外挿能力を大幅に改善することが示されているディープニューラルネットワークのトレーニングの原則である。 我々は、望ましくないショートカットを学習するリスクが増大し、一般化能力が制限されるという、アンカードトレーニングにおける重要な問題を特定する。 本稿では,この問題を緩和し,一般化を著しく向上させるため,シンプルな正規化器を用いた新しいアンカー付きトレーニングプロトコルを提案する。
• 参考スコア（独自算出の注目度）: 23.157571220639177
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Anchoring is a recent, architecture-agnostic principle for training deep neural networks that has been shown to significantly improve uncertainty estimation, calibration, and extrapolation capabilities. In this paper, we systematically explore anchoring as a general protocol for training vision models, providing fundamental insights into its training and inference processes and their implications for generalization and safety. Despite its promise, we identify a critical problem in anchored training that can lead to an increased risk of learning undesirable shortcuts, thereby limiting its generalization capabilities. To address this, we introduce a new anchored training protocol that employs a simple regularizer to mitigate this issue and significantly enhances generalization. We empirically evaluate our proposed approach across datasets and architectures of varying scales and complexities, demonstrating substantial performance gains in generalization and safety metrics compared to the standard training protocol.
• Abstract（参考訳）: アンコリングは、不確実性推定、キャリブレーション、外挿能力を大幅に改善することが示されているディープニューラルネットワークをトレーニングするための、最近のアーキテクチャに依存しない原則である。 本稿では,視覚モデルをトレーニングするための一般的なプロトコルとしてアンカーを体系的に検討し,そのトレーニングと推論プロセスとその一般化と安全性に関する基本的な知見を提供する。 その約束にもかかわらず、我々は、望ましくないショートカットを学習するリスクが増大し、一般化能力が制限される、アンカードトレーニングにおける重要な問題を特定する。 そこで本研究では,この問題を緩和し,一般化を著しく向上させるため,シンプルな正規化器を用いた新しいアンカー付きトレーニングプロトコルを提案する。 提案手法を様々なスケールや複雑さのデータセットやアーキテクチャにまたがって実証的に評価し,標準のトレーニングプロトコルと比較して,一般化と安全性の指標が大幅に向上したことを示す。

関連論文リスト

• Domain Generalisation via Imprecise Learning [11.327964663415306]
  アウト・オブ・ディストリビューションの一般化は、経験的データから学習するだけでなく、一般化の様々な概念の中から決定するからである。 Inrecise Domain Generalization frameworkを導入し、不正確なリスク最適化を特徴とし、学習者が不正確なままでいられるようにする。 理論的および実証的な証拠の両方によって支持され、我々の研究は、不正確さをドメインの一般化に組み込むことの利点を示している。
  論文  参考訳（メタデータ） (2024-04-06T16:05:48Z)
• On the Generalization Ability of Unsupervised Pretraining [53.06175754026037]
  教師なし学習の最近の進歩は、教師なし事前学習、および微調整がモデル一般化を改善することを示している。 本稿では、教師なし事前学習中に得られた知識の伝達可能性に影響を及ぼす重要な要因をその後の微調整フェーズに照らす新しい理論的枠組みを提案する。 この結果は教師なし事前学習と微調整のパラダイムの理解を深め、より効果的な事前学習アルゴリズムの設計に光を当てることができる。
  論文  参考訳（メタデータ） (2024-03-11T16:23:42Z)
• Conserve-Update-Revise to Cure Generalization and Robustness Trade-off in Adversarial Training [21.163070161951868]
  敵の訓練は、敵の攻撃に対するニューラルネットワークの堅牢性を改善する。 特定のレイヤを選択的に更新し、他のレイヤを保存することで、ネットワークの学習能力を大幅に向上させることができることを示す。 重みの選択的保存, 更新, 修正を行うために, 勾配プロミネンス基準を利用した新しいトレーニングフレームワークCUREを提案する。
  論文  参考訳（メタデータ） (2024-01-26T15:33:39Z)
• Towards Improving Robustness Against Common Corruptions using Mixture of Class Specific Experts [10.27974860479791]
  本稿では,クラス特化エキスパートアーキテクチャの混合として知られる新しいパラダイムを紹介する。 提案したアーキテクチャは、一般的なニューラルネットワーク構造に関連する脆弱性を軽減することを目的としている。
  論文  参考訳（メタデータ） (2023-11-16T20:09:47Z)
• Hierarchical Decomposition of Prompt-Based Continual Learning: Rethinking Obscured Sub-optimality [55.88910947643436]
  大量のラベルのないデータを実際に扱うためには、自己教師付き事前トレーニングが不可欠である。 HiDe-Promptは、タスク固有のプロンプトと統計のアンサンブルで階層的なコンポーネントを明示的に最適化する革新的なアプローチである。 実験では,HiDe-Promptの優れた性能と,継続学習における事前学習パラダイムへの頑健さを実証した。
  論文  参考訳（メタデータ） (2023-10-11T06:51:46Z)
• Learning Expressive Priors for Generalization and Uncertainty Estimation in Neural Networks [77.89179552509887]
  本稿では,ディープニューラルネットワークにおける一般化と不確実性推定を推し進める新しい事前学習手法を提案する。 キーとなる考え方は、ニューラルネットワークのスケーラブルで構造化された後部を、一般化を保証する情報的事前として活用することである。 本研究では,不確実性推定と一般化における本手法の有効性を徹底的に示す。
  論文  参考訳（メタデータ） (2023-07-15T09:24:33Z)
• Enhancing Multiple Reliability Measures via Nuisance-extended Information Bottleneck [77.37409441129995]
  トレーニングデータに制限がある現実的なシナリオでは、データ内の多くの予測信号は、データ取得のバイアスからより多く得る。 我々は,相互情報制約の下で,より広い範囲の摂動をカバーできる敵の脅威モデルを考える。 そこで本研究では,その目的を実現するためのオートエンコーダベーストレーニングと,提案したハイブリッド識別世代学習を促進するための実用的なエンコーダ設計を提案する。
  論文  参考訳（メタデータ） (2023-03-24T16:03:21Z)
• Dynamics Generalization via Information Bottleneck in Deep Reinforcement Learning [90.93035276307239]
  本稿では,RLエージェントのより優れた一般化を実現するために,情報理論正則化目標とアニーリングに基づく最適化手法を提案する。 迷路ナビゲーションからロボットタスクまで、さまざまな領域において、我々のアプローチの極端な一般化の利点を実証する。 この研究は、タスク解決のために冗長な情報を徐々に取り除き、RLの一般化を改善するための原則化された方法を提供する。
  論文  参考訳（メタデータ） (2020-08-03T02:24:20Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。