論文の概要: Bootstrap Generalization Ability from Loss Landscape Perspective

• arxiv url: http://arxiv.org/abs/2209.08473v1
• Date: Sun, 18 Sep 2022 04:40:32 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-20 18:10:50.490844
• Title: Bootstrap Generalization Ability from Loss Landscape Perspective
• Title（参考訳）: ロスランドスケープから見たブートストラップ一般化能力
• Authors: Huanran Chen, Shitong Shao, Ziyi Wang, Zirui Shang, Jin Chen, Xiaofeng Ji, Xinxiao Wu
• Abstract要約: 我々は、ロスランドスケープの観点から、ディープラーニングモデルの一般化能力をブートストラップする。 NICO++,PACS,VLCSデータセットについて提案した理論を検証する。 この理論をECCV 2022 NICO Challenge1で適用し,ドメイン不変の手法を使わずに第3位を達成する。
• 参考スコア（独自算出の注目度）: 18.654654221350686
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Domain generalization aims to learn a model that can generalize well on the unseen test dataset, i.e., out-of-distribution data, which has different distribution from the training dataset. To address domain generalization in computer vision, we introduce the loss landscape theory into this field. Specifically, we bootstrap the generalization ability of the deep learning model from the loss landscape perspective in four aspects, including backbone, regularization, training paradigm, and learning rate. We verify the proposed theory on the NICO++, PACS, and VLCS datasets by doing extensive ablation studies as well as visualizations. In addition, we apply this theory in the ECCV 2022 NICO Challenge1 and achieve the 3rd place without using any domain invariant methods.
• Abstract（参考訳）: ドメインの一般化は、トレーニングデータセットと異なる分布を持つ、未発見のテストデータセット、すなわち、アウトオブディストリビューションデータに基づいて、うまく一般化できるモデルを学ぶことを目的としています。 コンピュータビジョンにおける領域一般化に対処するために、この分野に損失景観理論を導入する。 具体的には、バックボーン、正規化、トレーニングパラダイム、学習率という4つの側面から、損失景観の観点からディープラーニングモデルの一般化能力をブートストラップする。 NICO++,PACS,VLCSデータセットに関する提案理論を,広範囲にわたるアブレーション研究と可視化により検証した。 さらに,この理論をECCV 2022 NICO Challenge1に適用し,ドメイン不変の手法を使わずに第3位を達成する。

関連論文リスト

• Learning Divergence Fields for Shift-Robust Graph Representations [73.11818515795761]
  本研究では,相互依存データに対する問題に対して,学習可能な分散場を持つ幾何学的拡散モデルを提案する。 因果推論によって新たな学習目標が導出され、ドメイン間で無神経な相互依存の一般化可能なパターンを学習するためのモデルが導出される。
  論文  参考訳（メタデータ） (2024-06-07T14:29:21Z)
• Non-stationary Domain Generalization: Theory and Algorithm [11.781050299571692]
  本稿では,非定常環境における領域一般化について検討する。 まず,環境非定常性がモデル性能に及ぼす影響について検討する。 そこで我々は適応不変表現学習に基づく新しいアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2024-05-10T21:32:43Z)
• Domain Generalization through Meta-Learning: A Survey [6.524870790082051]
  ディープニューラルネットワーク(DNN)は人工知能に革命をもたらしたが、アウト・オブ・ディストリビューション(OOD)データに直面すると、しばしばパフォーマンスが低下する。 本調査はメタラーニングの領域を掘り下げ,ドメインの一般化への貢献に焦点をあてたものである。
  論文  参考訳（メタデータ） (2024-04-03T14:55:17Z)
• Robust Computer Vision in an Ever-Changing World: A Survey of Techniques for Tackling Distribution Shifts [20.17397328893533]
  AIアプリケーションは、ますます一般大衆に注目を集めている。 コンピュータビジョンモデルに関する理論的な仮定と、それらのモデルが現実世界に展開する際に直面する現実との間には、顕著なギャップがある。 このギャップの重要な理由の1つは、分散シフトとして知られる難しい問題である。
  論文  参考訳（メタデータ） (2023-12-03T23:40:12Z)
• Synthetic-to-Real Domain Generalized Semantic Segmentation for 3D Indoor Point Clouds [69.64240235315864]
  本稿では,本課題に対して,合成-実領域一般化設定を提案する。 合成と実世界のポイントクラウドデータのドメインギャップは、主に異なるレイアウトとポイントパターンにあります。 CINMixとMulti-prototypeの両方が分配ギャップを狭めることを示した。
  論文  参考訳（メタデータ） (2022-12-09T05:07:43Z)
• Tackling Long-Tailed Category Distribution Under Domain Shifts [50.21255304847395]
  既存のアプローチでは、両方の問題が存在するシナリオに対処できません。 本研究では,分散校正型分類損失,視覚意味マッピング,セマンティック類似性誘導拡張の3つの新しい機能ブロックを設計した。 AWA2-LTSとImageNet-LTSという2つの新しいデータセットが提案された。
  論文  参考訳（メタデータ） (2022-07-20T19:07:46Z)
• An Empirical Study on Distribution Shift Robustness From the Perspective of Pre-Training and Data Augmentation [91.62129090006745]
  本稿では,事前学習とデータ拡張の観点から分布シフト問題を考察する。 我々は,事前学習とデータ拡張に焦点を当てた,最初の総合的な実証的研究を行った。
  論文  参考訳（メタデータ） (2022-05-25T13:04:53Z)
• On Balancing Bias and Variance in Unsupervised Multi-Source-Free Domain Adaptation [6.2200089460762085]
  マルチソースフリードメイン適応(MSFDA)の方法は、典型的には、ソースモデルによって生成された擬似ラベル付きデータを使用してターゲットモデルを訓練する。 得られた対象モデルの一般化誤差に基づく情報理論境界を開発する。 次に、ドメインアグリゲーション、選択的な擬似ラベル付け、共同機能アライメントといった3つの視点から、このトレードオフのバランスをとる方法についての洞察を提供します。
  論文  参考訳（メタデータ） (2022-02-01T22:34:18Z)
• Towards Principled Disentanglement for Domain Generalization [90.9891372499545]
  機械学習モデルの根本的な課題は、アウト・オブ・ディストリビューション(OOD)データへの一般化である。 私たちはまず、DEC(Disentanglement-Constrained Domain Generalization)と呼ばれる制約付き最適化としてOOD一般化問題を定式化する。 この変換に基づいて、結合表現の不絡合と領域一般化のための原始双対アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-11-27T07:36:32Z)
• Representation Based Complexity Measures for Predicting Generalization in Deep Learning [0.0]
  ディープニューラルネットワークは、非常に過度にパラメータ化されているにもかかわらず、一般化することができる。 近年の研究では、様々な観点からこの現象を検証している。 内部表現の質の観点から一般化の解釈を提供する。
  論文  参考訳（メタデータ） (2020-12-04T18:53:44Z)
• On the Benefits of Invariance in Neural Networks [56.362579457990094]
  データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。 また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
  論文  参考訳（メタデータ） (2020-05-01T02:08:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。