論文の概要: Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches
- arxiv url: http://arxiv.org/abs/2410.21313v1
- Date: Fri, 25 Oct 2024 20:50:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-30 13:42:56.740645
- Title: Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches
- Title（参考訳）: ロバストなアウト・オブ・ディストリビューションの一般化に向けて:データ拡張とニューラルアーキテクチャ検索アプローチ
- Authors: Haoyue Bai,
- Abstract要約: 我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。
まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。
次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
- 参考スコア（独自算出の注目度）: 4.577842191730992
- License:
- Abstract: Deep learning has been demonstrated with tremendous success in recent years. Despite so, its performance in practice often degenerates drastically when encountering out-of-distribution (OoD) data, i.e. training and test data are sampled from different distributions. In this thesis, we study ways toward robust OoD generalization for deep learning, i.e., its performance is not susceptible to distribution shift in the test data. We first propose a novel and effective approach to disentangle the spurious correlation between features that are not essential for recognition. It employs decomposed feature representation by orthogonalizing the two gradients of losses for category and context branches. Furthermore, we perform gradient-based augmentation on context-related features (e.g., styles, backgrounds, or scenes of target objects) to improve the robustness of learned representations. Results show that our approach generalizes well for different distribution shifts. We then study the problem of strengthening neural architecture search in OoD scenarios. We propose to optimize the architecture parameters that minimize the validation loss on synthetic OoD data, under the condition that corresponding network parameters minimize the training loss. Moreover, to obtain a proper validation set, we learn a conditional generator by maximizing their losses computed by different neural architectures. Results show that our approach effectively discovers robust architectures that perform well for OoD generalization.
- Abstract（参考訳）: 近年,ディープラーニングは大きな成功を収めている。
しかし、実際には、アウト・オブ・ディストリビューション(OoD)データに遭遇した場合、トレーニングとテストデータは異なる分布からサンプリングされるため、その性能は劇的に低下することが多い。
この論文では、ディープラーニングのための堅牢なOoD一般化に向けて、すなわち、その性能はテストデータの分散シフトの影響を受けない、という方法を研究する。
まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。
カテゴリーと文脈分岐の2つの損失勾配を直交することで特徴表現を分解する。
さらに、学習した表現の堅牢性を改善するために、文脈関連機能(例えば、スタイル、背景、対象オブジェクトのシーン)の勾配に基づく拡張を行う。
その結果, 分散シフトの相違により, 本手法が一般化できることが示唆された。
次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
ネットワークパラメータがトレーニング損失を最小限に抑える条件の下で,合成OoDデータの検証損失を最小限に抑えるアーキテクチャパラメータを最適化する。
さらに、適切な検証セットを得るために、異なるニューラルネットワークで計算された損失を最大化することで条件付きジェネレータを学習する。
その結果,本手法はOoDの一般化に有効であるロバストなアーキテクチャを効果的に発見できることが示唆された。
関連論文リスト
- Adaptive Anomaly Detection in Network Flows with Low-Rank Tensor Decompositions and Deep Unrolling [9.20186865054847]
異常検出(AD)は、将来の通信システムのレジリエンスを確保するための重要な要素として、ますます認識されている。
この研究は、不完全測定を用いたネットワークフローにおけるADについて考察する。
本稿では,正規化モデル適合性に基づくブロック帰属凸近似アルゴリズムを提案する。
ベイズ的アプローチに触発されて、我々はモデルアーキテクチャを拡張し、フローごとのオンライン適応とステップごとの統計処理を行う。
論文 参考訳（メタデータ） (2024-09-17T19:59:57Z) - Heterogeneous Learning Rate Scheduling for Neural Architecture Search on Long-Tailed Datasets [0.0]
本稿では,DARTSのアーキテクチャパラメータに適した適応学習率スケジューリング手法を提案する。
提案手法は,学習エポックに基づくアーキテクチャパラメータの学習率を動的に調整し,よく訓練された表現の破壊を防止する。
論文 参考訳（メタデータ） (2024-06-11T07:32:25Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-06T14:49:59Z) - Energy-based Out-of-Distribution Detection for Graph Neural Networks [76.0242218180483]
我々は,GNNSafeと呼ばれるグラフ上での学習のための,シンプルで強力で効率的なOOD検出モデルを提案する。
GNNSafeは、最先端技術に対するAUROCの改善を最大17.0%で達成しており、そのような未開発領域では単純だが強力なベースラインとして機能する可能性がある。
論文 参考訳（メタデータ） (2023-02-06T16:38:43Z) - CAFE: Learning to Condense Dataset by Aligning Features [72.99394941348757]
本稿ではCAFE(Aligning features)によるCondenseデータセットの新しいスキームを提案する。
このアプローチの核心は、さまざまなスケールにわたる実データと合成データから機能を整合させる効果的な戦略です。
提案したCAFEを様々なデータセットで検証し,概ね最先端技術であることを示す。
論文 参考訳（メタデータ） (2022-03-03T05:58:49Z) - NAS-OoD: Neural Architecture Search for Out-of-Distribution
Generalization [23.859795806659395]
我々は、OoD一般化のための堅牢なニューラルネットワーク探索(NAS-OoD)を提案する。
NAS-OoDは、パラメータ数がはるかに少ないディープモデルを持つ様々なOoD一般化ベンチマークにおいて、優れた性能を達成する。
実業界データセットでは,NAS-OoD法は最先端手法と比較して誤差率を70%以上削減する。
論文 参考訳（メタデータ） (2021-09-05T10:23:29Z) - Boosting the Generalization Capability in Cross-Domain Few-shot Learning
via Noise-enhanced Supervised Autoencoder [23.860842627883187]
我々は、新しいノイズ強調型教師付きオートエンコーダ(NSAE)を用いて、特徴分布のより広範なバリエーションを捉えるようモデルに教える。
NSAEは入力を共同で再構築し、入力のラベルと再構成されたペアを予測することによってモデルを訓練する。
また、NSAE構造を利用して、より適応性を高め、対象領域の分類性能を向上させる2段階の微調整手順を提案する。
論文 参考訳（メタデータ） (2021-08-11T04:45:56Z) - Anomaly Detection on Attributed Networks via Contrastive Self-Supervised
Learning [50.24174211654775]
本論文では,アトリビュートネットワーク上の異常検出のためのコントラスト型自己監視学習フレームワークを提案する。
このフレームワークは、新しいタイプのコントラストインスタンスペアをサンプリングすることで、ネットワークデータからのローカル情報を完全に活用します。
高次元特性と局所構造から情報埋め込みを学習するグラフニューラルネットワークに基づくコントラスト学習モデルを提案する。
論文 参考訳（メタデータ） (2021-02-27T03:17:20Z) - Generalized Reinforcement Meta Learning for Few-Shot Optimization [3.7675996866306845]
本稿では, 汎用的かつ柔軟な強化学習(RL)に基づくメタラーニングフレームワークを提案する。
我々のフレームワークは簡単にネットワークアーキテクチャ検索に拡張できる。
論文 参考訳（メタデータ） (2020-05-04T03:21:05Z) - On the Benefits of Invariance in Neural Networks [56.362579457990094]
データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。
また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
論文 参考訳（メタデータ） (2020-05-01T02:08:58Z) - Generalized ODIN: Detecting Out-of-distribution Image without Learning
from Out-of-distribution Data [87.61504710345528]
我々は,OoD検出性能を改善しつつ,ニューラルネットワークをOoDデータのチューニングから解放する2つの方法を提案する。
具体的には、信頼性スコアリングと修正された入力前処理法を分離することを提案する。
大規模画像データセットのさらなる解析により、セマンティックシフトと非セマンティックシフトの2種類の分布シフトが有意な差を示すことが示された。
論文 参考訳（メタデータ） (2020-02-26T04:18:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。