論文の概要: The Two Dimensions of Worst-case Training and the Integrated Effect for
Out-of-domain Generalization
- arxiv url: http://arxiv.org/abs/2204.04384v1
- Date: Sat, 9 Apr 2022 04:14:55 GMT
- ステータス: 処理完了
- システム内更新日: 2022-04-12 15:02:33.967640
- Title: The Two Dimensions of Worst-case Training and the Integrated Effect for
Out-of-domain Generalization
- Title(参考訳): 最悪の場合の訓練の2次元と領域外一般化への統合効果
- Authors: Zeyi Huang, Haohan Wang, Dong Huang, Yong Jae Lee, Eric P. Xing
- Abstract要約: 機械学習モデルをトレーニングするための,新しい,シンプルで効果的な一般化を提案する。
二つの次元に沿ったWorst-case」という概念にちなむW2D法を命名する。
- 参考スコア(独自算出の注目度): 95.34898583368154
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Training with an emphasis on "hard-to-learn" components of the data has been
proven as an effective method to improve the generalization of machine learning
models, especially in the settings where robustness (e.g., generalization
across distributions) is valued. Existing literature discussing this
"hard-to-learn" concept are mainly expanded either along the dimension of the
samples or the dimension of the features. In this paper, we aim to introduce a
simple view merging these two dimensions, leading to a new, simple yet
effective, heuristic to train machine learning models by emphasizing the
worst-cases on both the sample and the feature dimensions. We name our method
W2D following the concept of "Worst-case along Two Dimensions". We validate the
idea and demonstrate its empirical strength over standard benchmarks.
- Abstract(参考訳): データの"ハード・トゥ・ラーン(hard-to-learn)"コンポーネントに重点を置いたトレーニングは、マシンラーニングモデルの一般化を改善する効果的な方法として証明されている。
この「難解な」概念について議論する既存の文献は、主に標本の次元や特徴の次元に沿って拡張されている。
本稿では,これら2つの次元をマージしたシンプルなビューを導入し,サンプルと特徴の両面において最悪のケースを強調することによって,機械学習モデルをトレーニングするための,新しい,シンプルで効果的かつヒューリスティックな方法を提案する。
我々は,W2D法を「2次元に沿ったWorst-case」という概念に従って命名した。
我々はその考え方を検証し、標準ベンチマークよりも経験的強度を実証する。
関連論文リスト
- Bidirectional Trained Tree-Structured Decoder for Handwritten
Mathematical Expression Recognition [51.66383337087724]
Handwriting Mathematical Expression Recognition (HMER) タスクは、OCRの分野における重要な分岐である。
近年の研究では、双方向コンテキスト情報の導入により、HMERモデルの性能が大幅に向上することが示されている。
本稿では,MF-SLT と双方向非同期トレーニング (BAT) 構造を提案する。
論文 参考訳(メタデータ) (2023-12-31T09:24:21Z) - Harnessing Diffusion Models for Visual Perception with Meta Prompts [68.78938846041767]
本稿では,視覚知覚タスクの拡散モデルを用いた簡易かつ効果的な手法を提案する。
学習可能な埋め込み(メタプロンプト)を事前学習した拡散モデルに導入し、知覚の適切な特徴を抽出する。
提案手法は,NYU 深度 V2 と KITTI の深度推定タスク,および CityScapes のセマンティックセグメンテーションタスクにおいて,新しい性能記録を実現する。
論文 参考訳(メタデータ) (2023-12-22T14:40:55Z) - Full High-Dimensional Intelligible Learning In 2-D Lossless
Visualization Space [7.005458308454871]
本研究では,2次元可視化空間(2次元ML)における機械学習分類タスクの新しい手法について検討する。
これは、抽象的なn次元空間でn次元データを処理する必要のない、完全な機械学習アプローチであることが示されている。
2次元空間におけるn-Dパターンの発見を可能にし、n-Dデータのグラフ表現を用いてn-D情報を失うことなく2次元空間におけるn-Dパターンの発見を可能にする。
論文 参考訳(メタデータ) (2023-05-29T00:21:56Z) - Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
メトリクス学習はコンピュータビジョンの基本的な問題である。
蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。
特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
論文 参考訳(メタデータ) (2023-03-30T03:22:52Z) - Toward Learning Robust and Invariant Representations with Alignment
Regularization and Data Augmentation [76.85274970052762]
本論文はアライメント正則化の選択肢の増大を動機としている。
我々は、ロバスト性および不変性の次元に沿って、いくつかの人気のある設計選択のパフォーマンスを評価する。
我々はまた、現実的と考える仮定の下で経験的な研究を補完するために、アライメント正則化の挙動を正式に分析する。
論文 参考訳(メタデータ) (2022-06-04T04:29:19Z) - Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
適応的階層的類似度メトリック学習法を提案する。
ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。
提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
論文 参考訳(メタデータ) (2021-10-29T02:12:18Z) - Deep Optimized Priors for 3D Shape Modeling and Reconstruction [38.79018852887249]
3Dモデリングと再構築のための新しい学習フレームワークを紹介します。
提案手法は,事前訓練によって制約された障壁を効果的に破壊することを示す。
論文 参考訳(メタデータ) (2020-12-14T03:56:31Z) - Manifold attack [0.22419496088582863]
本稿では,元データから潜在表現への多様体保存(manifold learning)を強制する。
正則化のアプローチは,正則化の精度向上と,逆例の堅牢性に寄与することを示す。
論文 参考訳(メタデータ) (2020-09-13T09:39:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。