論文の概要: The Two Dimensions of Worst-case Training and the Integrated Effect for Out-of-domain Generalization

• arxiv url: http://arxiv.org/abs/2204.04384v1
• Date: Sat, 9 Apr 2022 04:14:55 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-12 15:02:33.967640
• Title: The Two Dimensions of Worst-case Training and the Integrated Effect for Out-of-domain Generalization
• Title（参考訳）: 最悪の場合の訓練の2次元と領域外一般化への統合効果
• Authors: Zeyi Huang, Haohan Wang, Dong Huang, Yong Jae Lee, Eric P. Xing
• Abstract要約: 機械学習モデルをトレーニングするための,新しい,シンプルで効果的な一般化を提案する。 二つの次元に沿ったWorst-case」という概念にちなむW2D法を命名する。
• 参考スコア（独自算出の注目度）: 95.34898583368154
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Training with an emphasis on "hard-to-learn" components of the data has been proven as an effective method to improve the generalization of machine learning models, especially in the settings where robustness (e.g., generalization across distributions) is valued. Existing literature discussing this "hard-to-learn" concept are mainly expanded either along the dimension of the samples or the dimension of the features. In this paper, we aim to introduce a simple view merging these two dimensions, leading to a new, simple yet effective, heuristic to train machine learning models by emphasizing the worst-cases on both the sample and the feature dimensions. We name our method W2D following the concept of "Worst-case along Two Dimensions". We validate the idea and demonstrate its empirical strength over standard benchmarks.
• Abstract（参考訳）: データの"ハード・トゥ・ラーン(hard-to-learn)"コンポーネントに重点を置いたトレーニングは、マシンラーニングモデルの一般化を改善する効果的な方法として証明されている。 この「難解な」概念について議論する既存の文献は、主に標本の次元や特徴の次元に沿って拡張されている。 本稿では,これら2つの次元をマージしたシンプルなビューを導入し,サンプルと特徴の両面において最悪のケースを強調することによって,機械学習モデルをトレーニングするための,新しい,シンプルで効果的かつヒューリスティックな方法を提案する。 我々は,W2D法を「2次元に沿ったWorst-case」という概念に従って命名した。 我々はその考え方を検証し、標準ベンチマークよりも経験的強度を実証する。

関連論文リスト

• 2D Matryoshka Training for Information Retrieval [32.44832240958393]
  2D Matryoshka Trainingは、エンコーダモデルを様々なレイヤ次元のセットアップで同時にトレーニングするために設計された埋め込み表現トレーニングアプローチである。 STSタスクにおける2D Matryoshka Trainingの両バージョンの実装と評価を行い,解析を検索タスクに拡張した。
  論文  参考訳（メタデータ） (2024-11-26T10:47:35Z)
• Starbucks: Improved Training for 2D Matryoshka Embeddings [32.44832240958393]
  我々は,Matryoshkaライクな埋め込みモデルの新たなトレーニング戦略であるStarbucksを提案する。 微調整相について、我々は、小さなサイズから大きなサイズの層次元対の固定されたリストを提供する。 また,サブレイヤとサブディメンジョンにマスク付きオートエンコーダ言語モデリングを適用する,新しい事前学習戦略を導入する。
  論文  参考訳（メタデータ） (2024-10-17T05:33:50Z)
• Understanding the Double Descent Phenomenon in Deep Learning [49.1574468325115]
  このチュートリアルは、古典的な統計学習の枠組みを設定し、二重降下現象を導入する。 いくつかの例を見て、セクション2では、二重降下において重要な役割を果たすと思われる帰納的バイアスを導入している。 第3節は2つの線形モデルで二重降下を探索し、最近の関連する研究から他の視点を提供する。
  論文  参考訳（メタデータ） (2024-03-15T16:51:24Z)
• Bidirectional Trained Tree-Structured Decoder for Handwritten Mathematical Expression Recognition [51.66383337087724]
  Handwriting Mathematical Expression Recognition (HMER) タスクは、OCRの分野における重要な分岐である。 近年の研究では、双方向コンテキスト情報の導入により、HMERモデルの性能が大幅に向上することが示されている。 本稿では,MF-SLT と双方向非同期トレーニング (BAT) 構造を提案する。
  論文  参考訳（メタデータ） (2023-12-31T09:24:21Z)
• Full High-Dimensional Intelligible Learning In 2-D Lossless Visualization Space [7.005458308454871]
  本研究では,2次元可視化空間(2次元ML)における機械学習分類タスクの新しい手法について検討する。 これは、抽象的なn次元空間でn次元データを処理する必要のない、完全な機械学習アプローチであることが示されている。 2次元空間におけるn-Dパターンの発見を可能にし、n-Dデータのグラフ表現を用いてn-D情報を失うことなく2次元空間におけるn-Dパターンの発見を可能にする。
  論文  参考訳（メタデータ） (2023-05-29T00:21:56Z)
• Adaptive Cross Batch Normalization for Metric Learning [75.91093210956116]
  メトリクス学習はコンピュータビジョンの基本的な問題である。 蓄積した埋め込みが最新であることを保証することは、同様に重要であることを示す。 特に、蓄積した埋め込みと現在のトレーニングイテレーションにおける特徴埋め込みとの間の表現的ドリフトを回避する必要がある。
  論文  参考訳（メタデータ） (2023-03-30T03:22:52Z)
• Toward Learning Robust and Invariant Representations with Alignment Regularization and Data Augmentation [76.85274970052762]
  本論文はアライメント正則化の選択肢の増大を動機としている。 我々は、ロバスト性および不変性の次元に沿って、いくつかの人気のある設計選択のパフォーマンスを評価する。 我々はまた、現実的と考える仮定の下で経験的な研究を補完するために、アライメント正則化の挙動を正式に分析する。
  論文  参考訳（メタデータ） (2022-06-04T04:29:19Z)
• Adaptive Hierarchical Similarity Metric Learning with Noisy Labels [138.41576366096137]
  適応的階層的類似度メトリック学習法を提案する。 ノイズに敏感な2つの情報、すなわち、クラスワイドのばらつきとサンプルワイドの一貫性を考える。 提案手法は,現在の深層学習手法と比較して,最先端の性能を実現する。
  論文  参考訳（メタデータ） (2021-10-29T02:12:18Z)
• Manifold attack [0.22419496088582863]
  本稿では,元データから潜在表現への多様体保存(manifold learning)を強制する。 正則化のアプローチは,正則化の精度向上と,逆例の堅牢性に寄与することを示す。
  論文  参考訳（メタデータ） (2020-09-13T09:39:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。