論文の概要: Provably Learning Diverse Features in Multi-View Data with Midpoint Mixup

• arxiv url: http://arxiv.org/abs/2210.13512v3
• Date: Thu, 1 Jun 2023 14:50:25 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-03 01:22:12.364591
• Title: Provably Learning Diverse Features in Multi-View Data with Midpoint Mixup
• Title（参考訳）: midpoint mixupによるマルチビューデータの多様な特徴の学習
• Authors: Muthu Chidambaram, Xiang Wang, Chenwei Wu, Rong Ge
• Abstract要約: Mixupは、データポイントとラベルのランダムな凸組み合わせを使用したトレーニングに依存する、データ拡張技術である。 各クラスが複数の関連する特徴(あるいはビュー)を持ち、クラスを正しく予測できるような分類問題に焦点をあてる。 実験的リスク最小化を用いた2層畳み込みネットワークの学習は, クラス毎に2つの特徴を持つ非自明なデータ分布のクラスでは, ほぼすべてのクラスで1つの特徴しか学習できない一方で, Mixup の特定のインスタンス化による学習は各クラスで2つの特徴の学習に成功していることを示す。
• 参考スコア（独自算出の注目度）: 17.4515763678587
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixup is a data augmentation technique that relies on training using random convex combinations of data points and their labels. In recent years, Mixup has become a standard primitive used in the training of state-of-the-art image classification models due to its demonstrated benefits over empirical risk minimization with regards to generalization and robustness. In this work, we try to explain some of this success from a feature learning perspective. We focus our attention on classification problems in which each class may have multiple associated features (or views) that can be used to predict the class correctly. Our main theoretical results demonstrate that, for a non-trivial class of data distributions with two features per class, training a 2-layer convolutional network using empirical risk minimization can lead to learning only one feature for almost all classes while training with a specific instantiation of Mixup succeeds in learning both features for every class. We also show empirically that these theoretical insights extend to the practical settings of image benchmarks modified to have multiple features.
• Abstract（参考訳）: Mixupはデータポイントとラベルのランダムな凸組み合わせを使用したトレーニングに依存するデータ拡張技術である。 近年、ミックスアップは、一般化とロバスト性に関して経験的リスク最小化よりもメリットがあるため、最先端の画像分類モデルのトレーニングで使用される標準的なプリミティブとなっている。 本研究では、機能学習の観点から、この成功のいくつかを説明しようとしている。 我々は,各クラスがクラスを正確に予測できる複数の関連する特徴(あるいはビュー)を持つ可能性のある分類問題に注目する。 実験的リスク最小化を用いた2層畳み込みネットワークの学習は, クラス毎に2つの特徴を持つ非自明なデータ分布のクラスでは, ほぼすべてのクラスで1つの特徴しか学習できない一方で, Mixup の特定のインスタンス化による学習は各クラスで2つの特徴の学習に成功していることを示す。 また、これらの理論的洞察が、複数の特徴を持つように修正された画像ベンチマークの実践的な設定にまで拡張されることを実証的に示す。

関連論文リスト

• Efficient and Long-Tailed Generalization for Pre-trained Vision-Language Model [43.738677778740325]
  そこで本研究では,Candleと呼ばれる,効率的かつ長期にわたる一般化を実現するための新しいフレームワークを提案する。 Candleは11の多様なデータセットに関する広範な実験を通じて、最先端のパフォーマンスを実現している。
  論文  参考訳（メタデータ） (2024-06-18T14:07:13Z)
• Convolutional autoencoder-based multimodal one-class classification [80.52334952912808]
  1クラス分類は、単一のクラスからのデータを用いた学習のアプローチを指す。 マルチモーダルデータに適した深層学習一クラス分類法を提案する。
  論文  参考訳（メタデータ） (2023-09-25T12:31:18Z)
• The Benefits of Mixup for Feature Learning [117.93273337740442]
  最初に、機能やラベルに異なる線形パラメータを使用するMixupは、標準Mixupと同様のパフォーマンスが得られることを示す。 我々は、特徴雑音データモデルを検討し、Mixupトレーニングが共通の特徴と組み合わせることで、稀な特徴を効果的に学習できることを示します。 対照的に、標準的なトレーニングは共通の特徴しか学べないが、まれな特徴を学べないため、パフォーマンスが悪くなる。
  論文  参考訳（メタデータ） (2023-03-15T08:11:47Z)
• Generalization Bounds for Few-Shot Transfer Learning with Pretrained Classifiers [26.844410679685424]
  本研究では,新しいクラスに移動可能な分類の表現を基礎モデルで学習する能力について検討する。 クラス-機能-変数の崩壊の場合,新しいクラスで学習した特徴マップのわずかな誤差が小さいことを示す。
  論文  参考訳（メタデータ） (2022-12-23T18:46:05Z)
• Compositional Fine-Grained Low-Shot Learning [58.53111180904687]
  そこで本研究では,ゼロおよび少数ショット学習のための新しい合成生成モデルを構築し,学習サンプルの少ない,あるいは全くない,きめ細かいクラスを認識する。 本稿では, 学習サンプルから属性特徴を抽出し, それらを組み合わせて, 稀で見えないクラスのためのきめ細かい特徴を構築できる特徴合成フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-05-21T16:18:24Z)
• Few-Shot Incremental Learning with Continually Evolved Classifiers [46.278573301326276]
  Few-shot Class-Incremental Learning(FSCIL)は、いくつかのデータポイントから新しい概念を継続的に学習できる機械学習アルゴリズムの設計を目指している。 難点は、新しいクラスからの限られたデータが、重大な過度な問題を引き起こすだけでなく、破滅的な忘れの問題も悪化させることにある。 我々は,適応のための分類器間のコンテキスト情報を伝達するグラフモデルを用いた連続進化型cif(cec)を提案する。
  論文  参考訳（メタデータ） (2021-04-07T10:54:51Z)
• Generative Multi-Label Zero-Shot Learning [136.17594611722285]
  マルチラベルゼロショット学習は、トレーニング中にデータが入手できない複数の見えないカテゴリにイメージを分類する試みである。 我々の研究は、(一般化された)ゼロショット設定におけるマルチラベル機能の問題に最初に取り組みました。 私たちのクロスレベル核融合に基づく生成アプローチは、3つのデータセットすべてにおいて最先端の手法よりも優れています。
  論文  参考訳（メタデータ） (2021-01-27T18:56:46Z)
• Mixture-based Feature Space Learning for Few-shot Image Classification [6.574517227976925]
  特徴抽出器を同時に訓練し,混合モデルパラメータをオンラインで学習することで,混合モデルを用いたベースクラスをモデル化することを提案する。 非常に少数のサンプルから新しい例を分類するために使用できる、よりリッチでより差別的な特徴空間における結果。
  論文  参考訳（メタデータ） (2020-11-24T03:16:27Z)
• PK-GCN: Prior Knowledge Assisted Image Classification using Graph Convolution Networks [3.4129083593356433]
  クラス間の類似性は、分類のパフォーマンスに影響を与える可能性がある。 本稿では,クラス類似性の知識を畳み込みニューラルネットワークモデルに組み込む手法を提案する。 実験結果から, 利用可能なデータの量が少ない場合には, 分類精度が向上することが示唆された。
  論文  参考訳（メタデータ） (2020-09-24T18:31:35Z)
• ReMarNet: Conjoint Relation and Margin Learning for Small-Sample Image Classification [49.87503122462432]
  ReMarNet(Relation-and-Margin Learning Network)と呼ばれるニューラルネットワークを導入する。 本手法は,上記2つの分類機構の双方において優れた性能を発揮する特徴を学習するために,異なるバックボーンの2つのネットワークを組み立てる。 4つの画像データセットを用いた実験により,本手法はラベル付きサンプルの小さな集合から識別的特徴を学習するのに有効であることが示された。
  論文  参考訳（メタデータ） (2020-06-27T13:50:20Z)
• Rethinking Class-Balanced Methods for Long-Tailed Visual Recognition from a Domain Adaptation Perspective [98.70226503904402]
  現実世界のオブジェクトの周波数は、しばしば電力法則に従い、長い尾のクラス分布を持つデータセット間のミスマッチを引き起こす。 メタラーニング手法を用いて,クラス条件分布の違いを明示的に推定し,古典的なクラスバランス学習を強化することを提案する。
  論文  参考訳（メタデータ） (2020-03-24T11:28:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。