論文の概要: Embedding Space Interpolation Beyond Mini-Batch, Beyond Pairs and Beyond Examples

• arxiv url: http://arxiv.org/abs/2311.05538v1
• Date: Thu, 9 Nov 2023 17:34:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-10 14:27:13.720653
• Title: Embedding Space Interpolation Beyond Mini-Batch, Beyond Pairs and Beyond Examples
• Title（参考訳）: 埋め込み空間補間はミニバッチを超えて、ペアを超えて、例を超えて
• Authors: Shashanka Venkataramanan, Ewa Kijak, Laurent Amsaleg, Yannis Avrithis
• Abstract要約: ミニバッチサイズを超える多数のサンプルを任意に生成するMultiMixを導入する。 また,各空間位置における特徴と目標ラベルを密接に補間し,損失を密に適用する。 提案手法は, 線形であるにもかかわらず, 4つの異なるベンチマークにおいて, 最先端の混合手法よりも大幅に改善された。
• 参考スコア（独自算出の注目度）: 20.76232390972057
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mixup refers to interpolation-based data augmentation, originally motivated as a way to go beyond empirical risk minimization (ERM). Its extensions mostly focus on the definition of interpolation and the space (input or feature) where it takes place, while the augmentation process itself is less studied. In most methods, the number of generated examples is limited to the mini-batch size and the number of examples being interpolated is limited to two (pairs), in the input space. We make progress in this direction by introducing MultiMix, which generates an arbitrarily large number of interpolated examples beyond the mini-batch size and interpolates the entire mini-batch in the embedding space. Effectively, we sample on the entire convex hull of the mini-batch rather than along linear segments between pairs of examples. On sequence data, we further extend to Dense MultiMix. We densely interpolate features and target labels at each spatial location and also apply the loss densely. To mitigate the lack of dense labels, we inherit labels from examples and weight interpolation factors by attention as a measure of confidence. Overall, we increase the number of loss terms per mini-batch by orders of magnitude at little additional cost. This is only possible because of interpolating in the embedding space. We empirically show that our solutions yield significant improvement over state-of-the-art mixup methods on four different benchmarks, despite interpolation being only linear. By analyzing the embedding space, we show that the classes are more tightly clustered and uniformly spread over the embedding space, thereby explaining the improved behavior.
• Abstract（参考訳）: Mixupは補間に基づくデータ拡張を指し、元々は経験的リスク最小化(ERM)を超える方法として動機付けられた。 その拡張は主に補間の定義とそれが起こる空間(入力または特徴)に焦点を当てているが、拡張プロセス自体はあまり研究されていない。 ほとんどの方法では、生成されたサンプルの数はミニバッチサイズに制限され、補間されるサンプルの数は入力空間内の2つ(ペア)に制限される。 我々は,ミニバッチサイズを超える多数の補間例を任意に生成し,組込み空間におけるミニバッチ全体を補間するMultiMixを導入することにより,この方向に進展する。 実例のペア間の線形セグメントに沿ってではなく,ミニバッチの凸殻全体をサンプリングする。 シーケンスデータでは、さらにDense MultiMixに拡張する。 我々は,各空間における特徴と対象ラベルを密に補間し,損失を密に適用する。 密度ラベルの欠如を軽減するため,信頼度尺度として,実例と重み補間係数のラベルを注意して継承する。 全体として、ミニバッチ当たりの損失項の数を桁違いに増やし、追加コストも少ない。 これは埋め込み空間における補間によってのみ可能となる。 補間は線形であるにもかかわらず、4つの異なるベンチマークにおいて、我々の解が最先端の混合法よりも大幅に改善されることを実証的に示す。 埋め込み空間を解析することにより, クラスがより密集し, 組込み空間に均一に分散していることを示し, 改良された振る舞いを説明する。

関連論文リスト

• Grad Queue : A probabilistic framework to reinforce sparse gradients [0.0]
  ランダムなデータポイントのバッチ内でスパースコンポーネントを補強するロバストなメカニズムを提案する。 各クラスタから冗長な情報を抽出する強力な直感的な基準は、システムのバックボーンである。 CIFAR10,MNIST,Reuters Newsのカテゴリデータセットでは,ミニバッチよりも優れた性能を示した。
  論文  参考訳（メタデータ） (2024-04-25T16:07:01Z)
• AID: Attention Interpolation of Text-to-Image Diffusion [64.87754163416241]
  AID(Attention Interpolation via Diffusion)という,トレーニング不要な手法を導入する。 AIDは補間された注意を自己注意と融合させ、忠実性を高める。 また,条件に依存した生成過程として,拡散による条件誘導注意補間(AID)も提案する。
  論文  参考訳（メタデータ） (2024-03-26T17:57:05Z)
• Cooperative Minibatching in Graph Neural Networks [2.9904113489777826]
  グラフニューラルネットワーク(GNN)のトレーニングには、かなりの計算リソースが必要で、そのプロセスはデータ集約性が高い。 リソース要求を減らす最も効果的な方法の1つは、グラフサンプリングと組み合わせたミニバッチトレーニングである。 本研究では, 連続したミニバッチを生成することで, 連続実行において同じ現象を利用する方法を示す。
  論文  参考訳（メタデータ） (2023-10-19T01:15:24Z)
• Federated Classification in Hyperbolic Spaces via Secure Aggregation of Convex Hulls [35.327709607897944]
  我々は,Poincareディスク用の凸SVM分類器の分散バージョンを開発した。 双曲空間における凸殻の複雑さを計算し,データ漏洩の程度を評価する。 本手法は, 階層的な単一細胞RNA-seqデータを含む, 多様なデータ集合を用いて, 異なるレポジトリに分散した患者から抽出した。
  論文  参考訳（メタデータ） (2023-08-14T02:25:48Z)
• Growing Instance Mask on Leaf [12.312639923806548]
  設計の複雑さを抑えるために,textbfVeinMask というシングルショット方式を提案する。 上述の優越性を考慮すると、インスタンス分割問題を定式化するためにVeinMaskを提案する。 VeinMaskは、設計の複雑さが低い他の輪郭ベースの方法よりもはるかに優れている。
  論文  参考訳（メタデータ） (2022-11-30T04:50:56Z)
• Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
  Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。 GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-08-25T12:33:31Z)
• Teach me how to Interpolate a Myriad of Embeddings [18.711509039868655]
  Mixupはデータベースの拡張を指し、元々は経験的リスク最小化を超える方法として動機付けられていた。 長さ$m$の任意の数値$n$を補間するMultiMixを紹介します。 コントリビューションは4つのベンチマーク上での最先端の混合手法よりも大幅に改善される。
  論文  参考訳（メタデータ） (2022-06-29T19:16:48Z)
• Federated Functional Gradient Boosting [75.06942944563572]
  フェデレーション学習における機能最小化に関する研究 FFGB.C と FFGB.L は、特徴分布がより均一になるにつれて収束半径が 0 に縮まる。
  論文  参考訳（メタデータ） (2021-03-11T21:49:19Z)
• Suppressing Mislabeled Data via Grouping and Self-Attention [60.14212694011875]
  ディープネットワークは大規模クリーンなデータに対して優れた結果を得るが、ノイズのあるラベルから学習すると著しく劣化する。 本稿では,概念的にシンプルだが効率的な学習ブロックを提案し,これをAFM(Attentive Feature Mixup)と呼ぶ。 クリーンなサンプルにもっと注意を払うことができ、小さなグループでのサンプルインタラクションを通じて、ラベルを間違えることが少なくなります。
  論文  参考訳（メタデータ） (2020-10-29T13:54:16Z)
• Multi-scale Interactive Network for Salient Object Detection [91.43066633305662]
  本稿では,隣接レベルからの機能を統合するためのアグリゲート・インタラクション・モジュールを提案する。 より効率的なマルチスケール機能を得るために、各デコーダユニットに自己相互作用モジュールを埋め込む。 5つのベンチマークデータセットによる実験結果から,提案手法は後処理を一切行わず,23の最先端手法に対して良好に動作することが示された。
  論文  参考訳（メタデータ） (2020-07-17T15:41:37Z)
• Interpolation and Learning with Scale Dependent Kernels [91.41836461193488]
  非パラメトリックリッジレス最小二乗の学習特性について検討する。 スケール依存カーネルで定義される推定器の一般的な場合を考える。
  論文  参考訳（メタデータ） (2020-06-17T16:43:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。