Fugu-MT 論文翻訳(概要): Preventing Manifold Intrusion with Locality: Local Mixup

論文の概要: Preventing Manifold Intrusion with Locality: Local Mixup

arxiv url: http://arxiv.org/abs/2201.04368v1
Date: Wed, 12 Jan 2022 09:05:53 GMT
ステータス: 処理完了
システム内更新日: 2022-01-13 20:21:31.534104
Title: Preventing Manifold Intrusion with Locality: Local Mixup
Title（参考訳）: 局所性による下顎前突の予防:局所的混合
Authors: Raphael Baena, Lucas Drumetz, Vincent Gripon
Abstract要約: Mixupは、入力サンプルと関連する出力を線形に補間するデータ依存の正規化技術である。本稿では、損失を計算する際に、遠方の入力サンプルを重み付けするローカル・ミックスアップを提案する。
参考スコア（独自算出の注目度）: 10.358087436626391
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Mixup is a data-dependent regularization technique that consists in linearly interpolating input samples and associated outputs. It has been shown to improve accuracy when used to train on standard machine learning datasets. However, authors have pointed out that Mixup can produce out-of-distribution virtual samples and even contradictions in the augmented training set, potentially resulting in adversarial effects. In this paper, we introduce Local Mixup in which distant input samples are weighted down when computing the loss. In constrained settings we demonstrate that Local Mixup can create a trade-off between bias and variance, with the extreme cases reducing to vanilla training and classical Mixup. Using standardized computer vision benchmarks , we also show that Local Mixup can improve test accuracy.
Abstract（参考訳）: mixupは、入力サンプルと関連する出力を線形に補間するデータ依存正規化手法である。標準的な機械学習データセットでトレーニングする場合、精度が向上することが示されている。しかし、著者らはmixupが分散の仮想サンプルや拡張トレーニングセットの矛盾さえも生成し、潜在的に逆効果をもたらす可能性があることを指摘した。本稿では,損失を計算する際に,遠方の入力サンプルを重み付けする局所的混合法を提案する。制約のある設定では、Local Mixupがバイアスと分散の間のトレードオフを生み出し、極端なケースがバニラトレーニングと古典的なMixupに還元されます。標準化されたコンピュータビジョンベンチマークを用いて、ローカルミックスアップによってテスト精度が向上することを示す。

関連論文リスト

Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
論文参考訳（メタデータ） (2024-04-24T09:04:36Z)
Probabilistic Contrastive Learning for Long-Tailed Visual Recognition [78.70453964041718]
細長い分布は、少数の少数派が限られた数のサンプルを含む実世界のデータにしばしば現れる。近年の研究では、教師付きコントラスト学習がデータ不均衡を緩和する有望な可能性を示していることが明らかになっている。本稿では,特徴空間の各クラスからのサンプルデータ分布を推定する確率論的コントラスト学習アルゴリズムを提案する。
論文参考訳（メタデータ） (2024-03-11T13:44:49Z)
Noisy Correspondence Learning with Self-Reinforcing Errors Mitigation [63.180725016463974]
クロスモーダル検索は、実際は精力的な、十分に整合した大規模データセットに依存している。我々は、新しい雑音対応学習フレームワーク、textbfSelf-textbfReinforcing textbfErrors textbfMitigation(SREM)を導入する。
論文参考訳（メタデータ） (2023-12-27T09:03:43Z)
Tailoring Mixup to Data for Calibration [12.050401897136501]
Mixupはキャリブレーションと予測の不確実性を改善する技術である。この研究では、データ間の距離が混合されるにつれて、多様体の侵入の可能性が増加することを論じる。本研究では, 混合する試料間の類似度に応じて, 係数の基底分布を動的に変化させることを提案する。
論文参考訳（メタデータ） (2023-11-02T17:48:28Z)
Semantic Equivariant Mixup [54.734054770032934]
Mixupは、トレーニング分布を拡張し、ニューラルネットワークを正規化する、確立されたデータ拡張テクニックである。以前のミックスアップの変種はラベル関連の情報に過度に焦点をあてる傾向がある。入力中のよりリッチな意味情報を保存するための意味的同変混合(sem)を提案する。
論文参考訳（メタデータ） (2023-08-12T03:05:53Z)
Over-training with Mixup May Hurt Generalization [32.64382185990981]
今回,Mixupトレーニングの既往の現象を報告する。多くの標準データセットにおいて、Mixupトレーニングモデルの性能は、多くのエポックのトレーニング後に低下し始めます。理論的には、Mixupトレーニングは、不要なデータ依存ラベルノイズを合成データに導入する可能性がある。
論文参考訳（メタデータ） (2023-03-02T18:37:34Z)
C-Mixup: Improving Generalization in Regression [71.10418219781575]
混合アルゴリズムは、一対の例とその対応するラベルを線形補間することによって一般化を改善する。ラベルの類似度に基づいてサンプリング確率を調整するC-Mixupを提案する。 C-Mixupは6.56%、4.76%、5.82%の改善、タスクの一般化、アウト・オブ・ディストリビューションの堅牢性を実現している。
論文参考訳（メタデータ） (2022-10-11T20:39:38Z)
Harnessing Hard Mixed Samples with Decoupled Regularizer [69.98746081734441]
Mixupは、決定境界を混合データで滑らかにすることで、ニューラルネットワークの一般化を改善する効率的なデータ拡張アプローチである。本稿では,非結合型正規化器(Decoupled Mixup, DM)を用いた効率的な混合目標関数を提案する。 DMは、ミキシングの本来の滑らかさを損なうことなく、硬質混合試料を適応的に利用して識別特性をマイニングすることができる。
論文参考訳（メタデータ） (2022-03-21T07:12:18Z)
Towards Understanding the Data Dependency of Mixup-style Training [14.803285140800542]
Mixupトレーニングパラダイムでは、データポイントと関連するラベルの凸組み合わせを使用してモデルをトレーニングする。トレーニング中に真のデータポイントはほとんどないが、Mixupを使ってトレーニングされたモデルは、元の経験的リスクを最小限に抑えているようだ。線形モデルと線形分離可能なデータセットの大規模なクラスでは、Mixupトレーニングは標準トレーニングと同じ分類器を学習する。
論文参考訳（メタデータ） (2021-10-14T18:13:57Z)
SMILE: Self-Distilled MIxup for Efficient Transfer LEarning [42.59451803498095]
本研究では, SMILE-Self-Distilled Mixup for EffIcient Transfer LEarningを提案する。混合画像を入力として、SMILEはCNN特徴抽出器の出力を正規化し、入力の混合特徴ベクトルから学習する。トリプルレギュラライザーは、特徴空間とラベル空間の両方で混合効果のバランスをとりながら、前訓練タスクのサンプル間の線形性をバインドします。
論文参考訳（メタデータ） (2021-03-25T16:02:21Z)
MixUp Training Leads to Reduced Overfitting and Improved Calibration for the Transformer Architecture [0.0]
mixupは、入力データとそのラベルの凸一般化を用いてトレーニング中のモデルを強化するコンピュータビジョンデータ拡張技術である。本研究では,トランスの入力,マニホールド,文埋め込みレベルでのMixUp法を提案し,さまざまなNLUタスクに対してBERTモデルを微調整する。 mixupはモデルのパフォーマンスを向上し、テスト損失とモデルのキャリブレーションエラーを最大50%削減できることが分かりました。
論文参考訳（メタデータ） (2021-02-22T23:12:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。