論文の概要: AttentionMix: Data augmentation method that relies on BERT attention mechanism

• arxiv url: http://arxiv.org/abs/2309.11104v1
• Date: Wed, 20 Sep 2023 07:18:53 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-21 13:08:45.027437
• Title: AttentionMix: Data augmentation method that relies on BERT attention mechanism
• Title（参考訳）: AttentionMix:BERTアテンション機構に依存するデータ拡張手法
• Authors: Dominik Lewy, Jacek Ma\'ndziuk
• Abstract要約: 本稿では,注意情報に依存する新しい混合手法であるAttentionMixを紹介する。 AttentionMixは3つの標準感情分類データセットで評価される。 その結果,NLP領域におけるデータ拡張において,注意に基づく情報を効果的に活用できることが確認された。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Mixup method has proven to be a powerful data augmentation technique in Computer Vision, with many successors that perform image mixing in a guided manner. One of the interesting research directions is transferring the underlying Mixup idea to other domains, e.g. Natural Language Processing (NLP). Even though there already exist several methods that apply Mixup to textual data, there is still room for new, improved approaches. In this work, we introduce AttentionMix, a novel mixing method that relies on attention-based information. While the paper focuses on the BERT attention mechanism, the proposed approach can be applied to generally any attention-based model. AttentionMix is evaluated on 3 standard sentiment classification datasets and in all three cases outperforms two benchmark approaches that utilize Mixup mechanism, as well as the vanilla BERT method. The results confirm that the attention-based information can be effectively used for data augmentation in the NLP domain.
• Abstract（参考訳）: mixup法はコンピュータビジョンにおいて強力なデータ拡張技術であることが証明されており、多くの後継者が画像混合を誘導的に行う。 興味深い研究の方向性の1つは、Mixupのアイデアを他のドメイン、例えば自然言語処理(NLP)に転送することである。 Mixupをテキストデータに適用するメソッドはいくつか存在するが、新しい改善されたアプローチの余地はまだ残っている。 本研究では,注意に基づく情報に基づく新しい混合手法である attentionmix を紹介する。 この論文はバート注意機構に焦点を当てているが、提案手法は一般にどの注意に基づくモデルにも適用できる。 AttentionMixは3つの標準感情分類データセットで評価され、3つのケースでMixupメカニズムとvanilla BERTメソッドを使用する2つのベンチマークアプローチより優れている。 その結果,NLP領域におけるデータ拡張に注目に基づく情報を有効に活用できることが確認された。

関連論文リスト

• ProxiMix: Enhancing Fairness with Proximity Samples in Subgroups [17.672299431705262]
  線形ミックスアップのみを使用することで、バイアス軽減のためのデータ拡張テクニックは、データセットラベルにバイアスを保持することができる。 本稿では,既存の混合手法と新たなバイアス軽減アルゴリズムの両方を活用可能な,新しい前処理手法を提案する。 ProxiMixは、より公平なデータ拡張のために、ペアワイズと近接関係を保持します。
  論文  参考訳（メタデータ） (2024-10-02T00:47:03Z)
• MiAMix: Enhancing Image Classification through a Multi-stage Augmented Mixed Sample Data Augmentation Method [0.5919433278490629]
  マルチステージAugmented Mixupの略であるMiAMixという新しいミックスアップ手法を提案する。 MiAMixは、画像強化をミックスアップフレームワークに統合し、複数の多様化ミキシング法を同時に利用し、ミキシングマスク増強法をランダムに選択することでミキシング方法を改善する。 近年の手法では、サリエンシ情報を利用し、MiAMixは計算効率も向上し、オーバーヘッドを減らし、既存のトレーニングパイプラインに容易に統合できるようになっている。
  論文  参考訳（メタデータ） (2023-08-05T06:29:46Z)
• MixupE: Understanding and Improving Mixup from Directional Derivative Perspective [86.06981860668424]
  理論上は、バニラ・ミックスアップよりも優れた一般化性能を実現するために、Mixupの改良版を提案する。 提案手法は,様々なアーキテクチャを用いて,複数のデータセットにまたがるMixupを改善した。
  論文  参考訳（メタデータ） (2022-12-27T07:03:52Z)
• FIXED: Frustratingly Easy Domain Generalization with Mixup [53.782029033068675]
  ドメイン一般化(Domain Generalization, DG)は、複数のトレーニングドメインから一般化可能なモデルを学ぶことを目的としている。 一般的な戦略は、Mixupcitezhang 2018mixupのようなメソッドによる一般化のためにトレーニングデータを拡張することである。 我々は、MixupベースのDG、すなわちドメイン不変の特徴mIXup(FIX)の簡易かつ効果的な拡張を提案する。 提案手法は,9つの最先端手法よりも優れており,試験精度の面では,ベースラインの平均6.5%を上回っている。
  論文  参考訳（メタデータ） (2022-11-07T09:38:34Z)
• SageMix: Saliency-Guided Mixup for Point Clouds [14.94694648742664]
  SageMixは、局所的な局所構造を保存するために、点雲のための塩分誘導ミキサである。 PointNet++では、3D Warehouse データセット (MN40) と ScanObjectNN の標準トレーニングよりも精度が 2.6% と 4.0% 向上した。
  論文  参考訳（メタデータ） (2022-10-13T12:19:58Z)
• Rethinking Clustering-Based Pseudo-Labeling for Unsupervised Meta-Learning [146.11600461034746]
  教師なしメタラーニングのメソッドであるCACTUsは、擬似ラベル付きクラスタリングベースのアプローチである。 このアプローチはモデルに依存しないため、教師付きアルゴリズムと組み合わせてラベルのないデータから学習することができる。 このことの核となる理由は、埋め込み空間においてクラスタリングに優しい性質が欠如していることである。
  論文  参考訳（メタデータ） (2022-09-27T19:04:36Z)
• CoSMix: Compositional Semantic Mix for Domain Adaptation in 3D LiDAR Segmentation [62.259239847977014]
  我々は,点雲UDA,すなわちコンポジション・セマンティック・ミックス(CoSMix)に対する試料混合の新しい手法を提案する。 CoSMixは2分岐対称ネットワークで構成されており、ラベル付き合成データ(ソース)と現実世界の非競合点雲(ターゲット)を同時に処理することができる。 我々はCoSMixを2つの大規模データセット上で評価し、最先端の手法よりも大きなマージンで優れていることを示した。
  論文  参考訳（メタデータ） (2022-07-20T09:33:42Z)
• How Knowledge Graph and Attention Help? A Quantitative Analysis into Bag-level Relation Extraction [66.09605613944201]
  バッグレベルの関係抽出(RE)における注意と知識グラフの効果を定量的に評価する。 その結果,(1)注目精度の向上は,エンティティ参照特徴を抽出するモデルの性能を損なう可能性があること,(2)注目性能は様々なノイズ分布パターンの影響が大きいこと,(3)KG強化された注目はRE性能を向上するが,その効果は注目度を向上させるだけでなく,先行するエンティティを組み込むことによっても改善することがわかった。
  論文  参考訳（メタデータ） (2021-07-26T09:38:28Z)
• ResizeMix: Mixing Data with Preserved Object Information and True Labels [57.00554495298033]
  本研究は,データ混合におけるサリエンシー情報の重要性について検討し,サリエンシー情報は増補性能向上のために必要ではないことを見出した。 本稿では,より効率的で実装が容易なresizemix法を提案する。
  論文  参考訳（メタデータ） (2020-12-21T03:43:13Z)
• ROAM: Random Layer Mixup for Semi-Supervised Learning in Medical Imaging [43.26668942258135]
  医療画像のセグメンテーションは、機械学習の手法が抱える大きな課題の1つだ。 我々はRandOm lAyer MixupのROAMを提案する。 ROAMは、全脳セグメンテーションに対してそれぞれ2.40%と16.50%の相対的な改善を施した、完全に監督された(89.5%)と半監督された(87.0%)設定のSOTA(State-of-the-art)を達成している。
  論文  参考訳（メタデータ） (2020-03-20T18:07:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。