論文の概要: Enhancing Effectiveness and Robustness in a Low-Resource Regime via Decision-Boundary-aware Data Augmentation

• arxiv url: http://arxiv.org/abs/2403.15512v1
• Date: Fri, 22 Mar 2024 05:18:08 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-26 22:12:28.267601
• Title: Enhancing Effectiveness and Robustness in a Low-Resource Regime via Decision-Boundary-aware Data Augmentation
• Title（参考訳）: 決定境界対応データ拡張による低リソースレジームの有効性とロバスト性の向上
• Authors: Kyohoon Jin, Junho Lee, Juhwan Choi, Sangmin Song, Youngbin Kim,
• Abstract要約: 本稿では,事前訓練された言語モデルを用いて,ロバスト性を高めるための決定境界対応型データ拡張戦略を提案する。 提案手法は、まず、決定境界に近い潜在特徴のシフトに焦点をあて、続いて、ソフトラベル付き曖昧なバージョンを生成する再構成を行う。
• 参考スコア（独自算出の注目度）: 16.35126275175784
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Efforts to leverage deep learning models in low-resource regimes have led to numerous augmentation studies. However, the direct application of methods such as mixup and cutout to text data, is limited due to their discrete characteristics. While methods using pretrained language models have exhibited efficiency, they require additional considerations for robustness. Inspired by recent studies on decision boundaries, this paper proposes a decision-boundary-aware data augmentation strategy to enhance robustness using pretrained language models. The proposed technique first focuses on shifting the latent features closer to the decision boundary, followed by reconstruction to generate an ambiguous version with a soft label. Additionally, mid-K sampling is suggested to enhance the diversity of the generated sentences. This paper demonstrates the performance of the proposed augmentation strategy compared to other methods through extensive experiments. Furthermore, the ablation study reveals the effect of soft labels and mid-K sampling and the extensibility of the method with curriculum data augmentation.
• Abstract（参考訳）: 低リソース体制におけるディープラーニングモデルを活用する努力は、多くの強化研究につながった。 しかし,テキストデータへのミックスアップやカットアウトといった手法の直接適用は,個々の特性によって制限されている。 事前訓練された言語モデルを用いた手法は効率性を示しているが、堅牢性についてはさらなる検討が必要である。 意思決定境界に関する最近の研究から着想を得た本論文では,事前学習言語モデルを用いた堅牢性向上のための決定境界対応データ拡張戦略を提案する。 提案手法は、まず、決定境界に近い潜在特徴のシフトに焦点をあて、続いて、ソフトラベル付き曖昧なバージョンを生成する再構成を行う。 さらに、生成した文の多様性を高めるために、中間Kサンプリングを提案する。 本稿では, 提案手法の性能を他の手法と比較し, 広範囲な実験により検証した。 さらに, 軟式ラベルと中Kサンプリングの効果, カリキュラムデータ拡張による拡張性について検討した。

関連論文リスト

• Latent Paraphrasing: Perturbation on Layers Improves Knowledge Injection in Language Models [54.385486006684495]
  LaPaelは、初期大規模言語モデル層に入力依存ノイズを適用する潜在レベルパラフレーズ法である。 質問応答ベンチマーク実験により、LaPaelは、標準的な微調整および既存のノイズベースアプローチよりも知識注入を改善することを示した。
  論文  参考訳（メタデータ） (2024-11-01T15:47:05Z)
• Analyzing Persuasive Strategies in Meme Texts: A Fusion of Language Models with Paraphrase Enrichment [0.23020018305241333]
  本稿では,ミームテキストにおける説得手法の階層的マルチラベル検出へのアプローチについて述べる。 本研究の範囲は、革新的なトレーニング技術とデータ強化戦略を通じて、モデルパフォーマンスの向上を含む。
  論文  参考訳（メタデータ） (2024-07-01T20:25:20Z)
• Annotation-Efficient Polyp Segmentation via Active Learning [45.59503015577479]
  アノテーション効率の良いポリプセグメンテーションのための深層能動的学習フレームワークを提案する。 実際に,ポリプの予測マップと背景領域の類似性を調べることで,各試料の不確実性を測定する。 提案手法は,パブリックデータセットと大規模社内データセットの双方において,競合相手と比較して,最先端性能を実現していることを示す。
  論文  参考訳（メタデータ） (2024-03-21T12:25:17Z)
• LLM-DA: Data Augmentation via Large Language Models for Few-Shot Named Entity Recognition [67.96794382040547]
  $LLM-DA$は、数発のNERタスクのために、大きな言語モデル(LLM)に基づいた、新しいデータ拡張テクニックである。 提案手法では,14のコンテキスト書き換え戦略を採用し,同一タイプのエンティティ置換を設計し,ロバスト性を高めるためにノイズ注入を導入する。
  論文  参考訳（メタデータ） (2024-02-22T14:19:56Z)
• Querying Easily Flip-flopped Samples for Deep Active Learning [63.62397322172216]
  アクティブラーニング(英: Active Learning)は、ラベルのないデータを戦略的に選択してクエリすることで、モデルの性能を向上させることを目的とした機械学習パラダイムである。 効果的な選択戦略の1つはモデルの予測の不確実性に基づくもので、サンプルがどの程度情報的であるかの尺度として解釈できる。 本稿では,予測されたラベルの不一致の最小確率として,最小不一致距離(LDM)を提案する。
  論文  参考訳（メタデータ） (2024-01-18T08:12:23Z)
• Distributionally Robust Model-based Reinforcement Learning with Large State Spaces [55.14361269378122]
  強化学習における3つの大きな課題は、大きな状態空間を持つ複雑な力学系、コストのかかるデータ取得プロセス、トレーニング環境の展開から現実の力学を逸脱させることである。 広範に用いられているKullback-Leibler, chi-square, および全変分不確実性集合の下で, 連続状態空間を持つ分布ロバストなマルコフ決定過程について検討した。 本稿では,ガウス過程と最大分散削減アルゴリズムを用いて,多出力名目遷移力学を効率的に学習するモデルベースアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-05T13:42:11Z)
• Unsupervised feature selection via self-paced learning and low-redundant regularization [6.083524716031565]
  自己評価学習とサブスペース学習の枠組みを統合することにより,教師なしの特徴選択を提案する。 この手法の収束性は理論的および実験的に証明される。 実験の結果,提案手法はクラスタリング法の性能を向上し,他の比較アルゴリズムよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-12-14T08:28:19Z)
• GPT3Mix: Leveraging Large-scale Language Models for Text Augmentation [9.501648136713694]
  GPT-3のような大規模言語モデルは優れた数ショット学習者であり、自然なテキストプロンプトで制御できる。 本稿では,大規模言語モデルを用いて現実的なテキストサンプルを生成する新しいデータ拡張手法を提案する。
  論文  参考訳（メタデータ） (2021-04-18T11:39:33Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)
• Ask-n-Learn: Active Learning via Reliable Gradient Representations for Image Classification [29.43017692274488]
  深い予測モデルは、ラベル付きトレーニングデータという形で人間の監督に依存する。 Ask-n-Learnは,各アルゴリズムで推定されたペスドラベルを用いて得られる勾配埋め込みに基づく能動的学習手法である。
  論文  参考訳（メタデータ） (2020-09-30T05:19:56Z)
• A Simple but Tough-to-Beat Data Augmentation Approach for Natural Language Understanding and Generation [53.8171136907856]
  カットオフと呼ばれる、シンプルで効果的なデータ拡張戦略のセットを紹介します。 カットオフはサンプリング一貫性に依存しているため、計算オーバーヘッドが少なくなる。 cutoffは、敵のトレーニングを一貫して上回り、IWSLT2014 German- English データセットで最先端の結果を達成する。
  論文  参考訳（メタデータ） (2020-09-29T07:08:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。