論文の概要: SSMBA: Self-Supervised Manifold Based Data Augmentation for Improving Out-of-Domain Robustness

• arxiv url: http://arxiv.org/abs/2009.10195v2
• Date: Sun, 4 Oct 2020 22:47:00 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-16 03:49:20.794414
• Title: SSMBA: Self-Supervised Manifold Based Data Augmentation for Improving Out-of-Domain Robustness
• Title（参考訳）: SSMBA: 外部ロバスト性向上のための自己監督型マニフォールドベースデータ拡張
• Authors: Nathan Ng, Kyunghyun Cho, Marzyeh Ghassemi
• Abstract要約: 自然言語では、基礎となるデータ多様体に留まる新しい例を生成することは困難である。 本稿では,合成学習例を生成するためのデータ拡張手法であるSSMBAを紹介する。 3つのタスクと9つのデータセットにわたるベンチマークの実験では、SSMBAは既存のデータ拡張メソッドを一貫して上回っている。
• 参考スコア（独自算出の注目度）: 66.37077266814822
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Models that perform well on a training domain often fail to generalize to out-of-domain (OOD) examples. Data augmentation is a common method used to prevent overfitting and improve OOD generalization. However, in natural language, it is difficult to generate new examples that stay on the underlying data manifold. We introduce SSMBA, a data augmentation method for generating synthetic training examples by using a pair of corruption and reconstruction functions to move randomly on a data manifold. We investigate the use of SSMBA in the natural language domain, leveraging the manifold assumption to reconstruct corrupted text with masked language models. In experiments on robustness benchmarks across 3 tasks and 9 datasets, SSMBA consistently outperforms existing data augmentation methods and baseline models on both in-domain and OOD data, achieving gains of 0.8% accuracy on OOD Amazon reviews, 1.8% accuracy on OOD MNLI, and 1.4 BLEU on in-domain IWSLT14 German-English.
• Abstract（参考訳）: トレーニングドメインでうまく機能するモデルは、しばしばドメイン外(OOD)の例に一般化できない。 データ拡張は、OOD一般化の過度な適合や改善を防ぐための一般的な方法である。 しかし、自然言語では、基礎となるデータ多様体に留まる新しい例を生成することは困難である。 SSMBAは,データ多様体上でランダムに移動するために,一対の汚職と再構成関数を用いて合成学習例を生成するデータ拡張手法である。 本研究では,自然言語領域におけるssmbaの使用について検討し,その仮定を用いて,劣化したテキストをマスキング言語モデルで再構築する。 3つのタスクと9つのデータセットにわたる堅牢性ベンチマークの実験では、SSMBAは、ドメイン内データとOODデータの両方で既存のデータ拡張メソッドとベースラインモデルを上回っ、OOD Amazonのレビューでは0.8%の精度、OOD MNLIでは1.8%の精度、ドメイン内IWSLT14ドイツ語では1.4BLEUを達成した。

関連論文リスト

• Clear Minds Think Alike: What Makes LLM Fine-tuning Robust? A Study of Token Perplexity [61.48338027901318]
  LLM生成データによる微調整により,目標タスク性能が向上し,ドメイン外劣化の低減が図られる。 LLM生成トレーニングデータによって与えられる優れたOODロバスト性について、これが最初の力学的説明である。
  論文  参考訳（メタデータ） (2025-01-24T08:18:56Z)
• Drift-Resilient TabPFN: In-Context Learning Temporal Distribution Shifts on Tabular Data [39.40116554523575]
  In-Context Learning with a Prior-Data Fitted Network に基づく新しいアプローチである Drift-Resilient TabPFN を提案する。 先行した合成データセットのベイズ推定を近似することを学ぶ。 精度は0.688から0.744に向上し、OC AUCは0.786から0.832に向上し、キャリブレーションも強化された。
  論文  参考訳（メタデータ） (2024-11-15T23:49:23Z)
• SMaRt: Improving GANs with Score Matching Regularity [94.81046452865583]
  生成的敵ネットワーク(GAN)は通常、基礎となる多様体が複雑である非常に多様なデータから学ぶのに苦労する。 スコアマッチングは、生成したデータポイントを実データ多様体へ持続的にプッシュする能力のおかげで、この問題に対する有望な解決策であることを示す。 スコアマッチング規則性(SMaRt)を用いたGANの最適化を提案する。
  論文  参考訳（メタデータ） (2023-11-30T03:05:14Z)
• Tailoring Language Generation Models under Total Variation Distance [55.89964205594829]
  ニューラルネットワーク生成の標準パラダイムは、最適化方法として最大推定(MLE)を採用する。 言語生成に適用するための実践的境界を開発する。 本稿では,TVD推定のトレードオフのバランスをとるためのTaiLr の目標について紹介する。
  論文  参考訳（メタデータ） (2023-02-26T16:32:52Z)
• GLUE-X: Evaluating Natural Language Understanding Models from an Out-of-distribution Generalization Perspective [36.24251509242988]
  本稿では,NLPモデルにおけるOODロバスト性を評価するため,GLUE-Xという統一ベンチマークを作成するための最初の試みを示す。 GPT-3 や GPT-3.5 を含む 21 以上の PLM の古典的 NLP タスクに対して評価を行った。
  論文  参考訳（メタデータ） (2022-11-15T11:53:55Z)
• Training OOD Detectors in their Natural Habitats [31.565635192716712]
  アウト・オブ・ディストリビューション(OOD)検出は、野生にデプロイされた機械学習モデルにとって重要である。 近年の手法では,OOD検出の改善のために補助外乱データを用いてモデルを正規化している。 我々は、自然にIDとOODの両方のサンプルで構成される野生の混合データを活用する新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-02-07T15:38:39Z)
• Enhancing the Generalization for Intent Classification and Out-of-Domain Detection in SLU [70.44344060176952]
  インテント分類は、音声言語理解(SLU)における主要な課題である 近年の研究では、余分なデータやラベルを使用することで、OOD検出性能が向上することが示されている。 本稿では、IND意図分類とOOD検出の両方をサポートしながら、INDデータのみを用いてモデルを訓練することを提案する。
  論文  参考訳（メタデータ） (2021-06-28T08:27:38Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。