論文の概要: NeuroCounterfactuals: Beyond Minimal-Edit Counterfactuals for Richer Data Augmentation

• arxiv url: http://arxiv.org/abs/2210.12365v1
• Date: Sat, 22 Oct 2022 06:29:21 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-25 16:00:37.612735
• Title: NeuroCounterfactuals: Beyond Minimal-Edit Counterfactuals for Richer Data Augmentation
• Title（参考訳）: neurocounterfactuals: よりリッチなデータ拡張のための最小限の編集による偽物
• Authors: Phillip Howard, Gadi Singer, Vasudev Lal, Yejin Choi, Swabha Swayamdipta
• Abstract要約: 本稿では,緩やかな反ファクトとして設計されたNeuroCounterfactualsを紹介する。 我々の新しい生成的アプローチは、言語モデル適応による感情制御による制約付き復号化の利点を橋渡しする。
• 参考スコア（独自算出の注目度）: 55.17069935305069
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: While counterfactual data augmentation offers a promising step towards robust generalization in natural language processing, producing a set of counterfactuals that offer valuable inductive bias for models remains a challenge. Most existing approaches for producing counterfactuals, manual or automated, rely on small perturbations via minimal edits, resulting in simplistic changes. We introduce NeuroCounterfactuals, designed as loose counterfactuals, allowing for larger edits which result in naturalistic generations containing linguistic diversity, while still bearing similarity to the original document. Our novel generative approach bridges the benefits of constrained decoding, with those of language model adaptation for sentiment steering. Training data augmentation with our generations results in both in-domain and out-of-domain improvements for sentiment classification, outperforming even manually curated counterfactuals, under select settings. We further present detailed analyses to show the advantages of NeuroCounterfactuals over approaches involving simple, minimal edits.
• Abstract（参考訳）: counterfactual data augmentationは、自然言語処理における堅牢な一般化に向けた有望なステップを提供するが、モデルに価値ある帰納的バイアスを与えるカウンターファクトのセットを作成することは、依然として課題である。 カウンターファクトアル(手動または自動化)を生成する既存のアプローチのほとんどは、最小限の編集による小さな摂動に依存しており、単純な変更をもたらす。 我々は,言語多様性を含む自然主義的な世代を生じさせながら,元の文書と類似性を保ちながら,より大きな編集を可能にする,ゆるい反事実として設計されたニューロカウンタファクトラルを紹介する。 我々の新しい生成的アプローチは、言語モデル適応による感情制御による制約付き復号化の利点を橋渡しする。 私たちの世代によるトレーニングデータの強化は、感情分類のドメイン内およびドメイン外の両方の改善をもたらし、選択された設定下で、手動でキュレートされた偽物よりも優れています。 さらに,単純で最小限の編集を含むアプローチに対するニューロカウンタファクチュアの利点を示すために,詳細な分析を行った。

関連論文リスト

• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• Enhancing Visual Perception in Novel Environments via Incremental Data Augmentation Based on Style Transfer [2.516855334706386]
  未知の未知"は、現実のシナリオにおける自律的なエージェントデプロイメントに挑戦する。 提案手法は,変分プロトタイピング(VPE)を利用して,新規入力を積極的に識別し,処理することで視覚知覚を向上させる。 本研究は,ドメイン固有の拡張戦略に生成モデルを組み込むことの潜在的な利点を示唆する。
  論文  参考訳（メタデータ） (2023-09-16T03:06:31Z)
• DiffusER: Discrete Diffusion via Edit-based Reconstruction [88.62707047517914]
  DiffusERは、拡散モデルに基づくテキストの編集ベースの生成モデルである。 機械翻訳、要約、スタイル転送にまたがるいくつかのタスクにおいて、自動回帰モデルと競合する可能性がある。 また、標準的な自己回帰モデルに適さないような、他の種類の世代も実行することができる。
  論文  参考訳（メタデータ） (2022-10-30T16:55:23Z)
• CORE: A Retrieve-then-Edit Framework for Counterfactual Data Generation [91.16551253297588]
  Counterfactual Generation via Retrieval and Editing (CORE) は、トレーニングのための多様な反事実摂動を生成するための検索強化された生成フレームワークである。 COREはまず、学習されたバイエンコーダを用いて、タスク関連未ラベルテキストコーパス上で密集した検索を行う。 COREはこれらを、反ファクト編集のために、数ショットの学習機能を備えた大規模な言語モデルへのプロンプトに組み込む。
  論文  参考訳（メタデータ） (2022-10-10T17:45:38Z)
• Factorized Neural Transducer for Efficient Language Model Adaptation [51.81097243306204]
  空白および語彙予測を分解し,ニューラルトランスデューサの因子化モデルを提案する。 この因子化は、音声認識のためのトランスデューサにスタンドアロン言語モデルの改善を移すことが期待できる。 提案した因子化ニューラルトランスデューサは、言語モデル適応にドメイン外テキストデータを使用する場合、15%から20%のWER改善が得られることを示す。
  論文  参考訳（メタデータ） (2021-09-27T15:04:00Z)
• Learning Neural Models for Natural Language Processing in the Face of Distributional Shift [10.990447273771592]
  特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。 データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。 この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。 データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
  論文  参考訳（メタデータ） (2021-09-03T14:29:20Z)
• End-to-end Neural Coreference Resolution Revisited: A Simple yet Effective Baseline [20.431647446999996]
  本稿では、コア参照解決のための単純で効果的なベースラインを提案する。 我々のモデルは、オリジナルのニューラルコア参照解決モデルの簡易版である。 我々の研究は、既存のモデルや新しく提案されたモデルの複雑さを慎重に正当化する必要性を示す証拠を提供する。
  論文  参考訳（メタデータ） (2021-07-04T18:12:24Z)
• SDA: Improving Text Generation with Self Data Augmentation [88.24594090105899]
  自動データ拡張のための自己模倣学習フェーズを組み込むことにより,標準最大確率推定(MLE)パラダイムを改善することを提案する。 既存の文レベルの拡張戦略とは異なり,本手法はより汎用的で,任意のMLEベースの訓練手順に容易に適応できる。
  論文  参考訳（メタデータ） (2021-01-02T01:15:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。