論文の概要: CORE: A Retrieve-then-Edit Framework for Counterfactual Data Generation

• arxiv url: http://arxiv.org/abs/2210.04873v1
• Date: Mon, 10 Oct 2022 17:45:38 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-11 17:03:24.765943
• Title: CORE: A Retrieve-then-Edit Framework for Counterfactual Data Generation
• Title（参考訳）: CORE: 対実データ生成のための検索テーマ編集フレームワーク
• Authors: Tanay Dixit, Bhargavi Paranjape, Hannaneh Hajishirzi, Luke Zettlemoyer
• Abstract要約: Counterfactual Generation via Retrieval and Editing (CORE) は、トレーニングのための多様な反事実摂動を生成するための検索強化された生成フレームワークである。 COREはまず、学習されたバイエンコーダを用いて、タスク関連未ラベルテキストコーパス上で密集した検索を行う。 COREはこれらを、反ファクト編集のために、数ショットの学習機能を備えた大規模な言語モデルへのプロンプトに組み込む。
• 参考スコア（独自算出の注目度）: 91.16551253297588
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Counterfactual data augmentation (CDA) -- i.e., adding minimally perturbed inputs during training -- helps reduce model reliance on spurious correlations and improves generalization to out-of-distribution (OOD) data. Prior work on generating counterfactuals only considered restricted classes of perturbations, limiting their effectiveness. We present COunterfactual Generation via Retrieval and Editing (CORE), a retrieval-augmented generation framework for creating diverse counterfactual perturbations for CDA. For each training example, CORE first performs a dense retrieval over a task-related unlabeled text corpus using a learned bi-encoder and extracts relevant counterfactual excerpts. CORE then incorporates these into prompts to a large language model with few-shot learning capabilities, for counterfactual editing. Conditioning language model edits on naturally occurring data results in diverse perturbations. Experiments on natural language inference and sentiment analysis benchmarks show that CORE counterfactuals are more effective at improving generalization to OOD data compared to other DA approaches. We also show that the CORE retrieval framework can be used to encourage diversity in manually authored perturbations
• Abstract（参考訳）: 対実データ拡張(CDA) - トレーニング中に最小限の摂動入力を追加することで、スプリアス相関によるモデル依存を減らし、アウト・オブ・ディストリビューション(OOD)データへの一般化を改善する。 反事実を生成する以前の作業は摂動の制限されたクラスのみを考慮し、その効果を制限した。 本稿では,CDAのための多種多様な反事実摂動を生成するための検索強化生成フレームワークであるCounterfactual Generation via Retrieval and Editing(CORE)を提案する。 各トレーニング例について、COREはまず、学習されたバイエンコーダを用いてタスク関連未ラベルテキストコーパス上で密集した検索を行い、関連する反事実の抜粋を抽出する。 COREはこれらを、反ファクト編集のために、数ショットの学習機能を備えた大規模な言語モデルへのプロンプトに組み込む。 コンディショニング言語モデルは自然に発生するデータを編集し、様々な摂動をもたらす。 自然言語推論と感情分析のベンチマーク実験により、COREのカウンターファクトはOODデータへの一般化を改善するのに他のDA手法よりも効果的であることが示されている。 また,CORE検索フレームワークは,手作業による摂動の多様性向上に有効であることを示す。

関連論文リスト

• SIaM: Self-Improving Code-Assisted Mathematical Reasoning of Large Language Models [54.78329741186446]
  本稿では,コードに基づく批判モデルを用いて,質問コードデータ構築,品質管理,補完的評価などのステップをガイドする新しいパラダイムを提案する。 英語と中国語におけるドメイン内ベンチマークとドメイン外ベンチマークの両方の実験は、提案したパラダイムの有効性を実証している。
  論文  参考訳（メタデータ） (2024-08-28T06:33:03Z)
• Enhancing Retrieval-Augmented LMs with a Two-stage Consistency Learning Compressor [4.35807211471107]
  本研究では,検索強化言語モデルにおける検索情報圧縮のための2段階一貫性学習手法を提案する。 提案手法は複数のデータセットにまたがって実験的に検証され,質問応答タスクの精度と効率が顕著に向上したことを示す。
  論文  参考訳（メタデータ） (2024-06-04T12:43:23Z)
• EXPLAIN, EDIT, GENERATE: Rationale-Sensitive Counterfactual Data Augmentation for Multi-hop Fact Verification [28.453817513380276]
  言語学的に多様でラベルに富む対物を生成するための有理感な手法を開発した。 具体的には、多様で流動的なカウンターファクトは、Explain-Edit-Generateアーキテクチャを介して生成される。 実験の結果,提案手法はSOTAベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-23T02:39:14Z)
• Generative error correction for code-switching speech recognition using large language models [49.06203730433107]
  コードスイッチング(英: Code-switching, CS)とは、2つ以上の言語が同じ文内に混在する現象である。 本稿では,大規模言語モデル (LLM) と ASR が生成する仮説のリストを利用して,CS 問題に対処することを提案する。
  論文  参考訳（メタデータ） (2023-10-17T14:49:48Z)
• Constructive Large Language Models Alignment with Diverse Feedback [76.9578950893839]
  本稿では,大規模言語モデルのアライメント向上のための新しい手法として,コンストラクティブ・ディバース・フィードバック(CDF)を導入する。 我々は,簡単な問題に対する批判的フィードバック,中級問題に対する改善的フィードバック,難題に対する選好的フィードバックを利用する。 このような多様なフィードバックでモデルをトレーニングすることで、トレーニングデータの少ない使用でアライメント性能を向上させることができる。
  論文  参考訳（メタデータ） (2023-10-10T09:20:14Z)
• NeuroCounterfactuals: Beyond Minimal-Edit Counterfactuals for Richer Data Augmentation [55.17069935305069]
  本稿では,緩やかな反ファクトとして設計されたNeuroCounterfactualsを紹介する。 我々の新しい生成的アプローチは、言語モデル適応による感情制御による制約付き復号化の利点を橋渡しする。
  論文  参考訳（メタデータ） (2022-10-22T06:29:21Z)
• Improving Commonsense Causal Reasoning by Adversarial Training and Data Augmentation [14.92157586545743]
  本稿では,因果推論の領域において,モデルをより堅牢にするための多くの手法を提案する。 少数の追加生成データポイントがなくても、パフォーマンスと両方のデータセットの統計的に有意な改善を示します。
  論文  参考訳（メタデータ） (2021-01-13T09:55:29Z)
• Generative Data Augmentation for Commonsense Reasoning [75.26876609249197]
  G-DAUGCは、低リソース環境でより正確で堅牢な学習を実現することを目的とした、新しい生成データ拡張手法である。 G-DAUGCは、バックトランスレーションに基づく既存のデータ拡張手法を一貫して上回っている。 分析の結果,G-DAUGCは多種多様な流線型学習例を産出し,その選択と学習アプローチが性能向上に重要であることが示された。
  論文  参考訳（メタデータ） (2020-04-24T06:12:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。