論文の概要: Improving Commonsense Causal Reasoning by Adversarial Training and Data Augmentation

• arxiv url: http://arxiv.org/abs/2101.04966v1
• Date: Wed, 13 Jan 2021 09:55:29 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-30 07:59:55.138998
• Title: Improving Commonsense Causal Reasoning by Adversarial Training and Data Augmentation
• Title（参考訳）: 対人訓練とデータ強化による常識因果推論の改善
• Authors: Ieva Stali\=unait\.e, Philip John Gorinski, Ignacio Iacobacci
• Abstract要約: 本稿では,因果推論の領域において,モデルをより堅牢にするための多くの手法を提案する。 少数の追加生成データポイントがなくても、パフォーマンスと両方のデータセットの統計的に有意な改善を示します。
• 参考スコア（独自算出の注目度）: 14.92157586545743
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Determining the plausibility of causal relations between clauses is a commonsense reasoning task that requires complex inference ability. The general approach to this task is to train a large pretrained language model on a specific dataset. However, the available training data for the task is often scarce, which leads to instability of model training or reliance on the shallow features of the dataset. This paper presents a number of techniques for making models more robust in the domain of causal reasoning. Firstly, we perform adversarial training by generating perturbed inputs through synonym substitution. Secondly, based on a linguistic theory of discourse connectives, we perform data augmentation using a discourse parser for detecting causally linked clauses in large text, and a generative language model for generating distractors. Both methods boost model performance on the Choice of Plausible Alternatives (COPA) dataset, as well as on a Balanced COPA dataset, which is a modified version of the original data that has been developed to avoid superficial cues, leading to a more challenging benchmark. We show a statistically significant improvement in performance and robustness on both datasets, even with only a small number of additionally generated data points.
• Abstract（参考訳）: 節間の因果関係の可能性を決定することは、複雑な推論能力を必要とする常識推論タスクである。 このタスクに対する一般的なアプローチは、特定のデータセット上で大きな事前学習された言語モデルをトレーニングすることです。 しかし、利用可能なタスクのトレーニングデータは、しばしば不足し、モデルのトレーニングが不安定になるか、データセットの浅い特徴に依存します。 本稿では,因果推論の領域においてモデルをより堅牢にするための多くの手法を提案する。 まず,同義語置換により摂動入力を生成し,逆行訓練を行う。 第2に、談話接続の言語理論に基づいて、大文の因果関係節を検出するための談話パーサと、散逸子を生成するための生成言語モデルを用いてデータ拡張を行う。 どちらの手法も、Compose of Plausible Alternatives (COPA)データセットと、表面的な手がかりを避けるために開発されたオリジナルデータの修正版であるBa balanced COPAデータセットのモデルパフォーマンスを高め、より難しいベンチマークにつながった。 予備生成したデータポイントは少ないが,両データセットのパフォーマンスと堅牢性は統計的に著しく向上した。

関連論文リスト

• Dissecting vocabulary biases datasets through statistical testing and automated data augmentation for artifact mitigation in Natural Language Inference [3.154631846975021]
  我々は、データセットのアーティファクトを調査し、これらの問題に対処するための戦略を開発することに重点を置いている。 文字レベルから単語レベルにまたがる複数の自動データ拡張戦略を提案する。 実験により,提案手法はモデル精度を効果的に向上し,バイアスを最大0.66%,バイアスを1.14%低減することを示した。
  論文  参考訳（メタデータ） (2023-12-14T08:46:26Z)
• Controlled Randomness Improves the Performance of Transformer Models [4.678970068275123]
  制御されたランダム性、すなわちノイズを訓練プロセスに導入し、微調整言語モデルを改善する。 このようなノイズを加えることで、結合したエンティティ認識と関係抽出とテキスト要約という2つの下流タスクのパフォーマンスが向上することがわかった。
  論文  参考訳（メタデータ） (2023-10-20T14:12:55Z)
• Boosting Event Extraction with Denoised Structure-to-Text Augmentation [52.21703002404442]
  イベント抽出は、テキストから事前に定義されたイベントトリガと引数を認識することを目的としている。 最近のデータ拡張手法は文法的誤りの問題を無視することが多い。 本稿では,イベント抽出DAEEのための記述構造からテキストへの拡張フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-16T16:52:07Z)
• Multi-Scales Data Augmentation Approach In Natural Language Inference For Artifacts Mitigation And Pre-Trained Model Optimization [0.0]
  クラウドソーシングされたStanford Natural Language Inference corpus内でデータセットのアーティファクトを分析し、配置するための様々な技術を提供する。 データセットアーティファクトを緩和するために、2つの異なるフレームワークで独自のマルチスケールデータ拡張技術を採用している。 本手法は, 摂動試験に対するモデルの抵抗性を向上し, トレーニング済みベースラインの連続的な性能向上を可能にする。
  論文  参考訳（メタデータ） (2022-12-16T23:37:44Z)
• CORE: A Retrieve-then-Edit Framework for Counterfactual Data Generation [91.16551253297588]
  Counterfactual Generation via Retrieval and Editing (CORE) は、トレーニングのための多様な反事実摂動を生成するための検索強化された生成フレームワークである。 COREはまず、学習されたバイエンコーダを用いて、タスク関連未ラベルテキストコーパス上で密集した検索を行う。 COREはこれらを、反ファクト編集のために、数ショットの学習機能を備えた大規模な言語モデルへのプロンプトに組み込む。
  論文  参考訳（メタデータ） (2022-10-10T17:45:38Z)
• Amortized Inference for Causal Structure Learning [72.84105256353801]
  因果構造を学習することは、通常、スコアまたは独立テストを使用して構造を評価することを伴う探索問題を引き起こす。 本研究では,観測・干渉データから因果構造を予測するため,変分推論モデルを訓練する。 我々のモデルは、実質的な分布シフトの下で頑健な一般化能力を示す。
  論文  参考訳（メタデータ） (2022-05-25T17:37:08Z)
• How Does Data Corruption Affect Natural Language Understanding Models? A Study on GLUE datasets [4.645287693363387]
  モデルが微調整されたり、破損したデータでテストされた場合、ほとんどのGLUEタスクのパフォーマンスは高いままである。 提案したデータ変換は,特定のデータセットがモデルの言語理解能力を評価するための適切なテストベッドを構成する範囲を評価するための診断ツールとして利用することができる。
  論文  参考訳（メタデータ） (2022-01-12T13:35:53Z)
• Improving Classifier Training Efficiency for Automatic Cyberbullying Detection with Feature Density [58.64907136562178]
  言語支援の異なる特徴前処理手法を用いて特徴密度(FD)の有効性を検討した。 データセットの複雑さを推定することで、必要な実験の数を削減できると仮定する。 データセットの言語的複雑さの違いにより、言語的に支援された単語前処理の有効性を議論することが可能になる。
  論文  参考訳（メタデータ） (2021-11-02T15:48:28Z)
• Unsupervised Paraphrasing with Pretrained Language Models [85.03373221588707]
  教師なし環境で,事前学習した言語モデルを用いて高品質なパラフレーズを生成する訓練パイプラインを提案する。 提案手法は,タスク適応,自己スーパービジョン,動的ブロッキング(Dynamic Blocking)という新しい復号アルゴリズムから構成される。 提案手法は,Quora Question PairとParaNMTの両方のデータセット上で,最先端の性能を達成できることを示す。
  論文  参考訳（メタデータ） (2020-10-24T11:55:28Z)
• Partially-Aligned Data-to-Text Generation with Distant Supervision [69.15410325679635]
  我々はPADTG(Partially-Aligned Data-to-Text Generation)と呼ばれる新しい生成タスクを提案する。 自動的にアノテートされたデータをトレーニングに利用し、アプリケーションドメインを大幅に拡張するため、より実用的です。 我々のフレームワークは、全てのベースラインモデルより優れており、部分整合データの利用の可能性を検証する。
  論文  参考訳（メタデータ） (2020-10-03T03:18:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。