論文の概要: Investigating the Robustness of Natural Language Generation from Logical
Forms via Counterfactual Samples
- arxiv url: http://arxiv.org/abs/2210.08548v1
- Date: Sun, 16 Oct 2022 14:14:53 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-18 16:12:16.032601
- Title: Investigating the Robustness of Natural Language Generation from Logical
Forms via Counterfactual Samples
- Title（参考訳）: 対物サンプルを用いた論理形式からの自然言語生成のロバスト性の検討
- Authors: Chengyuan Liu, Leilei Gan, Kun Kuang, Fei Wu
- Abstract要約: 事前訓練されたモデルに基づく最先端の手法は、標準テストデータセットで顕著なパフォーマンスを達成した。
これらの手法が、テーブルのヘッダーと論理形式の演算子の間の急激な相関にのみ依存するのではなく、論理的推論を行う方法を学ぶかどうかを疑問視する。
本稿では,ショートカットへの依存を減らすための2つのアプローチを提案する。
- 参考スコア（独自算出の注目度）: 30.079030298066847
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The aim of Logic2Text is to generate controllable and faithful texts
conditioned on tables and logical forms, which not only requires a deep
understanding of the tables and logical forms, but also warrants symbolic
reasoning over the tables. State-of-the-art methods based on pre-trained models
have achieved remarkable performance on the standard test dataset. However, we
question whether these methods really learn how to perform logical reasoning,
rather than just relying on the spurious correlations between the headers of
the tables and operators of the logical form. To verify this hypothesis, we
manually construct a set of counterfactual samples, which modify the original
logical forms to generate counterfactual logical forms with rarely co-occurred
table headers and logical operators. SOTA methods give much worse results on
these counterfactual samples compared with the results on the original test
dataset, which verifies our hypothesis. To deal with this problem, we firstly
analyze this bias from a causal perspective, based on which we propose two
approaches to reduce the model's reliance on the shortcut. The first one
incorporates the hierarchical structure of the logical forms into the model.
The second one exploits automatically generated counterfactual data for
training. Automatic and manual experimental results on the original test
dataset and the counterfactual dataset show that our method is effective to
alleviate the spurious correlation. Our work points out the weakness of
previous methods and takes a further step toward developing Logic2Text models
with real logical reasoning ability.
- Abstract（参考訳）: Logic2Textの目的は、テーブルと論理形式を深く理解するだけでなく、テーブル上の象徴的な推論を保証し、テーブルと論理形式に条件付けされた制御可能で忠実なテキストを生成することである。
事前訓練されたモデルに基づく最先端の手法は、標準テストデータセットで顕著なパフォーマンスを達成した。
しかし、これらの手法が、テーブルのヘッダーと論理形式の演算子の間の急激な相関にのみ依存するのではなく、論理的推論を行う方法を本当に学んでいるのか疑問である。
この仮説を検証するために, 元の論理形式を変更し, 滅多に共起しないテーブルヘッダーと論理演算子を持つ反事実論理形式を生成する反事実標本群を手作業で構築する。
SOTA法は,これらのサンプルに対して,我々の仮説を検証した元の試験データセットよりもはるかに悪い結果を与える。
この問題に対処するために,まず,このバイアスを因果的視点から分析し,モデルの近道依存度を低減するための2つのアプローチを提案する。
第一に、論理形式の階層構造をモデルに組み込む。
第2のものは、自動生成された反事実データをトレーニングに活用する。
原テストデータセットと偽データセットにおける自動および手動実験の結果から,本手法はスプリアス相関の緩和に有効であることが示された。
本研究は,従来の手法の弱点を指摘し,論理的推論能力を持つLogic2Textモデルの開発に向けてさらなる一歩を踏み出したものである。
関連論文リスト
- MURMUR: Modular Multi-Step Reasoning for Semi-Structured Data-to-Text
Generation [102.20036684996248]
多段階推論を用いた半構造化データからテキストを生成するための,ニューロシンボリックなモジュラーアプローチであるMURMURを提案する。
WebNLG や LogicNLG のような2つのデータ・テキスト生成タスクについて実験を行った。
論文 参考訳（メタデータ） (2022-12-16T17:36:23Z) - PLOG: Table-to-Logic Pretraining for Logical Table-to-Text Generation [44.78200830757109]
本稿では,PLOG(Pretrained Logical Form Generator)フレームワークを提案する。
PLOGはまずテーブル・ツー・論理形式生成タスクで事前訓練され、その後下流のテーブル・ツー・テキストタスクで微調整される。
PLOGは、テーブル-テキスト対よりもずっと確実に、テーブル-論理対から論理的推論を学ぶことができる。
論文 参考訳（メタデータ） (2022-05-25T11:55:54Z) - Logical Satisfiability of Counterfactuals for Faithful Explanations in
NLI [60.142926537264714]
本稿では, 忠実度スルー・カウンタファクトの方法論について紹介する。
これは、説明に表される論理述語に基づいて、反実仮説を生成する。
そして、そのモデルが表現された論理と反ファクトの予測が一致しているかどうかを評価する。
論文 参考訳（メタデータ） (2022-05-25T03:40:59Z) - LogicInference: A New Dataset for Teaching Logical Inference to seq2seq
Models [4.186923466475792]
本稿では,論理推論を行うモデルの能力を評価する新しいデータセットであるLogicInferenceを提案する。
このデータセットは、命題論理と一階述語論理の小さなサブセットを用いた推論に焦点を当てている。
また、このデータセットに初期ベースラインを確立するために、機械学習モデルの集合を用いて初期結果を報告する。
論文 参考訳（メタデータ） (2022-03-28T21:13:22Z) - MERIt: Meta-Path Guided Contrastive Learning for Logical Reasoning [63.50909998372667]
テキストの論理的ReasonIngに対して,Metaパスを用いたコントラスト学習手法であるMERItを提案する。
2つの新しい戦略が我々の手法の必須要素である。
論文 参考訳（メタデータ） (2022-03-01T11:13:00Z) - Improving Logical-Level Natural Language Generation with
Topic-Conditioned Data Augmentation and Logical Form Generation [18.93964332724296]
本稿ではトピック条件付きデータ拡張(TopicDA)を提案し,テーブルから直接論理形式とテキスト記述を生成する。
論理形式生成(LG)はLogic2textの2つのタスクであり、テーブルのテキスト記述に基づいて有効な論理形式を生成する必要がある。
また,ラベル付きデータと拡張データの両方でLogic2textとLGモデルを併用した半教師付き学習手法を提案する。
論文 参考訳（メタデータ） (2021-12-12T13:50:18Z) - Logic-Consistency Text Generation from Semantic Parses [32.543257899910216]
本稿ではまず,意味解析から論理一貫性のあるテキストを生成するフレームワークであるSNOWBALLを提案する。
次に,意味解析と生成したテキスト間の論理的整合性を評価するための新しい自動計量BLECを提案する。
論文 参考訳（メタデータ） (2021-08-02T01:12:18Z) - Refining Labelled Systems for Modal and Constructive Logics with
Applications [0.0]
この論文は、モーダル論理や構成論理のセマンティクスを「経済的な」証明システムに変換する手段として機能する。
精製法は、ラベル付きおよびネストされたシーケント計算の2つの証明理論パラダイムを結合する。
導入された洗練されたラベル付き電卓は、デオン性STIT論理に対する最初の証明探索アルゴリズムを提供するために使用される。
論文 参考訳（メタデータ） (2021-07-30T08:27:15Z) - Logic-Driven Context Extension and Data Augmentation for Logical
Reasoning of Text [65.24325614642223]
論理的な記号や表現をテキストで理解し、答えにたどり着くよう提案します。
このような論理的情報に基づいて,文脈拡張フレームワークとデータ拡張アルゴリズムを提案する。
本手法は最先端の性能を実現し,論理駆動コンテキスト拡張フレームワークとデータ拡張アルゴリズムの両方が精度向上に寄与する。
論文 参考訳（メタデータ） (2021-05-08T10:09:36Z) - Logic2Text: High-Fidelity Natural Language Generation from Logical Forms [84.5687465831598]
我々は、制御可能、高忠実、忠実な世代を得るため、論理形式から生成する論理レベル NLG を定式化する。
提案する大規模データセットは TextscLogic2Text で,10,753 個の共通論理型を基礎となる論理形式と組み合わせて記述する。
論文 参考訳（メタデータ） (2020-04-30T04:06:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。