論文の概要: Table-based Fact Verification with Salience-aware Learning
- arxiv url: http://arxiv.org/abs/2109.04053v1
- Date: Thu, 9 Sep 2021 06:18:46 GMT
- ステータス: 処理完了
- システム内更新日: 2021-09-10 14:38:07.995302
- Title: Table-based Fact Verification with Salience-aware Learning
- Title(参考訳): サリエンス学習を用いたテーブルベースファクト検証
- Authors: Fei Wang, Kexuan Sun, Jay Pujara, Pedro Szekely, Muhao Chen
- Abstract要約: サリエンス推定は、2つの視点から事実検証の強化学習を可能にする。
TabFactの実験結果から,サリエンスを考慮した学習手法の有効性が示された。
- 参考スコア(独自算出の注目度): 20.72341939868327
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Tables provide valuable knowledge that can be used to verify textual
statements. While a number of works have considered table-based fact
verification, direct alignments of tabular data with tokens in textual
statements are rarely available. Moreover, training a generalized fact
verification model requires abundant labeled training data. In this paper, we
propose a novel system to address these problems. Inspired by counterfactual
causality, our system identifies token-level salience in the statement with
probing-based salience estimation. Salience estimation allows enhanced learning
of fact verification from two perspectives. From one perspective, our system
conducts masked salient token prediction to enhance the model for alignment and
reasoning between the table and the statement. From the other perspective, our
system applies salience-aware data augmentation to generate a more diverse set
of training instances by replacing non-salient terms. Experimental results on
TabFact show the effective improvement by the proposed salience-aware learning
techniques, leading to the new SOTA performance on the benchmark. Our code is
publicly available at https://github.com/luka-group/Salience-aware-Learning .
- Abstract(参考訳): テーブルは、テキストステートメントの検証に使用できる貴重な知識を提供する。
多くの著作がテーブルベースの事実検証を検討しているが、表データとテキスト文のトークンの直接アライメントはめったに利用できない。
さらに、一般化された事実検証モデルのトレーニングには、豊富なラベル付きトレーニングデータが必要である。
本稿では,これらの問題に対処する新しいシステムを提案する。
反事実因果関係に着想を得た本システムは,提案文中のトークンレベルのサリエンスを探索に基づくサリエンス推定で識別する。
サリエンス推定は、2つの視点から事実検証の強化学習を可能にする。
一視点から,本システムは表と文間のアライメントと推論のモデルを強化するために,マスク付き有意なトークン予測を行う。
他方から,本システムは,より多様なトレーニングインスタンスを生成するために,非サラリエンス項を置き換えることで,サラリエンス対応データ拡張を行う。
TabFactの実験結果から,提案手法が有効であることを示すとともに,ベンチマーク上でのSOTA性能が向上した。
私たちのコードはhttps://github.com/luka-group/Salience-aware-Learning で公開されています。
関連論文リスト
- Making Pre-trained Language Models Great on Tabular Prediction [50.70574370855663]
ディープニューラルネットワーク(DNN)の転送性は、画像および言語処理において著しく進歩している。
本稿では,表型データ予測のための訓練済みLMであるTP-BERTaを提案する。
新たな相対等級トークン化では、スカラー数値の特徴値を細分化した高次元トークンに変換し、特徴値と対応する特徴名を統合する。
論文 参考訳(メタデータ) (2024-03-04T08:38:56Z) - Textual Entailment for Effective Triple Validation in Object Prediction [4.94309218465563]
本稿では,クローズ文を用いて言語モデルから抽出した事実の検証にテキスト・エンテーメントを用いることを提案する。
本研究の結果から,テキスト・エンテーメントに基づく三重検証により,異なる学習体制における言語モデル予測が向上することが示唆された。
論文 参考訳(メタデータ) (2024-01-29T16:50:56Z) - M-Tuning: Prompt Tuning with Mitigated Label Bias in Open-Set Scenarios [103.6153593636399]
緩和ラベルバイアス(M-Tuning)を用いた視覚言語プロンプトチューニング手法を提案する。
これはWordNetからのオープンワードを導入し、クローズドセットラベルワードのみからもっと多くのプロンプトテキストを形成する単語の範囲を広げ、シミュレートされたオープンセットシナリオでプロンプトをチューニングする。
提案手法は,様々なスケールのデータセット上で最高の性能を達成し,広範囲にわたるアブレーション研究もその有効性を検証した。
論文 参考訳(メタデータ) (2023-03-09T09:05:47Z) - STUNT: Few-shot Tabular Learning with Self-generated Tasks from
Unlabeled Tables [64.0903766169603]
我々は,Unlabeled Tables (STUNT) からの自己生成タスクを作成した,数発のセミ教師付き学習のためのフレームワークを提案する。
私たちのキーとなるアイデアは、ランダムに選択された列をターゲットラベルとして扱うことで、多様なショットタスクを自己生成することです。
次に、メタラーニング手法を用いて、構築されたタスクで一般化可能な知識を学習する。
論文 参考訳(メタデータ) (2023-03-02T02:37:54Z) - Graph Reasoning with Context-Aware Linearization for Interpretable Fact
Extraction and Verification [18.80709296426521]
本稿では,テキストと表のエビデンスを用いて事実抽出と検証を行うエンド・ツー・エンドシステムを提案する。
ベストパフォーマンスシステムは,ブラインドテストデータ上でのFEVEROUSスコア0.23と53%のラベル精度を達成する。
論文 参考訳(メタデータ) (2021-09-25T12:05:28Z) - Exploring Decomposition for Table-based Fact Verification [18.584226291619217]
複雑な文を単純なサブプロブレムに分解することで事実検証を改善する。
提案手法は,TabFactベンチマークにおいて,82.7%の精度で最先端性能を実現する。
論文 参考訳(メタデータ) (2021-09-22T20:15:05Z) - Learning Better Representation for Tables by Self-Supervised Tasks [23.69766883380125]
本稿では,表表現の学習を支援するために,数値順序付けと有意順序付けという2つの自己教師型タスクを提案する。
本手法はNBAゲーム統計と関連ニュースからなるROTOWIREを用いて検証する。
論文 参考訳(メタデータ) (2020-10-15T09:03:38Z) - Predicting What You Already Know Helps: Provable Self-Supervised
Learning [60.27658820909876]
自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。
本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。
複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
論文 参考訳(メタデータ) (2020-08-03T17:56:13Z) - How Context Affects Language Models' Factual Predictions [134.29166998377187]
検索システムからの情報を学習済みの言語モデルと純粋に教師なしの方法で統合する。
この方法で事前学習された言語モデルを拡張することで、性能が劇的に向上し、教師なしにもかかわらず、結果として得られるシステムは、教師なしの機械読解ベースラインと競合する、と報告する。
論文 参考訳(メタデータ) (2020-05-10T09:28:12Z) - Learning What Makes a Difference from Counterfactual Examples and
Gradient Supervision [57.14468881854616]
ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。
我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。
このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
論文 参考訳(メタデータ) (2020-04-20T02:47:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。