論文の概要: Autoregressive Reasoning over Chains of Facts with Transformers

• arxiv url: http://arxiv.org/abs/2012.11321v1
• Date: Thu, 17 Dec 2020 13:17:27 GMT
• ステータス: 処理完了
• システム内更新日: 2021-05-02 17:41:44.224785
• Title: Autoregressive Reasoning over Chains of Facts with Transformers
• Title（参考訳）: トランスフォーマーを用いた事象連鎖の自己回帰推論
• Authors: Ruben Cartuyvels, Graham Spinks and Marie-Francine Moens
• Abstract要約: 本稿では,マルチホップ説明再生のための反復推論アルゴリズムを提案する。 それは自然言語の質問とその答えを与えられたテキストスニペットの形で関連する事実の証拠を取得します。 本手法は, 事前学習したトランスフォーマーモデルを用いて, 精度, トレーニング時間, 推論効率の面では, 従来よりも優れていることを示す。
• 参考スコア（独自算出の注目度）: 24.283305754236746
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper proposes an iterative inference algorithm for multi-hop explanation regeneration, that retrieves relevant factual evidence in the form of text snippets, given a natural language question and its answer. Combining multiple sources of evidence or facts for multi-hop reasoning becomes increasingly hard when the number of sources needed to make an inference grows. Our algorithm copes with this by decomposing the selection of facts from a corpus autoregressively, conditioning the next iteration on previously selected facts. This allows us to use a pairwise learning-to-rank loss. We validate our method on datasets of the TextGraphs 2019 and 2020 Shared Tasks for explanation regeneration. Existing work on this task either evaluates facts in isolation or artificially limits the possible chains of facts, thus limiting multi-hop inference. We demonstrate that our algorithm, when used with a pre-trained transformer model, outperforms the previous state-of-the-art in terms of precision, training time and inference efficiency.
• Abstract（参考訳）: 本稿では,テキストスニペットの形で関連する事実を検索し,自然言語による質問とその答えを求めるマルチホップ説明再生のための反復推論アルゴリズムを提案する。 マルチホップ推論のための複数の証拠や事実の組み合わせは、推論に必要な情報源の数が増えるとますます難しくなる。 提案アルゴリズムは, コーパスからの事象の選択を自己回帰的に分解し, 以前に選択した事実に対して次の繰り返しを条件にすることで, この問題に対処する。 これにより、ペアワイズな学習とランクの損失が利用できます。 本手法は,TextGraphs 2019 および 2020 Shared Tasks のデータセットを用いて,説明再生のための検証を行う。 このタスクの既存の作業は、独立して事実を評価するか、事実の連鎖を人工的に制限する。 本手法は, 事前学習したトランスフォーマーモデルを用いて, 精度, トレーニング時間, 推論効率の面では, 従来よりも優れていることを示す。

関連論文リスト

• FiDeLiS: Faithful Reasoning in Large Language Model for Knowledge Graph Question Answering [46.41364317172677]
  本稿では,知識グラフ質問応答を強化する検索拡張推論手法FiDeLiSを提案する。 FiDeLiSはキーワード付き検索機構を使用し、KGのベクトルベースインデックスから関連エンティティと関係をフェッチする。 我々のアプローチの特徴は、推論経路の選択を最適化するために、自然言語とビームサーチをブレンドすることである。
  論文  参考訳（メタデータ） (2024-05-22T17:56:53Z)
• Fact Checking Beyond Training Set [64.88575826304024]
  本稿では,レトリバーリーダが,あるドメインのラベル付きデータに基づいてトレーニングし,別のドメインで使用する場合,性能劣化に悩まされることを示す。 本稿では,レトリバー成分を分散シフトに対して頑健にするための逆アルゴリズムを提案する。 次に、これらのデータセットから8つの事実チェックシナリオを構築し、モデルと強力なベースラインモデルのセットを比較します。
  論文  参考訳（メタデータ） (2024-03-27T15:15:14Z)
• EXPLAIN, EDIT, GENERATE: Rationale-Sensitive Counterfactual Data Augmentation for Multi-hop Fact Verification [28.453817513380276]
  言語学的に多様でラベルに富む対物を生成するための有理感な手法を開発した。 具体的には、多様で流動的なカウンターファクトは、Explain-Edit-Generateアーキテクチャを介して生成される。 実験の結果,提案手法はSOTAベースラインよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-10-23T02:39:14Z)
• Repetition In Repetition Out: Towards Understanding Neural Text Degeneration from the Data Perspective [91.14291142262262]
  この研究は、データの観点から、単純で基本的な説明を提示する。 予備調査では, 退化問題とトレーニングデータにおける反復の有無との間には強い相関関係がみられた。 実験の結果,訓練データにおける繰り返しのペナルティ化は,より大きなモデルサイズや命令のチューニングを考慮しても重要な課題であることがわかった。
  論文  参考訳（メタデータ） (2023-10-16T09:35:42Z)
• Conjunct Resolution in the Face of Verbal Omissions [51.220650412095665]
  本稿では,テキスト上で直接動作する接続分解タスクを提案し,コーディネーション構造に欠けている要素を復元するために,分割・言い換えパラダイムを利用する。 クラウドソースアノテーションによる自然に発生する動詞の省略例を10万件以上を含む,大規模なデータセットをキュレートする。 我々は、このタスクのために様々な神経ベースラインをトレーニングし、最良の手法が適切なパフォーマンスを得る一方で、改善のための十分なスペースを残していることを示す。
  論文  参考訳（メタデータ） (2023-05-26T08:44:02Z)
• Consistent Multi-Granular Rationale Extraction for Explainable Multi-hop Fact Verification [13.72453491358488]
  本稿では,マルチホップ事実検証のための一貫性と忠実度を考慮した多粒性論理的抽出の実現可能性について検討する。 特に、事前訓練された妥当性予測モデルにより、トークンレベル説明器と文レベル説明器を同時に訓練し、多粒性論理式を得る。 3つのマルチホップ事実検証データセットの実験結果から,提案手法は最先端のベースラインよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-16T12:31:53Z)
• Explanation Selection Using Unlabeled Data for Chain-of-Thought Prompting [80.9896041501715]
  非専門家によって書かれたオフ・ザ・シェルフの説明のように、タスクのために"チューニング"されていない説明は、中途半端なパフォーマンスをもたらす可能性がある。 本稿では,ブラックボックス方式で説明拡散プロンプトを最適化する方法の課題に対処する。
  論文  参考訳（メタデータ） (2023-02-09T18:02:34Z)
• ReasonBERT: Pre-trained to Reason with Distant Supervision [17.962648165675684]
  ReasonBertは、言語モデルを拡張し、長距離関係や複数の、おそらくはハイブリッドなコンテキストを推論する能力を持つ事前学習手法である。 様々な種類の推論がシミュレートされ、複数の証拠を交わし、ある証拠から別の証拠に橋渡しし、解決不可能な事例を検出する。
  論文  参考訳（メタデータ） (2021-09-10T14:49:44Z)
• Improving Commonsense Causal Reasoning by Adversarial Training and Data Augmentation [14.92157586545743]
  本稿では,因果推論の領域において,モデルをより堅牢にするための多くの手法を提案する。 少数の追加生成データポイントがなくても、パフォーマンスと両方のデータセットの統計的に有意な改善を示します。
  論文  参考訳（メタデータ） (2021-01-13T09:55:29Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Fact-aware Sentence Split and Rephrase with Permutation Invariant Training [93.66323661321113]
  Sentence Split と Rephrase は、複雑な文をいくつかの単純な文に分解し、その意味を保存することを目的としている。 従来の研究では、パラレル文対からのSeq2seq学習によってこの問題に対処する傾向があった。 本稿では,この課題に対するSeq2seq学習における順序分散の効果を検証するために,置換訓練を導入する。
  論文  参考訳（メタデータ） (2020-01-16T07:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。