論文の概要: Stronger Transformers for Neural Multi-Hop Question Generation

• arxiv url: http://arxiv.org/abs/2010.11374v1
• Date: Thu, 22 Oct 2020 01:51:09 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-04 05:13:41.806887
• Title: Stronger Transformers for Neural Multi-Hop Question Generation
• Title（参考訳）: ニューラルマルチホップ質問生成のための強力なトランスフォーマー
• Authors: Devendra Singh Sachan and Lingfei Wu and Mrinmaya Sachan and William Hamilton
• Abstract要約: マルチホップ質問生成のための強力なトランスフォーマーモデルを提案する。 標準変圧器アーキテクチャを用いて,5つのBLEUポイントの最先端性能を大幅に向上させることができることを示す。
• 参考スコア（独自算出の注目度）: 48.06692942528804
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prior work on automated question generation has almost exclusively focused on generating simple questions whose answers can be extracted from a single document. However, there is an increasing interest in developing systems that are capable of more complex multi-hop question generation, where answering the questions requires reasoning over multiple documents. In this work, we introduce a series of strong transformer models for multi-hop question generation, including a graph-augmented transformer that leverages relations between entities in the text. While prior work has emphasized the importance of graph-based models, we show that we can substantially outperform the state-of-the-art by 5 BLEU points using a standard transformer architecture. We further demonstrate that graph-based augmentations can provide complimentary improvements on top of this foundation. Interestingly, we find that several important factors--such as the inclusion of an auxiliary contrastive objective and data filtering could have larger impacts on performance. We hope that our stronger baselines and analysis provide a constructive foundation for future work in this area.
• Abstract（参考訳）: 自動質問生成に関する以前の作業は、ほとんど1つのドキュメントから回答を抽出できる単純な質問の生成に重点を置いてきた。 しかし、より複雑なマルチホップ質問生成が可能なシステム開発への関心が高まっており、質問に答えるためには複数の文書の推論が必要である。 本稿では,テキスト内のエンティティ間の関係を利用するグラフ型トランスフォーマを含む,マルチホップ質問生成のための一連の強力なトランスフォーマモデルを提案する。 従来の研究はグラフベースモデルの重要性を強調してきたが、標準的なトランスフォーマーアーキテクチャを用いて、最先端の5 BLEUポイントを著しく上回ることができることを示す。 さらに、この基盤の上にグラフベースの拡張が補完的な改善をもたらすことを実証する。 興味深いことに、補助的な対比目的やデータフィルタリングなど、いくつかの重要な要素がパフォーマンスに大きな影響を与える可能性がある。 我々は,我々の強い基盤線と分析が,この分野の今後の研究に建設的な基盤を提供することを期待している。

関連論文リスト

• What are the Essential Factors in Crafting Effective Long Context Multi-Hop Instruction Datasets? Insights and Best Practices [91.71951459594074]
  拡張コンテキストウィンドウを持つLong Language Model (LLM) は、情報抽出、質問応答、複雑な計画シナリオなどのタスクを大幅に改善した。 既存のメソッドは通常、Self-Instructフレームワークを使用して、長いコンテキスト能力を改善するために命令チューニングデータを生成する。 本稿では,品質検証エージェント,シングルホップ質問生成エージェント,複数質問サンプリング戦略,マルチホップ質問マーガーエージェントを組み込んだマルチエージェント対話型マルチホップ生成フレームワークを提案する。 以上の結果から,我々の合成高品位長文指導データにより,多量の人体で訓練したモデルよりも,モデル性能が著しく向上することが示唆された。
  論文  参考訳（メタデータ） (2024-09-03T13:30:00Z)
• Improving Question Generation with Multi-level Content Planning [70.37285816596527]
  本稿では、与えられたコンテキストと回答から質問を生成する問題に対処し、特に拡張されたコンテキストをまたいだマルチホップ推論を必要とする質問に焦点をあてる。 具体的には、キーフレーズを同時に選択して完全な回答を生成するFA-modelと、生成した全回答を付加的な入力として取り込んだQ-modelの2つのコンポーネントを含む。
  論文  参考訳（メタデータ） (2023-10-20T13:57:01Z)
• A Comprehensive Survey on Applications of Transformers for Deep Learning Tasks [60.38369406877899]
  Transformerは、シーケンシャルデータ内のコンテキスト関係を理解するために自己認識メカニズムを使用するディープニューラルネットワークである。 Transformerモデルは、入力シーケンス要素間の長い依存関係を処理し、並列処理を可能にする。 我々の調査では、トランスフォーマーベースのモデルのためのトップ5のアプリケーションドメインを特定します。
  論文  参考訳（メタデータ） (2023-06-11T23:13:51Z)
• Multimodal Graph Transformer for Multimodal Question Answering [9.292566397511763]
  本稿では,複数のモーダルをまたがる推論を必要とする質問応答タスクのための新しいマルチモーダルグラフ変換器を提案する。 マルチモーダルグラフ情報を組み込むための,グラフを包含したプラグアンドプレイ準アテンション機構を提案する。 GQA, VQAv2, MultiModalQAデータセット上のトランスフォーマーベースラインに対するマルチモーダルグラフ変換の有効性を検証する。
  論文  参考訳（メタデータ） (2023-04-30T21:22:35Z)
• Conditional Generation with a Question-Answering Blueprint [84.95981645040281]
  我々は、条件生成を不透明にし、より根底的にレンダリングするための有用な中間表現としてのプランニングを提唱する。 我々は、最先端の質問生成技術を利用して、自動的に青写真を得る。 我々はTransformerベースのモデルを開発し、それぞれが生成した出力にブループリントを組み込む方法が異なる。
  論文  参考訳（メタデータ） (2022-07-01T13:10:19Z)
• Modeling Multi-hop Question Answering as Single Sequence Prediction [88.72621430714985]
  本稿では,単純な生成手法(PathFid)を提案する。 PathFidは、マルチホップ質問に対する回答を解決するための推論プロセスを明示的にモデル化する。 実験の結果,PathFidは2つのマルチホップQAデータセットに対して高い性能向上をもたらすことが示された。
  論文  参考訳（メタデータ） (2022-05-18T21:57:59Z)
• Transformer Models for Text Coherence Assessment [14.132559978971377]
  コヒーレンス(coherence)は、テキストの品質の重要な側面であり、その可読性を保証するために不可欠である。 これまでの研究は、エンティティベースの手法、構文パターン、談話関係、最近ではテキストコヒーレンスアセスメントのための従来のディープラーニングアーキテクチャを活用してきた。 バニラ変換器,階層変換器,マルチタスク学習モデル,ファクトベース入力表現モデルという4つの異なるトランスフォーマーアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-09-05T22:27:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。