論文の概要: Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation

• arxiv url: http://arxiv.org/abs/2406.00179v1
• Date: Fri, 31 May 2024 20:15:10 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-06 08:23:47.931162
• Title: Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation
• Title（参考訳）: ロングスパン質問応答:サイドバイサイド評価による自動質問生成とQAシステムランキング
• Authors: Bernd Bohnet, Kevin Swersky, Rosanne Liu, Pranjal Awasthi, Azade Nova, Javier Snaider, Hanie Sedghi, Aaron T Parisi, Michael Collins, Angeliki Lazaridou, Orhan Firat, Noah Fiedel,
• Abstract要約: 大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。 我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
• 参考スコア（独自算出の注目度）: 65.16137964758612
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We explore the use of long-context capabilities in large language models to create synthetic reading comprehension data from entire books. Previous efforts to construct such datasets relied on crowd-sourcing, but the emergence of transformers with a context size of 1 million or more tokens now enables entirely automatic approaches. Our objective is to test the capabilities of LLMs to analyze, understand, and reason over problems that require a detailed comprehension of long spans of text, such as questions involving character arcs, broader themes, or the consequences of early actions later in the story. We propose a holistic pipeline for automatic data generation including question generation, answering, and model scoring using an ``Evaluator''. We find that a relative approach, comparing answers between models in a pairwise fashion and ranking with a Bradley-Terry model, provides a more consistent and differentiating scoring mechanism than an absolute scorer that rates answers individually. We also show that LLMs from different model families produce moderate agreement in their ratings. We ground our approach using the manually curated NarrativeQA dataset, where our evaluator shows excellent agreement with human judgement and even finds errors in the dataset. Using our automatic evaluation approach, we show that using an entire book as context produces superior reading comprehension performance compared to baseline no-context (parametric knowledge only) and retrieval-based approaches.
• Abstract（参考訳）: 大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。 このようなデータセットを構築するためのこれまでの努力は、クラウドソーシングに依存していたが、コンテキストサイズ100万以上のトランスフォーマーの出現により、完全に自動的なアプローチが可能になった。 我々の目的は、長文の詳細な理解を必要とする問題(例えば、文字弧を含む質問、より広いテーマ、物語の後の初期の行動の結果など)を分析し、理解し、推論するLLMの能力をテストすることである。 本稿では,'Evaluator'を用いた質問生成,回答,モデルスコアリングを含む,自動データ生成のための全体的パイプラインを提案する。 モデル間の解答をペア方式で比較し、Bradley-Terryモデルとランク付けすることで、解答を個別に評価する絶対スコアラーよりも一貫性と差別化のメカニズムが提供される。 また、異なるモデルファミリーのLCMが評価において適度な合意を得られることを示す。 我々は手動でキュレートされたNarrativeQAデータセットを用いてアプローチを基礎とし、評価器は人間の判断と優れた一致を示し、データセットにエラーを見つける。 自動評価手法を用いて,書籍全体を文脈として使用すると,ベースライン・ノ・コンテクスト(パラメトリック知識のみ)や検索ベースアプローチよりも優れた読解能力が得られることを示す。

関連論文リスト

• RAG-ConfusionQA: A Benchmark for Evaluating LLMs on Confusing Questions [52.33835101586687]
  会話AIエージェントはRetrieval Augmented Generation(RAG)を使用して、ユーザからの問い合わせに対して検証可能なドキュメント地上応答を提供する。 本稿では,与えられた文書コーパスから,文脈に乱れた多様な質問を効率的に生成する,新しい合成データ生成手法を提案する。
  論文  参考訳（メタデータ） (2024-10-18T16:11:29Z)
• Automatically Generating Numerous Context-Driven SFT Data for LLMs across Diverse Granularity [0.0]
  AugConは、さまざまなレベルの粒度のコンテキスト駆動SFTデータを、多様性、品質、忠実度で自動生成することができる。 コントラスト学習を通じてスコアラーをトレーニングし、CSTと協調してクエリのランク付けと洗練を行う。 その結果、AugConがいくつかの最先端手法に対して高多様性、品質、忠実度SFTデータを生成する際の大きな利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2024-05-26T14:14:18Z)
• Assisting humans in complex comparisons: automated information comparison at scale [0.0]
  抽象要約と基準駆動比較(ASC$2$End)システムを開発した。 本システムでは,セマンティックテキスト類似性比較を用いてエビデンス支援分析を生成する。 プロンプトはゼロショット戦略を用いて設計され、モデル推論を改善した。
  論文  参考訳（メタデータ） (2024-04-05T18:44:54Z)
• Short Answer Grading Using One-shot Prompting and Text Similarity Scoring Model [2.14986347364539]
  分析スコアと全体スコアの両方を提供する自動短解階調モデルを開発した。 このモデルの精度と2次重み付きカッパは、ASAGデータセットのサブセットである0.67と0.71であった。
  論文  参考訳（メタデータ） (2023-05-29T22:05:29Z)
• Large Language Models are Diverse Role-Players for Summarization Evaluation [82.31575622685902]
  文書要約の品質は、文法や正しさといった客観的な基準と、情報性、簡潔さ、魅力といった主観的な基準で人間の注釈者によって評価することができる。 BLUE/ROUGEのような自動評価手法のほとんどは、上記の次元を適切に捉えることができないかもしれない。 目的と主観の両面から生成されたテキストと参照テキストを比較し,総合的な評価フレームワークを提供するLLMに基づく新しい評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-03-27T10:40:59Z)
• Read before Generate! Faithful Long Form Question Answering with Machine Reading [77.17898499652306]
  LFQA(Long-form Question answering)は、ある質問に対する段落長の回答を生成することを目的としている。 生成と機械読取を協調的にモデル化する新しいエンドツーエンドフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-01T10:41:17Z)
• Meeting Summarization with Pre-training and Clustering Methods [6.47783315109491]
  HMNetcitehmnetは、ワードレベルのトランスフォーマーとターンレベルのトランスフォーマーの両方をベースラインとして使用する階層型ネットワークである。 中間クラスタリングステップでQMSumciteqmsumの位置列列化アプローチを拡張する。 ベースラインモデルの性能を,要約に有効な最先端言語モデルであるBARTと比較する。
  論文  参考訳（メタデータ） (2021-11-16T03:14:40Z)
• $Q^{2}$: Evaluating Factual Consistency in Knowledge-Grounded Dialogues via Question Generation and Question Answering [38.951535576102906]
  ナレッジベース対話モデルにおける事実整合性のための自動評価指標を提案する。 当社のメトリクスは、共参照解像度と自然言語推論機能を利用しています。 We curate a novel dataset of state-of-the-art dialogue system outputs for the Wizard-of-Wikipedia dataset。
  論文  参考訳（メタデータ） (2021-04-16T16:21:16Z)
• Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
  非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。 我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
  論文  参考訳（メタデータ） (2020-05-28T08:26:06Z)
• ORB: An Open Reading Benchmark for Comprehensive Evaluation of Machine Reading Comprehension [53.037401638264235]
  我々は,7種類の読解データセットの性能を報告する評価サーバORBを提案する。 評価サーバは、モデルのトレーニング方法に制限を課さないため、トレーニングパラダイムや表現学習の探索に適したテストベッドである。
  論文  参考訳（メタデータ） (2019-12-29T07:27:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。