論文の概要: Benchmarking Large Language Models in Complex Question Answering
Attribution using Knowledge Graphs
- arxiv url: http://arxiv.org/abs/2401.14640v1
- Date: Fri, 26 Jan 2024 04:11:07 GMT
- ステータス: 処理完了
- システム内更新日: 2024-01-29 16:05:07.862453
- Title: Benchmarking Large Language Models in Complex Question Answering
Attribution using Knowledge Graphs
- Title(参考訳): 知識グラフを用いた複合質問応答帰属における大規模言語モデルのベンチマーク
- Authors: Nan Hu, Jiaoyan Chen, Yike Wu, Guilin Qi, Sheng Bi, Tongtong Wu and
Jeff Z. Pan
- Abstract要約: 属性を測定するための細かなカテゴリのセットを紹介し,CAQA(Complex Attributed Question Answering)ベンチマークを開発する。
分析の結果,既存の評価器は微粒な属性設定では性能が悪く,複雑な引用文の推論に弱点が認められることがわかった。
- 参考スコア(独自算出の注目度): 35.089203283068635
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The attribution of question answering is to provide citations for supporting
generated statements, and has attracted wide research attention. The current
methods for automatically evaluating the attribution, which are often based on
Large Language Models (LLMs), are still inadequate, particularly in recognizing
subtle differences between attributions, and complex relationships between
citations and statements. To compare these attribution evaluation methods and
develop new ones, we introduce a set of fine-grained categories (i.e.,
supportive, insufficient, contradictory and irrelevant) for measuring the
attribution, and develop a Complex Attributed Question Answering (CAQA)
benchmark by leveraging knowledge graphs (KGs) for automatically generating
attributions of different categories to question-answer pairs. Our analysis
reveals that existing evaluators perform poorly under fine-grained attribution
settings and exhibit weaknesses in complex citation-statement reasoning. Our
CAQA benchmark, validated with human annotations, emerges as a promising tool
for selecting and developing LLM attribution evaluators.
- Abstract(参考訳): 質問応答の帰結は、生成したステートメントをサポートするための引用を提供することであり、幅広い研究の注目を集めている。
帰属を自動的に評価する現在の手法は、大言語モデル(LLM)に基づいており、特に属性間の微妙な違いと引用と文の間の複雑な関係を認識するのに不適切である。
これらの属性評価手法を比較して新しいものを開発するために,各カテゴリの属性を自動的に生成する知識グラフ(KG)を活用することで,属性を測定するための細かなカテゴリ(支援的,不十分,矛盾,無関係)のセットを導入し,複雑な属性質問回答(CAQA)ベンチマークを開発した。
分析の結果, 既存のエバリュエータは細粒度な帰属設定では性能が悪く, 複雑な引用文推論では弱点がみられた。
我々のCAQAベンチマークは、人間のアノテーションで検証され、LCM属性評価器の選択と開発のための有望なツールとして現れます。
関連論文リスト
- Evaluating Generative Language Models in Information Extraction as Subjective Question Correction [49.729908337372436]
本稿では,新しい評価手法SQC-Scoreを提案する。
主観的質問訂正の原則に着想を得て,新しい評価手法SQC-Scoreを提案する。
3つの情報抽出タスクの結果から,SQC-Scoreは基準値よりもアノテータの方が好ましいことが示された。
論文 参考訳(メタデータ) (2024-04-04T15:36:53Z) - AQuA -- Combining Experts' and Non-Experts' Views To Assess Deliberation Quality in Online Discussions Using LLMs [0.9737366359397255]
AQuAは、議論投稿ごとに複数の指標から統一された熟考品質スコアを算出する付加的なスコアである。
我々は,20の熟考指標に対する適応モデルを開発し,専門家のアノテーションと認識された熟考度との相関係数を非専門家によって計算し,各指標を1つの熟考スコアに重み付けする。
論文 参考訳(メタデータ) (2024-04-03T14:07:02Z) - HGOT: Hierarchical Graph of Thoughts for Retrieval-Augmented In-Context
Learning in Factuality Evaluation [22.67877393864983]
本稿では,文脈内学習における関連する文節の検索を促進するために,階層的思考グラフ(HGOT)を導入する。
このフレームワークは、複雑なクエリを管理可能なサブクエリに分割する、分割/クエリ戦略を採用している。
それは、最近提案された引用リコールと精度の指標を取り入れた、回答の選択のための自己一貫性の過半数投票を洗練する。
論文 参考訳(メタデータ) (2024-02-14T18:41:19Z) - SQUARE: Automatic Question Answering Evaluation using Multiple Positive
and Negative References [73.67707138779245]
SQuArE (Sentence-level QUestion AnsweRing Evaluation) という新しい評価指標を提案する。
文レベルの抽出(回答選択)と生成(GenQA)の両方のQAシステムでSQuArEを評価する。
論文 参考訳(メタデータ) (2023-09-21T16:51:30Z) - An Empirical Comparison of LM-based Question and Answer Generation
Methods [79.31199020420827]
質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。
本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。
実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
論文 参考訳(メタデータ) (2023-05-26T14:59:53Z) - Automatic Evaluation of Attribution by Large Language Models [24.443271739599194]
大規模言語モデル(LLM)による属性の自動評価について検討する。
まず、異なる種類の属性エラーを定義し、次に自動評価のための2つのアプローチを検討する。
生成検索エンジンNew Bingから12ドメインをカバーする一連のテスト例を手作業でキュレートする。
論文 参考訳(メタデータ) (2023-05-10T16:58:33Z) - Knowledge Base Question Answering by Case-based Reasoning over Subgraphs [81.22050011503933]
本モデルでは,既存のKG補完アルゴリズムよりも複雑な推論パターンを必要とする問合せに対して,より効果的に答えることを示す。
提案モデルは、KBQAベンチマークの最先端モデルよりも優れているか、競合的に動作する。
論文 参考訳(メタデータ) (2022-02-22T01:34:35Z) - Effective FAQ Retrieval and Question Matching With Unsupervised
Knowledge Injection [10.82418428209551]
質問に対して適切な回答を得るための文脈言語モデルを提案する。
また、ドメイン固有の単語間のトポロジ関連関係を教師なしの方法で活用することについても検討する。
提案手法のバリエーションを,公開可能な中国語FAQデータセット上で評価し,さらに大規模質問マッチングタスクに適用し,コンテキスト化する。
論文 参考訳(メタデータ) (2020-10-27T05:03:34Z) - Generating Diverse and Consistent QA pairs from Contexts with
Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。
我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
論文 参考訳(メタデータ) (2020-05-28T08:26:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。