論文の概要: Compound-QA: A Benchmark for Evaluating LLMs on Compound Questions

• arxiv url: http://arxiv.org/abs/2411.10163v1
• Date: Fri, 15 Nov 2024 13:12:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 17:07:48.047808
• Title: Compound-QA: A Benchmark for Evaluating LLMs on Compound Questions
• Title（参考訳）: 複合QA:複合質問に対するLCMの評価ベンチマーク
• Authors: Yutao Hou, Yajing Luo, Zhiwen Ruan, Hongru Wang, Weifeng Ge, Yun Chen, Guanhua Chen,
• Abstract要約: 本稿では、複合質問合成(CQ-Syn)を導入し、複合QAベンチマークを作成する。 このベンチマークは、プロプライエタリな大規模言語モデルにアノテートされた既存のQAデータセットに由来する。 LLM能力は、理解、推論、知識を含む3次元の観点で評価する。
• 参考スコア（独自算出の注目度）: 10.783827859678892
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Large language models (LLMs) demonstrate remarkable performance across various tasks, prompting researchers to develop diverse evaluation benchmarks. However, existing benchmarks typically measure the ability of LLMs to respond to individual questions, neglecting the complex interactions in real-world applications. In this paper, we introduce Compound Question Synthesis (CQ-Syn) to create the Compound-QA benchmark, focusing on compound questions with multiple sub-questions. This benchmark is derived from existing QA datasets, annotated with proprietary LLMs and verified by humans for accuracy. It encompasses five categories: Factual-Statement, Cause-and-Effect, Hypothetical-Analysis, Comparison-and-Selection, and Evaluation-and-Suggestion. It evaluates the LLM capability in terms of three dimensions including understanding, reasoning, and knowledge. Our assessment of eight open-source LLMs using Compound-QA reveals distinct patterns in their responses to compound questions, which are significantly poorer than those to non-compound questions. Additionally, we investigate various methods to enhance LLMs performance on compound questions. The results indicate that these approaches significantly improve the models' comprehension and reasoning abilities on compound questions.
• Abstract（参考訳）: 大規模言語モデル(LLM)は様々なタスクで顕著な性能を示し、研究者は様々な評価ベンチマークを開発する。 しかし、既存のベンチマークは、現実のアプリケーションにおける複雑な相互作用を無視して、個々の質問に答えるLLMの能力を測定するのが一般的である。 本稿では、複合質問合成(CQ-Syn)を導入し、複数のサブクエストを伴う複合質問に焦点をあてて、複合QAベンチマークを作成する。 このベンチマークは、既存のQAデータセットから派生したもので、プロプライエタリなLCMで注釈付けされ、正確さで人間によって検証されている。 5つのカテゴリ(Factual-Statement, cause-and-Effect, hypothetical-Analysis, Comparison-and-Selection, Evaluation-and-Suggestion)がある。 LLM能力は、理解、推論、知識を含む3次元の観点で評価する。 コンプレックスQAを用いた8つのオープンソースLCMの評価では,複合質問に対する応答パターンが明らかになり,非複合質問に対する応答パターンよりも格段に劣ることがわかった。 さらに,複合質問に対するLLMの性能向上のための様々な手法について検討する。 その結果,これらのアプローチは複合質問に対するモデルの理解と推論能力を大幅に改善することが示された。

関連論文リスト

• SPARQL Query Generation with LLMs: Measuring the Impact of Training Data Memorization and Knowledge Injection [81.78173888579941]
  大規模言語モデル(LLM)は、質問応答機能の品質を高めるのに適した方法と考えられている。 LLMはWebデータに基づいてトレーニングされており、ベンチマークや知識グラフがトレーニングデータに含まれているかどうかを研究者は制御できない。 本稿では,自然言語質問からSPARQLクエリを生成し,LLMの品質を評価する手法を提案する。
  論文  参考訳（メタデータ） (2025-07-18T12:28:08Z)
• The benefits of query-based KGQA systems for complex and temporal questions in LLM era [55.20230501807337]
  大規模言語モデルは質問回答(QA)に優れていますが、マルチホップ推論や時間的質問には苦戦しています。 クエリベースの知識グラフ QA (KGQA) は、直接回答の代わりに実行可能なクエリを生成するモジュール形式の代替手段を提供する。 WikiData QAのためのマルチステージクエリベースのフレームワークについて検討し、課題のあるマルチホップと時間ベンチマークのパフォーマンスを向上させるマルチステージアプローチを提案する。
  論文  参考訳（メタデータ） (2025-07-16T06:41:03Z)
• Decompositional Reasoning for Graph Retrieval with Large Language Models [1.034893617526558]
  大規模言語モデル(LLM)は多くのNLPタスクに優れるが、マルチホップ推論と現実の一貫性に苦しむ。 本稿では,テキスト知識グラフをクエリ分解によるLLM推論プロセスに統合する新しい検索手法を提案する。 本手法は,複雑な質問をサブクエストに分解し,関連するテキストのサブグラフを検索し,質問固有の知識グラフを作成して回答生成を誘導する。
  論文  参考訳（メタデータ） (2025-06-16T11:44:28Z)
• Large Language Models Meet Knowledge Graphs for Question Answering: Synthesis and Opportunities [8.870297760635996]
  大規模言語モデル(LLM)は質問応答(QA)タスクにおいて顕著な性能を示した。 しかし、LLMベースのQAは、推論能力の貧弱さ、時代遅れの知識、幻覚のために複雑なQAタスクに苦しむ。 いくつかの最近の研究は、上記の課題に対処するために、QAのためのLLMと知識グラフ(KG)を合成している。
  論文  参考訳（メタデータ） (2025-05-26T15:08:23Z)
• Right Answer, Wrong Score: Uncovering the Inconsistencies of LLM Evaluation in Multiple-Choice Question Answering [78.89231943329885]
  大規模言語モデル(LLM)を評価するために最も広く使われているタスクの1つは、Multiple-Choice Question Answering (MCQA)である。 本研究は,MCQA評価戦略の不整合を軽視し,不正確かつ誤ったモデル比較に繋がる可能性がある。
  論文  参考訳（メタデータ） (2025-03-19T08:45:03Z)
• AGENT-CQ: Automatic Generation and Evaluation of Clarifying Questions for Conversational Search with LLMs [53.6200736559742]
  エージェント-CQは、世代ステージと評価ステージの2つのステージから構成される。 CrowdLLMは、人間のクラウドソーシング判断をシミュレートして、生成された質問や回答を評価する。 ClariQデータセットの実験では、質問と回答の品質を評価するCrowdLLMの有効性が示されている。
  論文  参考訳（メタデータ） (2024-10-25T17:06:27Z)
• AHP-Powered LLM Reasoning for Multi-Criteria Evaluation of Open-Ended Responses [26.850344968677582]
  本研究では,大規模言語モデルを用いたオープンエンド質問に対する回答評価手法を提案する。 また,ChatGPT-3.5-turbo と GPT-4 の2つのデータセットについて実験を行った。 以上の結果から,本研究のアプローチは4つの基準線よりも人間の判断と密接に一致していることが示唆された。
  論文  参考訳（メタデータ） (2024-10-02T05:22:07Z)
• LINKAGE: Listwise Ranking among Varied-Quality References for Non-Factoid QA Evaluation via LLMs [61.57691505683534]
  非F (Non-Factoid) Question Answering (QA) は多種多様な潜在的回答と客観的基準により評価が困難である。 大規模言語モデル (LLM) は、様々なNLPタスクにおいて魅力的な性能を持つため、NFQAの評価に利用されてきた。 提案手法は,LLMを用いて基準回答のランク付けを行う新しい評価手法であるNFQAの評価手法を提案する。
  論文  参考訳（メタデータ） (2024-09-23T06:42:21Z)
• MMRel: A Relation Understanding Benchmark in the MLLM Era [72.95901753186227]
  MMRel(Multi-Modal Relation Understanding)は、オブジェクト間の関係に関する大規模で高品質で多様なデータを特徴付けるベンチマークである。 MMRelは、関係理解に基づくMLLMの評価や、関係理解能力を高めるための微調整MLLMに最適である。
  論文  参考訳（メタデータ） (2024-06-13T13:51:59Z)
• LOVA3: Learning to Visual Question Answering, Asking and Assessment [61.51687164769517]
  質問への回答、質問、評価は、世界を理解し、知識を得るのに不可欠な3つの人間の特性である。 現在のMLLM(Multimodal Large Language Models)は主に質問応答に焦点を当てており、質問や評価スキルの可能性を無視することが多い。 LOVA3は、"Learning tO Visual Question Answering, Asking and Assessment"と名付けられた革新的なフレームワークである。
  論文  参考訳（メタデータ） (2024-05-23T18:21:59Z)
• Can multiple-choice questions really be useful in detecting the abilities of LLMs? [15.756543037102256]
  大規模言語モデル(LLM)の評価には,MCQ(Multiple-choice Question)が広く用いられている。 課題と評価方法のミスアライメントは,MCQの有効性の思慮深い分析を必要とする。 質問応答(QA)データセットを中国語と英語の2言語で評価した。
  論文  参考訳（メタデータ） (2024-03-26T14:43:48Z)
• Let LLMs Take on the Latest Challenges! A Chinese Dynamic Question Answering Benchmark [69.3415799675046]
  我々は,中国インターネットの最新ニュースに関連する質問対を含む中国の動的QAベンチマークCDQAを紹介する。 我々は、人間とモデルを組み合わせたパイプラインを通じて高品質なデータを得る。 また,CDQA上での中国LLMの評価と分析を行った。
  論文  参考訳（メタデータ） (2024-02-29T15:22:13Z)
• Cofca: A Step-Wise Counterfactual Multi-hop QA benchmark [39.64489055580211]
  実データと反実データからなる新しい評価ベンチマークであるCofCA(Step-wise Counterfactual benchmark)を導入する。 実験の結果,ウィキペディアをベースとした事実データと反事実データの間には,既存のベンチマークにおけるデータ汚染問題を推定し,大きな性能差があることが判明した。
  論文  参考訳（メタデータ） (2024-02-19T08:12:30Z)
• An Empirical Comparison of LM-based Question and Answer Generation Methods [79.31199020420827]
  質問と回答の生成(QAG)は、コンテキストが与えられた質問と回答のペアのセットを生成することで構成される。 本稿では,シーケンス・ツー・シーケンス言語モデル(LM)を微調整する3つの異なるQAG手法を用いて,ベースラインを確立する。 実験により、学習時間と推論時間の両方で計算的に軽量なエンドツーエンドQAGモデルが一般に堅牢であり、他のより複雑なアプローチよりも優れていることが示された。
  論文  参考訳（メタデータ） (2023-05-26T14:59:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。