論文の概要: ComparisonQA: Evaluating Factuality Robustness of LLMs Through Knowledge Frequency Control and Uncertainty

• arxiv url: http://arxiv.org/abs/2412.20251v1
• Date: Sat, 28 Dec 2024 19:51:08 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-31 16:01:19.923511
• Title: ComparisonQA: Evaluating Factuality Robustness of LLMs Through Knowledge Frequency Control and Uncertainty
• Title（参考訳）: 比較QA:知識周波数制御と不確かさによるLCMの顔のロバスト性の評価
• Authors: Qing Zong, Zhaowei Wang, Tianshi Zheng, Xiyu Ren, Yangqiu Song,
• Abstract要約: 283Kの抽象的な質問を含む比較QAベンチマークを導入する。 このようなペア間の知識周波数の差は、エンティティ周波数にのみ関連しているため、制御可能な比較を保証する。 実験により、LLMは低周波知識に関して特にロバスト性を示すことが明らかとなった。
• 参考スコア（独自算出の注目度）: 34.24348310302598
• License:
• Abstract: The rapid development of LLMs has sparked extensive research into their factual knowledge. Current works claim that LLMs fall short on questions requiring less frequent knowledge. However, their proof is incomplete since they only study the influence of entity frequency, which can not fully represent knowledge frequency. So we introduce ComparisonQA benchmark, containing 283K abstract questions, each instantiated by a pair of high-frequency and low-frequency entities. It ensures a controllable comparison because the difference of knowledge frequency between such a pair is only related to entity frequency. In addition, to avoid possible semantic shortcuts, which is a severe problem of current LLMs study, we design a two-round method for knowledge robustness measurement utilizing both correctness and uncertainty. Experiments reveal that LLMs exhibit particularly low robustness regarding low-frequency knowledge, and GPT-4o is even the worst under this measurement. Besides, we introduce an automatic method to filter out questions with low-quality and shortcuts to form ComparisonQA-Hard. We find that uncertainty effectively identifies such questions while maintaining the data size.
• Abstract（参考訳）: LLMの急速な発展は、その事実的知識に関する広範な研究を引き起こした。 現在の研究は、LLMは少ない知識を必要とする質問に不足していると主張している。 しかし、それらの証明は、知識周波数を完全に表現できない実体周波数の影響のみを研究するため、不完全である。 そこで、283Kの抽象的質問を含む比較QAベンチマークを導入し、それぞれが高周波と低周波の2つのエンティティによってインスタンス化される。 このようなペア間の知識周波数の差は、エンティティ周波数にのみ関連しているため、制御可能な比較を保証する。 また,従来のLLM研究の深刻な問題であるセマンティックショートカットを回避するために,正確性と不確実性の両方を利用した2ラウンドの知識ロバストネス測定法を設計した。 実験により、LDMは低周波の知識に関して特にロバスト性が低く、GPT-4oは、この測定では最悪のものであることが明らかになった。 さらに,品質の低い質問やショートカットを自動フィルタリングして比較QA-Hardを生成する手法を提案する。 データサイズを維持しながら、このような疑問を効果的に識別する不確実性があることがわかりました。

関連論文リスト

• Utilize the Flow before Stepping into the Same River Twice: Certainty Represented Knowledge Flow for Refusal-Aware Instruction Tuning [68.57166425493283]
  Refusal-Aware Instruction Tuning (RAIT) により、Large Language Models (LLM) は未知の質問に答えることを拒否できる。 この粗末なアプローチは、LLMが正しく答えられる可能性のある質問に答えることを過剰に拒否する可能性がある。 本稿では,CRaFT(Certainty Represented Knowledge Flow for Refusal-Aware Instructions Tuning)を提案する。
  論文  参考訳（メタデータ） (2024-10-09T14:12:51Z)
• Are LLMs Aware that Some Questions are not Open-ended? [58.93124686141781]
  大規模言語モデルでは、いくつかの質問が限定的な回答を持ち、より決定論的に答える必要があることを認識しているかどうかを調査する。 LLMにおける疑問認識の欠如は,(1)非オープンな質問に答えるにはカジュアルすぎる,(2)オープンな質問に答えるには退屈すぎる,という2つの現象をもたらす。
  論文  参考訳（メタデータ） (2024-10-01T06:07:00Z)
• Understanding Knowledge Drift in LLMs through Misinformation [11.605377799885238]
  大規模言語モデル(LLM)は多くのアプリケーションに革命をもたらしました。 我々は,QnAシナリオで誤情報に遭遇した場合に,現状のLCMの事実的不正確性に対する感受性を解析する。 実験の結果,LLMの不確実性が56.6%まで増加することが判明した。
  論文  参考訳（メタデータ） (2024-09-11T08:11:16Z)
• CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
  大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。 分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。 本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
  論文  参考訳（メタデータ） (2024-05-20T14:34:01Z)
• Prompting Large Language Models with Knowledge Graphs for Question Answering Involving Long-tail Facts [50.06633829833144]
  大規模言語モデル(LLM)は、様々なNLPタスクを実行するのに効果的であるが、広範囲の現実世界の知識を必要とするタスクを扱うのに苦労する。 我々は,関連する疑問に答えるために,長期的事実の知識を必要とするベンチマークを提案する。 実験の結果,LLMだけでこれらの疑問に答えるのに苦労していることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-10T15:10:20Z)
• DyKnow: Dynamically Verifying Time-Sensitive Factual Knowledge in LLMs [1.7764955091415962]
  本稿では,LLMにおける知識とWikidataに対する時間依存性を動的に評価する手法を提案する。 筆者らは,24の私的およびオープンソース LLM における時間依存的知識と,古い事実を更新するための4つの編集方法の有効性を評価する。 以上の結果から,1) 時代遅れは,最先端のLLMにおいて重要な問題であり,2) 質問プロンプトのわずかなバリエーションで示唆された場合のLCMの出力不整合性,3) 最先端の知識編集アルゴリズムの性能は極めて限られていることが示唆された。
  論文  参考訳（メタデータ） (2024-04-10T18:08:59Z)
• Can multiple-choice questions really be useful in detecting the abilities of LLMs? [15.756543037102256]
  大規模言語モデル(LLM)の評価には,MCQ(Multiple-choice Question)が広く用いられている。 課題と評価方法のミスアライメントは,MCQの有効性の思慮深い分析を必要とする。 質問応答(QA)データセットを中国語と英語の2言語で評価した。
  論文  参考訳（メタデータ） (2024-03-26T14:43:48Z)
• DeepEdit: Knowledge Editing as Decoding with Constraints [118.78008395850888]
  多段階推論における知識の編集は、大規模言語モデル(LLM)の知識編集(KE)において大きな課題となっている。 我々は、深度優先探索により新しい知識を持つコヒーレント推論チェーンを生成するLLMの能力を高める新しいKEフレームワークDEEPEDITを提案する。 DEEPEDITに加えて, MQUAKE-2002 と MQUAKE-HARD という2つの新しい KE ベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-01-19T03:48:27Z)
• Temporal Knowledge Question Answering via Abstract Reasoning Induction [32.08799860090592]
  本研究では,Large Language Models(LLMs)における時間的知識推論の高度化という課題に対処する。 本稿では,時間的推論を知識非依存と知識に基づく2つのフェーズに分割する抽象推論誘導(ARI)フレームワークを提案する。 提案手法は,2つの時間的QAデータセットに対して29.7%と9.27%の相対的な向上を達成している。
  論文  参考訳（メタデータ） (2023-11-15T17:46:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。