論文の概要: Evaluating the Factuality of Large Language Models using Large-Scale Knowledge Graphs

• arxiv url: http://arxiv.org/abs/2404.00942v1
• Date: Mon, 1 Apr 2024 06:01:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 23:16:25.643280
• Title: Evaluating the Factuality of Large Language Models using Large-Scale Knowledge Graphs
• Title（参考訳）: 大規模知識グラフを用いた大規模言語モデルの現実性評価
• Authors: Xiaoze Liu, Feijie Wu, Tianyang Xu, Zhuo Chen, Yichi Zhang, Xiaoqian Wang, Jing Gao,
• Abstract要約: 大規模言語モデル(LLM)にとって、ファクチュアリティの問題は重要な問題である 我々は,かなり大きなテストデータセットを用いて,LLMの性能を評価するためにGraphEvalを提案する。 テストデータセットは、高価な人的努力なしで1000万以上の事実を持つ大規模な知識グラフから取得される。
• 参考スコア（独自算出の注目度）: 30.179703001666173
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The advent of Large Language Models (LLMs) has significantly transformed the AI landscape, enhancing machine learning and AI capabilities. Factuality issue is a critical concern for LLMs, as they may generate factually incorrect responses. In this paper, we propose GraphEval to evaluate an LLM's performance using a substantially large test dataset. Specifically, the test dataset is retrieved from a large knowledge graph with more than 10 million facts without expensive human efforts. Unlike conventional methods that evaluate LLMs based on generated responses, GraphEval streamlines the evaluation process by creating a judge model to estimate the correctness of the answers given by the LLM. Our experiments demonstrate that the judge model's factuality assessment aligns closely with the correctness of the LLM's generated outputs, while also substantially reducing evaluation costs. Besides, our findings offer valuable insights into LLM performance across different metrics and highlight the potential for future improvements in ensuring the factual integrity of LLM outputs. The code is publicly available at https://github.com/xz-liu/GraphEval.
• Abstract（参考訳）: 大規模言語モデル(LLM)の出現は、AIのランドスケープを大きく変え、機械学習とAI機能を強化した。 現実的に誤った反応を生じさせる可能性があるため、現実性の問題はLLMにとって重要な問題である。 本稿では,かなり大きなテストデータセットを用いて,LLMの性能を評価するためのGraphEvalを提案する。 具体的には、テストデータセットは、高価な人間の努力なしに1000万件以上の事実を持つ巨大な知識グラフから取得される。 生成された応答に基づいてLCMを評価する従来の方法とは異なり、GraphEvalは、LCMが与える回答の正しさを推定する判断モデルを作成することにより、評価プロセスを合理化している。 本実験により, 判定モデルの事実性評価は, LLMが生成した出力の正確性と密接に一致し, 評価コストを大幅に削減することを示した。 さらに,この結果から,LLM出力の実態の整合性を確保する上での今後の改善の可能性を明らかにするとともに,異なる指標間でのLLM性能に関する貴重な知見が得られた。 コードはhttps://github.com/xz-liu/GraphEval.comで公開されている。

関連論文リスト

• Leveraging Online Olympiad-Level Math Problems for LLMs Training and Contamination-Resistant Evaluation [55.21013307734612]
  AoPS-Instructは60,000以上の高品質QAペアのデータセットである。 LiveAoPSBenchは、最新のフォーラムデータから派生したタイムスタンプによる進化的評価セットである。 我々の研究は、高度な数学推論のための大規模で高品質なデータセットの作成と維持にスケーラブルなアプローチを提示している。
  論文  参考訳（メタデータ） (2025-01-24T06:39:38Z)
• LLM4VV: Exploring LLM-as-a-Judge for Validation and Verification Testsuites [6.796136787585992]
  大規模言語モデル(LLM)は進化し、ソフトウェア開発のランドスケープに大きな革命をもたらしています。 本稿では,ディレクティブプログラミングモデルのコンパイラ実装を評価するために使用されるテストの判定について考察する。
  論文  参考訳（メタデータ） (2024-08-21T15:54:17Z)
• Improving the Ability of Pre-trained Language Model by Imparting Large Language Model's Experience [4.814313782484443]
  大規模言語モデル (LLM) と事前訓練型言語モデル (LM) は多くのソフトウェア工学のタスクにおいて驚くべき成功を収めた。 我々は、LLMを用いてドメイン固有のデータを生成し、目標タスクにおける事前学習されたLMの性能を向上させる。
  論文  参考訳（メタデータ） (2024-08-16T06:37:59Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• DnA-Eval: Enhancing Large Language Model Evaluation through Decomposition and Aggregation [75.81096662788254]
  大規模言語モデル(LLM)はスケーラブルで経済的な評価指標である。 これらの評価者がどの程度信頼できるかという問題は、重要な研究課題として浮上している。 本稿では,デコンプリートとアグリゲートを提案し,その評価プロセスを教育実践に基づいて異なる段階に分解する。
  論文  参考訳（メタデータ） (2024-05-24T08:12:30Z)
• Harnessing Large Language Models as Post-hoc Correctors [6.288056740658763]
  任意の機械学習モデルの予測に対する修正を提案するために,LLMがポストホックな修正器として機能することを示す。 我々は、データセットのラベル情報と、検証データセット上のMLモデルの予測を組み込むことで、文脈知識データベースを構築する。 テキスト解析と分子予測に関する実験結果から, モデルの性能が最大39%向上することが示唆された。
  論文  参考訳（メタデータ） (2024-02-20T22:50:41Z)
• PRE: A Peer Review Based Large Language Model Evaluator [14.585292530642603]
  既存のパラダイムは、LLMの性能を評価するために、人間アノテーションまたはモデルベースの評価器のいずれかに依存している。 ピアレビュープロセスを通じてLLMを自動的に評価できる新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-01-28T12:33:14Z)
• Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
  トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。 我々は「反射チューニング」と呼ばれる新しい手法を提案する。 このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
  論文  参考訳（メタデータ） (2023-10-18T05:13:47Z)
• Evaluating Large Language Models at Evaluating Instruction Following [54.49567482594617]
  我々は,命令追従出力の識別におけるLLM評価器の能力をテストするために,挑戦的なメタ評価ベンチマーク LLMBar を導入する。 異なる評価器がLLMBarに対して異なる性能を示し、最高の評価器でさえ改善の余地があることが判明した。
  論文  参考訳（メタデータ） (2023-10-11T16:38:11Z)
• DyVal: Dynamic Evaluation of Large Language Models for Reasoning Tasks [112.66827096358857]
  大規模言語モデル(LLM)の動的評価のためのプロトコルであるDyValを紹介する。 この枠組みに基づき、有向非巡回グラフの構造的利点を活用してグラフインフォームドDyValを構築する。 Flan-T5-large から GPT-3.5-Turbo および GPT-4 まで様々な LLM の評価を行った。
  論文  参考訳（メタデータ） (2023-09-29T12:04:14Z)
• LLMMaps -- A Visual Metaphor for Stratified Evaluation of Large Language Models [13.659853119356507]
  大規模言語モデル(LLM)は自然言語処理に革命をもたらし、様々なタスクにおいて印象的な能力を示した。 彼らは幻覚を起こす傾向があり、モデルがその反応の中で誤った情報や誤った情報を公開する。 ユーザによるQ&Aデータセットに対するLLMの性能評価を可能にする新しい可視化手法として,LLMMapsを提案する。
  論文  参考訳（メタデータ） (2023-04-02T05:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。