論文の概要: ERBench: An Entity-Relationship based Automatically Verifiable Hallucination Benchmark for Large Language Models

• arxiv url: http://arxiv.org/abs/2403.05266v2
• Date: Thu, 31 Oct 2024 10:07:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-01 23:41:20.379712
• Title: ERBench: An Entity-Relationship based Automatically Verifiable Hallucination Benchmark for Large Language Models
• Title（参考訳）: ERBench: エンティティ関係に基づく大規模言語モデルのための自動検証型幻覚ベンチマーク
• Authors: Jio Oh, Soyeon Kim, Junseok Seo, Jindong Wang, Ruochen Xu, Xing Xie, Steven Euijong Whang,
• Abstract要約: 大規模言語モデル(LLM)は、様々なアプリケーションで前例のない性能を達成したが、評価は依然として難しい。 既存のリレーショナルデータベースを利用することは、ベンチマークを構築する上で有望なアプローチである、と我々は主張する。 我々は,これらの整合性制約を用いて任意のデータベースをLLMベンチマークに変換するERBenchを提案する。
• 参考スコア（独自算出の注目度）: 46.07900122810749
• License:
• Abstract: Large language models (LLMs) have achieved unprecedented performances in various applications, yet evaluating them is still challenging. Existing benchmarks are either manually constructed or are automatic, but lack the ability to evaluate the thought process of LLMs with arbitrary complexity. We contend that utilizing existing relational databases based on the entity-relationship (ER) model is a promising approach for constructing benchmarks as they contain structured knowledge that can be used to question LLMs. Unlike knowledge graphs, which are also used to evaluate LLMs, relational databases have integrity constraints that can be used to better construct complex in-depth questions and verify answers: (1) functional dependencies can be used to pinpoint critical keywords that an LLM must know to properly answer a given question containing certain attribute values; and (2) foreign key constraints can be used to join relations and construct multi-hop questions, which can be arbitrarily long and used to debug intermediate answers. We thus propose ERBench, which uses these integrity constraints to convert any database into an LLM benchmark. ERBench supports continuous evaluation as databases change, multimodal questions, and various prompt engineering techniques. In our experiments, we construct LLM benchmarks using databases of multiple domains and make an extensive comparison of contemporary LLMs. We show how ERBench can properly evaluate any LLM by not only checking for answer correctness, but also effectively verifying the rationales by looking for the right keywords.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なアプリケーションで前例のない性能を達成したが、評価は依然として難しい。 既存のベンチマークは手動で構築されるか自動的であるが、任意の複雑さでLSMの思考プロセスを評価する能力は欠如している。 我々は,エンティティ・リレーショナル・モデル(ER)モデルに基づく既存のリレーショナル・データベースの利用が,LCMに疑問を呈する構造化知識を含むベンチマークを構築する上で,有望なアプローチであると主張している。 LLMを評価するためにも用いられる知識グラフとは異なり、リレーショナルデータベースには、複雑な内面的な質問をよりよく構築し、回答を検証するために使用できる整合性制約がある: 1) 機能的依存関係は、LLMが特定の属性値を含む与えられた質問に適切に答えるために知っている重要なキーワードを特定するのに使用できる; 2) 外部キー制約は、関係を結合し、複数のホップの質問を構築するのに使用することができ、それは任意に長く、中間的な回答をデバッグするのに使用できる。 そこで我々は,これらの整合性制約を用いて任意のデータベースをLLMベンチマークに変換するERBenchを提案する。 ERBenchは、データベースの変更、マルチモーダルな質問、および様々なプロンプトエンジニアリング技術として、継続的な評価をサポートする。 実験では,複数のドメインのデータベースを用いてLLMベンチマークを構築し,同時代のLLMを広範囲に比較した。 ERBenchは,答えの正当性をチェックするだけでなく,適切なキーワードを検索して有理性を効果的に検証することで,任意のLLMを適切に評価できることを示す。

関連論文リスト

• RAD-Bench: Evaluating Large Language Models Capabilities in Retrieval Augmented Dialogues [8.036117602566074]
  RAD-Benchは、検索後のマルチターン対話における大規模言語モデルの能力を評価するために設計されたベンチマークである。 また, LLM の評価結果から, モデルの性能が劣化し, 追加の条件や制約が適用されることが判明した。
  論文  参考訳（メタデータ） (2024-09-19T08:26:45Z)
• Assessing SPARQL capabilities of Large Language Models [0.0]
  我々は、SPARQLで動作するLarge Language Modelsのアウトオブザボックス機能の測定に重点を置いています。 LLM-KG-Benchフレームワークにベンチマークタスクを実装し,自動実行と評価を行う。 この結果から,SPARQL SELECTクエリの処理はLLMでは依然として困難であることが示唆された。
  論文  参考訳（メタデータ） (2024-09-09T08:29:39Z)
• Relational Database Augmented Large Language Model [59.38841050766026]
  大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクに優れる。 彼らは、トレーニングや教師付き微調整プロセスを通じてのみ、新しい知識を取り入れることができる。 この正確で最新のプライベート情報は、通常リレーショナルデータベースに格納される。
  論文  参考訳（メタデータ） (2024-07-21T06:19:10Z)
• Lucy: Think and Reason to Solve Text-to-SQL [12.52968634440807]
  大規模言語モデル(LLM)は、自然言語でデータベースをクエリするユーザを支援するために大きな進歩を遂げた。 LLMは、多くの標準ベンチマークで最先端の結果を提供するが、大規模エンタープライズデータベースに適用した場合、その性能は著しく低下する。 本稿では,質問理解におけるLLMのパワーと,複雑なデータベース制約を扱う自動推論手法を組み合わせた新しい解を提案する。
  論文  参考訳（メタデータ） (2024-07-06T18:56:42Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Reasoning on Efficient Knowledge Paths:Knowledge Graph Guides Large Language Model for Domain Question Answering [18.94220625114711]
  大きな言語モデル(LLM)は驚くほどよく機能し、多くのタスクにおいて人間の専門家より優れています。 本稿では,LLMに基づいてKGから推論経路を選択するパイプラインを統合し,最適化する。 また,思考の連鎖(CoT)とページランクに基づく,シンプルで効果的なサブグラフ検索手法を提案する。
  論文  参考訳（メタデータ） (2024-04-16T08:28:16Z)
• Optimizing LLM Queries in Relational Workloads [58.254894049950366]
  本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。 私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。 実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
  論文  参考訳（メタデータ） (2024-03-09T07:01:44Z)
• PPTC-R benchmark: Towards Evaluating the Robustness of Large Language Models for PowerPoint Task Completion [96.47420221442397]
  文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。 我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。 GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
  論文  参考訳（メタデータ） (2024-03-06T15:33:32Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。