論文の概要: ERBench: An Entity-Relationship based Automatically Verifiable Hallucination Benchmark for Large Language Models

• arxiv url: http://arxiv.org/abs/2403.05266v1
• Date: Fri, 8 Mar 2024 12:42:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-11 19:59:50.262825
• Title: ERBench: An Entity-Relationship based Automatically Verifiable Hallucination Benchmark for Large Language Models
• Title（参考訳）: ERBench: エンティティ関係に基づく大規模言語モデルのための自動検証型幻覚ベンチマーク
• Authors: Jio Oh, Soyeon Kim, Junseok Seo, Jindong Wang, Ruochen Xu, Xing Xie, Steven Euijong Whang
• Abstract要約: 大規模言語モデル(LLM)は、様々なアプリケーションにおいて前例のない性能を達成したが、その評価は依然として重要な問題である。 既存のリレーショナルデータベースを利用することは、正確な知識記述のためにベンチマークを構築する上で有望なアプローチである、と我々は主張する。 本稿では,エンティティ・リレーショナル・モデル(ER)に基づいて,関係データベースを自動的にベンチマークに変換するERBenchを提案する。
• 参考スコア（独自算出の注目度）: 48.38966595131693
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) have achieved unprecedented performance in various applications, yet their evaluation remains a critical issue. Existing hallucination benchmarks are either static or lack adjustable complexity for thorough analysis. We contend that utilizing existing relational databases is a promising approach for constructing benchmarks due to their accurate knowledge description via functional dependencies. We propose ERBench to automatically convert any relational database into a benchmark based on the entity-relationship (ER) model. Our key idea is to construct questions using the database schema, records, and functional dependencies such that they can be automatically verified. In addition, we use foreign key constraints to join relations and construct multihop questions, which can be arbitrarily complex and used to debug the intermediate answers of LLMs. Finally, ERBench supports continuous evaluation, multimodal questions, and various prompt engineering techniques. In our experiments, we construct an LLM benchmark using databases of multiple domains and make an extensive comparison of contemporary LLMs. We observe that better LLMs like GPT-4 can handle a larger variety of question types, but are by no means perfect. Also, correct answers do not necessarily imply correct rationales, which is an important evaluation that ERBench does better than other benchmarks for various question types. Code is available at https: //github.com/DILAB-KAIST/ERBench.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なアプリケーションで前例のない性能を達成したが、それでも重要な問題である。 既存の幻覚ベンチマークは静的か、徹底的な分析のために調整可能な複雑さを欠いている。 既存のリレーショナルデータベースを利用することは、機能依存による正確な知識記述のため、ベンチマークを構築する上で有望なアプローチであると主張する。 entity-relationship(er)モデルに基づいて、任意のリレーショナルデータベースをベンチマークに自動変換するerbenchを提案する。 私たちの重要なアイデアは、データベーススキーマ、レコード、関数依存を使って、自動的に検証できるように質問を構築することです。 さらに、外部キー制約を用いて関係を結合し、任意に複雑でllmの中間的な回答をデバッグするために使用できるマルチホップ質問を構築する。 最後に、erbenchは継続的評価、マルチモーダル質問、さまざまな即席エンジニアリング技術をサポートする。 実験では,複数のドメインのデータベースを用いたLLMベンチマークを構築し,同時代のLLMを広範囲に比較した。 gpt-4のような優れたllmは、より多様な質問タイプを処理できるが、決して完璧ではない。 また、正しい答えは必ずしも正しい理性を意味するものではないため、ERBenchは様々な質問タイプに対する他のベンチマークよりも優れているという重要な評価である。 コードはhttps: //github.com/DILAB-KAIST/ERBenchで入手できる。

関連論文リスト

• RAD-Bench: Evaluating Large Language Models Capabilities in Retrieval Augmented Dialogues [8.036117602566074]
  RAD-Benchは、検索後のマルチターン対話における大規模言語モデルの能力を評価するために設計されたベンチマークである。 また, LLM の評価結果から, モデルの性能が劣化し, 追加の条件や制約が適用されることが判明した。
  論文  参考訳（メタデータ） (2024-09-19T08:26:45Z)
• Assessing SPARQL capabilities of Large Language Models [0.0]
  我々は、SPARQLで動作するLarge Language Modelsのアウトオブザボックス機能の測定に重点を置いています。 LLM-KG-Benchフレームワークにベンチマークタスクを実装し,自動実行と評価を行う。 この結果から,SPARQL SELECTクエリの処理はLLMでは依然として困難であることが示唆された。
  論文  参考訳（メタデータ） (2024-09-09T08:29:39Z)
• Relational Database Augmented Large Language Model [59.38841050766026]
  大規模言語モデル(LLM)は多くの自然言語処理(NLP)タスクに優れる。 彼らは、トレーニングや教師付き微調整プロセスを通じてのみ、新しい知識を取り入れることができる。 この正確で最新のプライベート情報は、通常リレーショナルデータベースに格納される。
  論文  参考訳（メタデータ） (2024-07-21T06:19:10Z)
• Lucy: Think and Reason to Solve Text-to-SQL [12.52968634440807]
  大規模言語モデル(LLM)は、自然言語でデータベースをクエリするユーザを支援するために大きな進歩を遂げた。 LLMは、多くの標準ベンチマークで最先端の結果を提供するが、大規模エンタープライズデータベースに適用した場合、その性能は著しく低下する。 本稿では,質問理解におけるLLMのパワーと,複雑なデータベース制約を扱う自動推論手法を組み合わせた新しい解を提案する。
  論文  参考訳（メタデータ） (2024-07-06T18:56:42Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• Reasoning on Efficient Knowledge Paths:Knowledge Graph Guides Large Language Model for Domain Question Answering [18.94220625114711]
  大きな言語モデル(LLM)は驚くほどよく機能し、多くのタスクにおいて人間の専門家より優れています。 本稿では,LLMに基づいてKGから推論経路を選択するパイプラインを統合し,最適化する。 また,思考の連鎖(CoT)とページランクに基づく,シンプルで効果的なサブグラフ検索手法を提案する。
  論文  参考訳（メタデータ） (2024-04-16T08:28:16Z)
• Optimizing LLM Queries in Relational Workloads [58.254894049950366]
  本稿では,LLMをリレーショナルクエリ内で実行する解析処理に対して,LLM(Large Language Models)推論を最適化する方法を示す。 私たちはこれらの最適化をApache Sparkで実装し、vLLMをバックエンドとして提供しています。 実データセット上の多様なLLMベースのクエリのベンチマークで、エンドツーエンドのレイテンシを最大4.4倍改善する。
  論文  参考訳（メタデータ） (2024-03-09T07:01:44Z)
• PPTC-R benchmark: Towards Evaluating the Robustness of Large Language Models for PowerPoint Task Completion [96.47420221442397]
  文,意味,多言語レベルでユーザ命令を攻撃することにより,逆ユーザ命令を構築する。 我々は、ロバストネス設定を組み込んだベンチマークを用いて、3つのクローズドソースと4つのオープンソースLCMをテストする。 GPT-4は我々のベンチマークで最も高い性能と強靭性を示す。
  論文  参考訳（メタデータ） (2024-03-06T15:33:32Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。