論文の概要: PermitQA: A Benchmark for Retrieval Augmented Generation in Wind Siting and Permitting domain

• arxiv url: http://arxiv.org/abs/2408.11800v1
• Date: Wed, 21 Aug 2024 17:43:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-08-22 15:58:35.773799
• Title: PermitQA: A Benchmark for Retrieval Augmented Generation in Wind Siting and Permitting domain
• Title（参考訳）: PermitQA:ウィンドシッティングとパーミット領域における検索拡張ジェネレーションのベンチマーク
• Authors: Rounak Meyur, Hung Phan, Sridevi Wagle, Jan Strube, Mahantesh Halappanavar, Sameera Horawalavithana, Anurag Acharya, Sai Munikoti,
• Abstract要約: ドメイン関連RAGベンチマークを生成するための包括的なフレームワークを提案する。 我々のフレームワークは、人間(ドメインの専門家)-AI大言語モデル(LLM)による自動質問応答生成に基づいている。 ケーススタディとして、風の座と許容領域に関する第一種ベンチマークであるPermitQAを導入することで、このフレームワークを実証する。
• 参考スコア（独自算出の注目度）: 2.8514947506989707
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the rapidly evolving landscape of Natural Language Processing (NLP) and text generation, the emergence of Retrieval Augmented Generation (RAG) presents a promising avenue for improving the quality and reliability of generated text by leveraging information retrieved from user specified database. Benchmarking is essential to evaluate and compare the performance of the different RAG configurations in terms of retriever and generator, providing insights into their effectiveness, scalability, and suitability for the specific domain and applications. In this paper, we present a comprehensive framework to generate a domain relevant RAG benchmark. Our framework is based on automatic question-answer generation with Human (domain experts)-AI Large Language Model (LLM) teaming. As a case study, we demonstrate the framework by introducing PermitQA, a first-of-its-kind benchmark on the wind siting and permitting domain which comprises of multiple scientific documents/reports related to environmental impact of wind energy projects. Our framework systematically evaluates RAG performance using diverse metrics and multiple question types with varying complexity level. We also demonstrate the performance of different models on our benchmark.
• Abstract（参考訳）: 自然言語処理(NLP)とテキスト生成の急速な発展の中で、検索拡張生成(RAG)の出現は、ユーザ特定データベースから取得した情報を活用することにより、生成したテキストの品質と信頼性を向上させるための有望な道を示す。 ベンチマークは、レトリバーとジェネレータの観点から異なるRAG構成の性能を評価し比較し、それらの有効性、スケーラビリティ、特定のドメインやアプリケーションに適した可能性について洞察を提供するために不可欠である。 本稿では,ドメイン関連RAGベンチマークを生成するための包括的なフレームワークを提案する。 我々のフレームワークは、人間(ドメインの専門家)-AI大言語モデル(LLM)による自動質問応答生成に基づいている。 本研究では,風力エネルギープロジェクトにおける環境影響に関する複数の科学的資料・報告からなる風力座と許容領域に関する第一種ベンチマークであるPermitQAを導入することにより,その枠組みを実証する。 本フレームワークは,複雑性の異なる多種多様な指標と複数の質問タイプを用いてRAG性能を体系的に評価する。 ベンチマークでは、さまざまなモデルのパフォーマンスも示しています。

関連論文リスト

• A Systematic Review of Key Retrieval-Augmented Generation (RAG) Systems: Progress, Gaps, and Future Directions [1.4931265249949528]
  Retrieval-Augmented Generation (RAG)は自然言語処理(NLP)における大きな進歩である RAGは、大規模言語モデル(LLM)と情報検索システムを組み合わせて、事実的根拠付け、正確性、文脈的関連性を高める。 本稿ではRAGの体系的なレビューを行い、最近の最先端実装に対するオープンドメイン質問の早期展開から進化を辿る。
  論文  参考訳（メタデータ） (2025-07-25T03:05:46Z)
• Retrieval Augmented Generation Evaluation in the Era of Large Language Models: A Comprehensive Survey [29.186229489968564]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) と外部情報検索を統合し、自然言語処理に革命をもたらした。 RAGシステムの評価は、検索と生成コンポーネントを組み合わせたハイブリッドアーキテクチャのため、ユニークな課題を示す。
  論文  参考訳（メタデータ） (2025-04-21T06:39:47Z)
• QuIM-RAG: Advancing Retrieval-Augmented Generation with Inverted Question Matching for Enhanced QA Performance [1.433758865948252]
  本研究では,RAG(Retrieval-Augmented Generation)システム構築のための新しいアーキテクチャを提案する。 RAGアーキテクチャは、ターゲット文書から応答を生成するために構築される。 本稿では,本システムにおける検索機構の新しいアプローチQuIM-RAGを紹介する。
  論文  参考訳（メタデータ） (2025-01-06T01:07:59Z)
• OmniEval: An Omnidirectional and Automatic RAG Evaluation Benchmark in Financial Domain [62.89809156574998]
  金融分野において全方向自動RAGベンチマークであるOmniEvalを導入する。 我々のベンチマークは多次元評価フレームワークによって特徴づけられる。 実験では、広範囲なテストデータセットを含むOmniEvalの包括性を実証した。
  論文  参考訳（メタデータ） (2024-12-17T15:38:42Z)
• CORAL: Benchmarking Multi-turn Conversational Retrieval-Augmentation Generation [68.81271028921647]
  我々は,現実的なマルチターン対話環境におけるRAGシステム評価のためのベンチマークであるCORALを紹介する。 コラルにはウィキペディアから自動的に派生した多様な情報検索会話が含まれている。 対話型RAGの3つの中核的なタスク、すなわち、通過検索、応答生成、および引用ラベリングをサポートする。
  論文  参考訳（メタデータ） (2024-10-30T15:06:32Z)
• SFR-RAG: Towards Contextually Faithful LLMs [57.666165819196486]
  Retrieval Augmented Generation (RAG) は、外部コンテキスト情報を大言語モデル(LLM)と統合し、事実の精度と妥当性を高めるパラダイムである。 SFR-RAG(SFR-RAG)について述べる。 また、複数の人気かつ多様なRAGベンチマークをコンパイルする新しい評価フレームワークであるConBenchについても紹介する。
  論文  参考訳（メタデータ） (2024-09-16T01:08:18Z)
• A RAG Approach for Generating Competency Questions in Ontology Engineering [1.0044270899550196]
  LLM(Large Language Models)の出現により、このプロセスの自動化と強化が可能になった。 本稿では,LLMを用いてCQの自動生成を行うRAG(Research-augmented Generation)手法を提案する。 2つのドメインエンジニアリングタスクで GPT-4 を用いて実験を行い、ドメインの専門家が構築した地味な CQ と比較する。
  論文  参考訳（メタデータ） (2024-09-13T13:34:32Z)
• RAGEval: Scenario Specific RAG Evaluation Dataset Generation Framework [69.4501863547618]
  本稿では,様々なシナリオにまたがってRAGシステムを評価するためのフレームワークであるRAGvalを紹介する。 事実の正確性に着目し, 完全性, 幻覚, 不適切性の3つの新しい指標を提案する。 実験結果から, RAGEvalは, 生成した試料の明瞭度, 安全性, 適合性, 豊かさにおいて, ゼロショット法とワンショット法より優れていた。
  論文  参考訳（メタデータ） (2024-08-02T13:35:11Z)
• BERGEN: A Benchmarking Library for Retrieval-Augmented Generation [26.158785168036662]
  Retrieval-Augmented Generationは、外部知識による大規模言語モデルの拡張を可能にする。 一貫性のないベンチマークは、アプローチを比較し、パイプライン内の各コンポーネントの影響を理解する上で大きな課題となる。 本研究では,RAGを体系的に評価するための基礎となるベストプラクティスと,RAG実験を標準化した再現可能な研究用ライブラリであるBERGENについて検討する。
  論文  参考訳（メタデータ） (2024-07-01T09:09:27Z)
• R-Eval: A Unified Toolkit for Evaluating Domain Knowledge of Retrieval Augmented Large Language Models [51.468732121824125]
  大規模言語モデルは一般的なNLPタスクにおいて顕著な成功を収めてきたが、ドメイン固有の問題には不足する可能性がある。 既存の評価ツールは、ドメイン知識の深さを掘り下げることなく、いくつかのベースラインを提供し、様々なドメインで評価するのみである。 本稿では、R-Evalツールキット(R-Evalツールキット)を導入し、異なるRAGの評価を合理化することによるALLMの評価の課題に対処する。
  論文  参考訳（メタデータ） (2024-06-17T15:59:49Z)
• FlashRAG: A Modular Toolkit for Efficient Retrieval-Augmented Generation Research [70.6584488911715]
  検索増強世代(RAG)は、かなりの研究関心を集めている。 既存のRAGツールキットは、しばしば重くて柔軟であり、研究者のカスタマイズのニーズを満たすことができない。 我々のツールキットは16の高度なRAGメソッドを実装し、38のベンチマークデータセットを収集し、整理した。
  論文  参考訳（メタデータ） (2024-05-22T12:12:40Z)
• Evaluation of Retrieval-Augmented Generation: A Survey [13.633909177683462]
  本稿では,Retrieval-Augmented Generation (RAG)システムの評価とベンチマークについて概観する。 具体的には、検索・生成要素の定量化指標(関連性、正確性、忠実性など)について検討・比較する。 次に、様々なデータセットとメトリクスを分析し、現在のベンチマークの限界について議論し、RAGベンチマークの分野を前進させる潜在的な方向性を提案する。
  論文  参考訳（メタデータ） (2024-05-13T02:33:25Z)
• RAGGED: Towards Informed Design of Retrieval Augmented Generation Systems [51.171355532527365]
  Retrieval-augmented Generation (RAG) は言語モデル(LM)の性能を大幅に向上させる RAGGEDは、様々な文書ベースの質問応答タスクにわたるRAG構成を分析するためのフレームワークである。
  論文  参考訳（メタデータ） (2024-03-14T02:26:31Z)
• REAR: A Relevance-Aware Retrieval-Augmented Framework for Open-Domain Question Answering [115.72130322143275]
  REAR(Relevance-Aware Retrieval-augmented approach for open-domain Question answering, QA) 我々は,特殊な設計のアセスメントモジュールを組み込むことで,LLMベースのRAGシステムのための新しいアーキテクチャを開発する。 オープンドメインの4つのQAタスクの実験では、REARは以前の競争力のあるRAGアプローチよりも大幅に優れていた。
  論文  参考訳（メタデータ） (2024-02-27T13:22:51Z)
• Retrieval Augmented Generation Systems: Automatic Dataset Creation, Evaluation and Boolean Agent Setup [5.464952345664292]
  Retrieval Augmented Generation (RAG) システムは、Large-Language Model (LLM) 出力をドメイン固有データと時間機密データで拡張することで大きな人気を得ている。 本稿では,RAG戦略を定量的に比較するために,厳密なデータセット作成と評価のワークフローを提案する。
  論文  参考訳（メタデータ） (2024-02-26T12:56:17Z)
• CRUD-RAG: A Comprehensive Chinese Benchmark for Retrieval-Augmented Generation of Large Language Models [49.16989035566899]
  Retrieval-Augmented Generation (RAG)は、大規模言語モデル(LLM)の能力を高める技術である。 本稿では,大規模かつ包括的なベンチマークを構築し,様々なRAGアプリケーションシナリオにおけるRAGシステムのすべてのコンポーネントを評価する。
  論文  参考訳（メタデータ） (2024-01-30T14:25:32Z)
• Generation-Augmented Retrieval for Open-domain Question Answering [134.27768711201202]
  GAR(Generation-Augmented Retrieval)は、オープンドメインの質問に答える機能である。 クエリーに対して多様なコンテキストを生成することは、結果の融合が常により良い検索精度をもたらすので有益であることを示す。 GARは、抽出読取装置を備えた場合、抽出QA設定の下で、自然質問およびトリビアQAデータセットの最先端性能を達成する。
  論文  参考訳（メタデータ） (2020-09-17T23:08:01Z)
• Generating Diverse and Consistent QA pairs from Contexts with Information-Maximizing Hierarchical Conditional VAEs [62.71505254770827]
  非構造化テキストを文脈として与えられたQAペアを生成するための条件付き変分オートエンコーダ(HCVAE)を提案する。 我々のモデルは、トレーニングにわずかなデータしか使わず、両方のタスクの全てのベースラインに対して印象的なパフォーマンス向上が得られる。
  論文  参考訳（メタデータ） (2020-05-28T08:26:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。