Fugu-MT 論文翻訳(概要): ELOQ: Resources for Enhancing LLM Detection of Out-of-Scope Questions

論文の概要: ELOQ: Resources for Enhancing LLM Detection of Out-of-Scope Questions

arxiv url: http://arxiv.org/abs/2410.14567v3
Date: Tue, 08 Apr 2025 22:24:08 GMT
ステータス: 翻訳完了
システム内更新日: 2025-04-10 13:04:59.293293
Title: ELOQ: Resources for Enhancing LLM Detection of Out-of-Scope Questions
Title（参考訳）: ELOQ:スコープ外質問のLCM検出を支援するリソース
Authors: Zhiyuan Peng, Jinming Nian, Alexandre Evfimievski, Yi Fang,
Abstract要約: 大規模言語モデル(LLM)は、会話型AIシステムにおいて、ユーザの問い合わせに対する応答を生成するために広く使われている。本研究では,文書コーパスから多様なスコープ外質問を効率的に生成する誘導幻覚に基づく手法を提案する。
参考スコア（独自算出の注目度）: 52.33835101586687
License:
Abstract: Large Language Models (LLMs) are widely used in Conversational AI systems to generate responses to user inquiries. However, many natural questions lack well-defined answers. While existing studies primarily focus on question types such as false premises, they often overlook out-of-scope questions, where the provided document is semantically highly similar to the query but does not contain the required answer. In this paper, we propose a guided hallucination-based method to efficiently generate a diverse set of out-of-scope questions from a given document corpus. We then evaluate multiple LLMs based on their effectiveness in confusion detection and appropriate response generation. Furthermore, we introduce an improved method for detecting such out-of-scope questions, enhancing the reliability of LLM-based question-answering systems.
Abstract（参考訳）: 大規模言語モデル(LLM)は、会話型AIシステムにおいて、ユーザの問い合わせに対する応答を生成するために広く使われている。しかし、多くの自然問題には明確な答えがない。既存の研究では、主に偽の前提のような質問タイプに焦点を当てているが、提供された文書がクエリと意味的に非常によく似ているが、必要な回答は含まない、スコープ外質問をしばしば見落としている。本稿では,文書コーパスから多様なスコープ外質問を効率よく生成する誘導幻覚に基づく手法を提案する。次に、混乱検出と適切な応答生成の有効性に基づき、複数のLCMを評価した。さらに,LCMに基づく質問応答システムの信頼性を向上し,スコープ外質問を検出するための改良手法を提案する。

関連論文リスト

Evidence Contextualization and Counterfactual Attribution for Conversational QA over Heterogeneous Data with RAG Systems [4.143039012104666]
Retrieval Augmented Generation(RAG)は、会話質問回答(ConvQA)を介して企業のデータと対話するためのバックボーンとして機能する。本研究では,RAGONITE(RAGONITE,RAGONITE,RAGONITE,RAGONITE,RAAG,RAGONITE,RAGONITE,RAGONITE,RAGONITE,RAAG,RAGONITE ,RAGONITE,RAGONITE,RAGONITE,RAAG,RAGONITE,RAGONITE,RAGONITE,RAGONITE,RAGONITE,RAGONITE,RAGONITE,RAGO NITE)について述べる。
論文参考訳（メタデータ） (2024-12-13T21:28:17Z)
RAG-QA Arena: Evaluating Domain Robustness for Long-form Retrieval Augmented Question Answering [61.19126689470398]
Long-form RobustQA (LFRQA)は、7つの異なるドメインにわたる26Kクエリと大きなコーパスをカバーする新しいデータセットである。 RAG-QAアリーナと人間の回答品質判断は高い相関関係にあることを示す。最も競争力のあるLLMの回答の41.3%のみがLFRQAの回答に好まれており、RAG-QAアリーナは将来の研究の挑戦的な評価プラットフォームであることを示している。
論文参考訳（メタデータ） (2024-07-19T03:02:51Z)
Optimization of Retrieval-Augmented Generation Context with Outlier Detection [0.0]
そこで本研究では,質問応答システムに必要な文脈の小型化と品質向上に焦点をあてる。私たちのゴールは、最も意味のあるドキュメントを選択し、捨てられたドキュメントをアウトリーチとして扱うことです。その結果,質問や回答の複雑さを増大させることで,最大の改善が達成された。
論文参考訳（メタデータ） (2024-07-01T15:53:29Z)
Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
論文参考訳（メタデータ） (2024-05-31T20:15:10Z)
CONFLARE: CONFormal LArge language model REtrieval [0.0]
Retrieval-augmented Generation (RAG)フレームワークは、大規模言語モデル(LLM)が知識ベースから関連する情報を検索し、応答を生成するコンテキストに組み込むことを可能にする。 RAGは、検索が必要な情報を応答生成のコンテキストとして識別できない場合、有効な応答を保証しない。本稿では,RAGフレームワークにおける検索不確実性を定量化するために,共形予測を適用するための4段階のフレームワークを提案する。
論文参考訳（メタデータ） (2024-04-04T02:58:21Z)
Narrowing the Knowledge Evaluation Gap: Open-Domain Question Answering with Multi-Granularity Answers [21.814007454504978]
本稿では,複数粒度回答の集合に対する精度と情報性の観点から,予測された回答を評価できる新しい評価手法を提案する。実験の結果, 標準復号化を伴う大規模言語モデルでは, しばしば誤解となるような特定の解を生成する傾向が示された。多粒度回答で評価すると、DRAGは平均で20ポイント近く精度が上昇し、希少物質はさらに増加する。
論文参考訳（メタデータ） (2024-01-09T17:44:36Z)
RQUGE: Reference-Free Metric for Evaluating Question Generation by Answering the Question [29.18544401904503]
そこで我々は,その文脈に与えられた質問に対する回答可能性に基づいて,新しい尺度RQUGEを提案する。我々は,RQUGEが基準質問に頼らずに,人間の判断と高い相関関係を持つことを実証した。
論文参考訳（メタデータ） (2022-11-02T21:10:09Z)
Generation-Augmented Retrieval for Open-domain Question Answering [134.27768711201202]
GAR(Generation-Augmented Retrieval)は、オープンドメインの質問に答える機能である。クエリーに対して多様なコンテキストを生成することは、結果の融合が常により良い検索精度をもたらすので有益であることを示す。 GARは、抽出読取装置を備えた場合、抽出QA設定の下で、自然質問およびトリビアQAデータセットの最先端性能を達成する。
論文参考訳（メタデータ） (2020-09-17T23:08:01Z)
Answering Any-hop Open-domain Questions with Iterative Document Reranking [62.76025579681472]
オープンドメインの問に答える統合QAフレームワークを提案する。提案手法は,シングルホップおよびマルチホップのオープンドメインQAデータセットにおいて,最先端技術に匹敵する性能を継続的に達成する。
論文参考訳（メタデータ） (2020-09-16T04:31:38Z)
ClarQ: A large-scale and diverse dataset for Clarification Question Generation [67.1162903046619]
そこで我々は,スタックエクスチェンジから抽出したポストコメンデーションに基づいて,多様な,大規模な明確化質問データセットの作成を支援する,新しいブートストラップフレームワークを考案した。質問応答の下流タスクに適用することで,新たに作成したデータセットの有用性を定量的に示す。我々はこのデータセットを公開し、ダイアログと質問応答システムの拡張という大きな目標を掲げて、質問生成の分野の研究を促進する。
論文参考訳（メタデータ） (2020-06-10T17:56:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。