論文の概要: Navigating Uncertainty: Optimizing API Dependency for Hallucination Reduction in Closed-Book Question Answering

• arxiv url: http://arxiv.org/abs/2401.01780v1
• Date: Wed, 3 Jan 2024 15:12:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-04 13:45:11.167698
• Title: Navigating Uncertainty: Optimizing API Dependency for Hallucination Reduction in Closed-Book Question Answering
• Title（参考訳）: 不確実性のナビゲート:クローズドブック質問応答における幻覚低減のためのapi依存性の最適化
• Authors: Pierre Erbacher and Louis Falissar and Vincent Guigue and Laure Soulier
• Abstract要約: 大きな言語モデル(LLM)は知識を蓄積し、回復することができるが、幻覚を起こす傾向がある。 直接回答できるのか、外部ツールをリクエストする必要があるのかを自己推定できる新しいLCMを提案する。 我々のモデルは、既知のクエリの78.2%ドルに対して直接回答を提供し、未知のクエリの77.2%ドルを検索する。
• 参考スコア（独自算出の注目度）: 5.942589128196946
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While Large Language Models (LLM) are able to accumulate and restore knowledge, they are still prone to hallucination. Especially when faced with factual questions, LLM cannot only rely on knowledge stored in parameters to guarantee truthful and correct answers. Augmenting these models with the ability to search on external information sources, such as the web, is a promising approach to ground knowledge to retrieve information. However, searching in a large collection of documents introduces additional computational/time costs. An optimal behavior would be to query external resources only when the LLM is not confident about answers. In this paper, we propose a new LLM able to self-estimate if it is able to answer directly or needs to request an external tool. We investigate a supervised approach by introducing a hallucination masking mechanism in which labels are generated using a close book question-answering task. In addition, we propose to leverage parameter-efficient fine-tuning techniques to train our model on a small amount of data. Our model directly provides answers for $78.2\%$ of the known queries and opts to search for $77.2\%$ of the unknown ones. This results in the API being utilized only $62\%$ of the time.
• Abstract（参考訳）: 大規模言語モデル(llm)は知識を蓄積し、復元することができるが、幻覚に陥りやすい。 特に現実的な疑問に直面した場合、LLMは真正かつ正しい答えを保証するためにパラメータに格納された知識にのみ依存することはできない。 これらのモデルをウェブなどの外部情報ソースで検索する能力で拡張することは、情報を取得するための基礎知識に対する有望なアプローチである。 しかし、大量の文書を検索すると計算/時間コストが増大する。 LLMが回答に自信を持っていない場合にのみ、外部リソースを問い合わせることが最適である。 本稿では, 直接回答できるのか, 外部ツールを要求する必要があるのかを, 自己推定できる新しいLSMを提案する。 本研究は,クローズブック質問応答タスクを用いてラベルを生成する幻覚マスキング機構を導入することにより,教師ありのアプローチを検討する。 さらに,パラメータ効率のよい微調整手法を用いて,少量のデータでモデルをトレーニングすることを提案する。 我々のモデルは、既知のクエリの78.2\%$に対して直接回答を提供し、未知のクエリの77.2\%$を検索する。 その結果、APIの利用料はわずか62.%である。

関連論文リスト

• Grounding by Trying: LLMs with Reinforcement Learning-Enhanced Retrieval [55.63711219190506]
  大きな言語モデル(LLM)は、しばしば適切な検索クエリのポーズに苦労する。 私たちは$underlineLe$arningを$underlineRe$trieveに$underlineT$rying (LeReT)を導入します。 LeReTは、絶対精度を最大29%向上し、下流ジェネレータの評価を17%向上させることができる。
  論文  参考訳（メタデータ） (2024-10-30T17:02:54Z)
• CuriousLLM: Elevating Multi-Document Question Answering with LLM-Enhanced Knowledge Graph Reasoning [0.9295048974480845]
  我々は、好奇心駆動推論機構をLLMエージェントに統合する拡張であるCuriousLLMを提案する。 この機構により、エージェントは関連するフォローアップ質問を生成し、情報検索プロセスをより効率的に導くことができる。 実験の結果,CuriousLLMは多文書質問応答(MD-QA)におけるLLM性能を著しく向上させることがわかった。
  論文  参考訳（メタデータ） (2024-04-13T20:43:46Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• Where is the answer? Investigating Positional Bias in Language Model Knowledge Extraction [36.40833517478628]
  大規模な言語モデルでは、更新を最新状態に保つか、あるいは新しいドメインに適応する必要がある。 1つの鍵は、記憶された情報がクエリプロンプトで抽出可能な方法で最新の情報を記憶することである。 微調整中に文書の難易度を最小化しているにもかかわらず、LLMはプロンプト文を通して情報を取り出すのに苦労している。
  論文  参考訳（メタデータ） (2024-02-16T06:29:16Z)
• RECALL: A Benchmark for LLMs Robustness against External Counterfactual Knowledge [69.79676144482792]
  本研究の目的は,LLMが外部知識から信頼できる情報を識別する能力を評価することである。 本ベンチマークは,質問応答とテキスト生成という2つのタスクから構成される。
  論文  参考訳（メタデータ） (2023-11-14T13:24:19Z)
• Self-Knowledge Guided Retrieval Augmentation for Large Language Models [59.771098292611846]
  大規模言語モデル(LLM)はタスク固有の微調整なしで優れた性能を示す。 検索に基づく手法は、非パラメトリックな世界知識を提供し、質問応答のようなタスクのパフォーマンスを向上させることができる。 SKR(Self-Knowledge guided Retrieval augmentation)は、LLMがこれまで遭遇した質問を参照できるようにする、シンプルで効果的な方法である。
  論文  参考訳（メタデータ） (2023-10-08T04:22:33Z)
• Knowledge-Augmented Language Model Prompting for Zero-Shot Knowledge Graph Question Answering [7.888547093390469]
  大言語モデル(LLM)は、ゼロショットのクローズドブック質問応答タスクを実行することができる。 我々は,LSMの入力において,その知識を直接拡張することを提案する。 我々のフレームワークであるKAPING(Knowledge-Augmented Language Model Prompting)は、モデルトレーニングを必要としないため、完全にゼロショットである。
  論文  参考訳（メタデータ） (2023-06-07T04:15:21Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)
• Context Generation Improves Open Domain Question Answering [102.34183939011352]
  関連知識を抽出し,質問に答えるために,粗大なアプローチを用いる2段階のクローズドブックQAフレームワークを提案する。 本手法は,学習可能なパラメータの追加や微調整を必要とせずに,事前学習したLMの知識をうまく活用することができる。
  論文  参考訳（メタデータ） (2022-10-12T16:00:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。