論文の概要: Re-Ex: Revising after Explanation Reduces the Factual Errors in LLM Responses

• arxiv url: http://arxiv.org/abs/2402.17097v2
• Date: Fri, 12 Apr 2024 11:37:44 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-15 17:23:29.232762
• Title: Re-Ex: Revising after Explanation Reduces the Factual Errors in LLM Responses
• Title（参考訳）: 再表現: LLM 応答における実誤差を低減した説明後の修正
• Authors: Juyeon Kim, Jeongeun Lee, Yoonho Chang, Chanyeol Choi, Junseong Kim, Jy-yong Sohn,
• Abstract要約: 本稿では,大規模言語モデル(LLM)生成応答を後編集するRe-Exを提案する。 Re-Exは、事実的エラー説明ステップと呼ばれる新しい推論ステップを導入した。 説明ステップに加えて、Re-Exは、応答修正プロセスに必要なトークン数と推論時間を短縮する新しいプロンプト技術も取り入れている。
• 参考スコア（独自算出の注目度）: 9.956253757863145
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mitigating hallucination issues is a key challenge that must be overcome to reliably deploy large language models (LLMs) in real-world scenarios. Recently, various methods have been proposed to detect and revise factual errors in LLM-generated texts, in order to reduce hallucination. In this paper, we propose Re-Ex, a method for post-editing LLM-generated responses. Re-Ex introduces a novel reasoning step dubbed as the factual error explanation step. Re-Ex revises the initial response of LLMs using 3-steps : first, external tools are used to retrieve the evidences of the factual errors in the initial LLM response; next, LLM is instructed to explain the problematic parts of the response based on the gathered evidence; finally, LLM revises the initial response using the explanations provided in the previous step. In addition to the explanation step, Re-Ex also incorporates new prompting techniques to reduce the token count and inference time required for the response revision process. Compared with existing methods including FacTool, CoVE, and RARR, Re-Ex provides better detection and revision performance with less inference time and fewer tokens in multiple benchmarks.
• Abstract（参考訳）: 幻覚の問題を緩和することは、現実のシナリオで大きな言語モデル(LLM)を確実にデプロイするために克服しなければならない重要な課題である。 近年,幻覚の低減を目的として,LLM生成テキストの事実誤りの検出と修正を行う手法が提案されている。 本稿では,LLM生成応答を後編集するRe-Exを提案する。 Re-Exは、事実的エラー説明ステップと呼ばれる新しい推論ステップを導入した。 第1に,第1に,第1に,第1に,第2に,第2に,第2に,第2に,第2に,第2に,第2に,第2に,第2に,第2に,第2に,第2に,第2に,第2に,第2に,第3に,第2に,第2に,第2に,第2に,第2に,第2に,第3に,第2に,第2に,第2に,第2に,第2に,第2に,第2に,第2に,第2に,第3に,第2に,第2に,第2に,第3に,第2に,第3に,第3に,第2に,第2に,第2に,第2に,第2に,第3で,第2に,第3に,第2に,第2に,第2に,第3に,第2に,第2に,第2に,第2に,第2に,第2 説明ステップに加えて、Re-Exは、応答修正プロセスに必要なトークン数と推論時間を短縮する新しいプロンプト技術も取り入れている。 FacTool、CoVE、RARRといった既存の方法と比較して、Re-Exは推論時間が少なく、複数のベンチマークでトークンが少なく、より優れた検出とリビジョンのパフォーマンスを提供する。

関連論文リスト

• Guiding Retrieval using LLM-based Listwise Rankers [15.3583908068962]
  本稿では,リストワイズ設定をサポートする既存適応検索手法の適応性を提案する。 具体的には、提案アルゴリズムは、初期ランキングとフィードバック文書の両方から結果をマージする。 我々は,適応プロセスの最小化によるLLM推論の総数とオーバーヘッドを一定に保ちながら,nDCG@10を最大13.23%改善し,28.02%リコールできることを示した。
  論文  参考訳（メタデータ） (2025-01-15T22:23:53Z)
• Real-time Verification and Refinement of Language Model Text Generation [60.04718679054704]
  大規模言語モデル(LLM)は、幅広い自然言語タスクにおいて顕著な性能を示している。 重要な課題は、時に事実的に誤った答えを生じさせることである。 本稿では,LLM出力の検証と改善の効率化を目的とした新しい手法であるStreaming-VRを提案する。
  論文  参考訳（メタデータ） (2025-01-14T03:59:48Z)
• R-Bot: An LLM-based Query Rewrite System [15.46599915198438]
  機械学習に基づくクエリ書き換えシステムであるR-Botを提案する。 まず,複数ソースのリライトエビデンス作成パイプラインを設計し,クエリリライトエビデンスを生成する。 次に,構造解析と意味解析を組み合わせたハイブリッド・セマンティック検索手法を提案する。 広く使われているベンチマークで包括的な実験を行い、システムの性能を実証する。
  論文  参考訳（メタデータ） (2024-12-02T16:13:04Z)
• LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
  最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。 機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
  論文  参考訳（メタデータ） (2023-11-15T19:52:11Z)
• LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
  検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。 本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。 実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-14T01:38:02Z)
• Revisiting Large Language Models as Zero-shot Relation Extractors [8.953462875381888]
  リレーショナル抽出(RE)は、ゼロショット設定下であっても、一定のラベル付きまたはラベルなしのデータを一貫して含む。 近年の研究では、大きな言語モデル(LLM)が、単に自然言語のプロンプトを与えられただけで、新しいタスクにうまく移行していることが示されている。 本研究はゼロショット関係抽出器としてLLMを探索することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-10-08T06:17:39Z)
• Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
  大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。 この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:50Z)
• RCOT: Detecting and Rectifying Factual Inconsistency in Reasoning by Reversing Chain-of-Thought [56.558892336235914]
  Reversing Chain-of-Thought (RCoT) は、大規模言語モデルの推論能力を改善する新しい手法である。 RCoTは生成したソリューションにおける事実の不整合を自動的に検出し、修正する。 手書きのきめ細かいフィードバックがLLMの推論能力を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-19T08:02:52Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。