論文の概要: Re-Ex: Revising after Explanation Reduces the Factual Errors in LLM Responses

• arxiv url: http://arxiv.org/abs/2402.17097v1
• Date: Tue, 27 Feb 2024 00:22:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-28 18:24:40.570253
• Title: Re-Ex: Revising after Explanation Reduces the Factual Errors in LLM Responses
• Title（参考訳）: 再表現: LLM 応答における実誤差を低減した説明後の修正
• Authors: Juyeon Kim, Jeongeun Lee, Yoonho Chang, Chanyeol Choi, Junseong Kim, Jy-yong Sohn
• Abstract要約: 本稿では,LLM生成テキストの修正手法であるRe-Exを提案する。 Re-Exは、複数のベンチマークでより少ない時間と少ないトークンで、より良いリビジョンパフォーマンスを提供する。
• 参考スコア（独自算出の注目度）: 10.549804002910385
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Mitigating hallucination issues is one of the main challenges of LLMs we need to overcome, in order to reliably use them in real-world scenarios. Recently, various methods are proposed to check the factual errors in the LLM-generated texts and revise them accordingly, to reduce the hallucination issue. In this paper, we propose Re-Ex, a method of revising LLM-generated texts, which introduces a novel step dubbed as the factual error explanation step. Re-Ex revises the initial response of LLMs using 3-steps: first, external tools are used to get the evidences on the factual errors in the response; second, LLMs are instructed to explain the problematic parts of the response based on the evidences gathered in the first step; finally, LLMs revise the response using the explanation obtained in the second step. In addition to the explanation step, we propose new prompting techniques to reduce the amount of tokens and wall-clock time required for the response revision process. Compared with existing methods including Factool, CoVE, and RARR, Re-Ex provides better revision performance with less time and fewer tokens in multiple benchmarks.
• Abstract（参考訳）: 幻覚の問題を緩和することは、現実のシナリオでそれらを確実に活用するために、克服すべきLCMの主要な課題の1つです。 近年,llm生成テキストの事実誤りをチェックし,それに従って修正し,幻覚問題を低減させる手法が提案されている。 本稿では,LLM生成テキストの修正手法であるRe-Exを提案する。 第1に、外部ツールを使用して、応答中の事実エラーの証拠を取得すること、第2に、llmは、第1のステップで収集された証拠に基づいて、応答の問題部分を説明するように指示すること、最後に、第2のステップで得られた説明を使って、応答を改訂することである。 説明ステップに加えて,反応修正プロセスに必要なトークン量と壁面時間を削減するための新しいプロンプト手法を提案する。 Factool、CoVE、RARRといった既存のメソッドと比較して、Re-Exは複数のベンチマークでより少ない時間と少ないトークンで改善されたリビジョンパフォーマンスを提供する。

関連論文リスト

• Guiding Retrieval using LLM-based Listwise Rankers [15.3583908068962]
  本稿では,リストワイズ設定をサポートする既存適応検索手法の適応性を提案する。 具体的には、提案アルゴリズムは、初期ランキングとフィードバック文書の両方から結果をマージする。 我々は,適応プロセスの最小化によるLLM推論の総数とオーバーヘッドを一定に保ちながら,nDCG@10を最大13.23%改善し,28.02%リコールできることを示した。
  論文  参考訳（メタデータ） (2025-01-15T22:23:53Z)
• Real-time Verification and Refinement of Language Model Text Generation [60.04718679054704]
  大規模言語モデル(LLM)は、幅広い自然言語タスクにおいて顕著な性能を示している。 重要な課題は、時に事実的に誤った答えを生じさせることである。 本稿では,LLM出力の検証と改善の効率化を目的とした新しい手法であるStreaming-VRを提案する。
  論文  参考訳（メタデータ） (2025-01-14T03:59:48Z)
• R-Bot: An LLM-based Query Rewrite System [15.46599915198438]
  機械学習に基づくクエリ書き換えシステムであるR-Botを提案する。 まず,複数ソースのリライトエビデンス作成パイプラインを設計し,クエリリライトエビデンスを生成する。 次に,構造解析と意味解析を組み合わせたハイブリッド・セマンティック検索手法を提案する。 広く使われているベンチマークで包括的な実験を行い、システムの性能を実証する。
  論文  参考訳（メタデータ） (2024-12-02T16:13:04Z)
• LLMRefine: Pinpointing and Refining Large Language Models via Fine-Grained Actionable Feedback [65.84061725174269]
  最近の大規模言語モデル(LLM)は、世代品質を改善するために人間のフィードバックを活用している。 LLMの出力を最適化する推論時間最適化手法であるLLMRefineを提案する。 機械翻訳、長文質問応答(QA)、話題要約を含む3つのテキスト生成タスクについて実験を行った。 LLMRefineは、すべてのベースラインアプローチを一貫して上回り、翻訳タスクの1.7 MetricXポイント、ASQAの8.1 ROUGE-L、トピックの要約の2.2 ROUGE-Lの改善を実現している。
  論文  参考訳（メタデータ） (2023-11-15T19:52:11Z)
• LLatrieval: LLM-Verified Retrieval for Verifiable Generation [67.93134176912477]
  検証可能な生成は、大きな言語モデル(LLM)がドキュメントをサポートするテキストを生成することを目的としている。 本稿では,LLatrieval (Large Language Model Verified Retrieval)を提案する。 実験により、LLatrievalは幅広いベースラインを著しく上回り、最先端の結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-11-14T01:38:02Z)
• Revisiting Large Language Models as Zero-shot Relation Extractors [8.953462875381888]
  リレーショナル抽出(RE)は、ゼロショット設定下であっても、一定のラベル付きまたはラベルなしのデータを一貫して含む。 近年の研究では、大きな言語モデル(LLM)が、単に自然言語のプロンプトを与えられただけで、新しいタスクにうまく移行していることが示されている。 本研究はゼロショット関係抽出器としてLLMを探索することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-10-08T06:17:39Z)
• Query Rewriting for Retrieval-Augmented Large Language Models [139.242907155883]
  大規模言語モデル(LLM)は、検索対象のパイプラインで強力なブラックボックスリーダーを動作させる。 この作業では、検索拡張LDMに対する以前の検索テーマ読み込みの代わりに、新しいフレームワークであるRewrite-Retrieve-Readを導入する。
  論文  参考訳（メタデータ） (2023-05-23T17:27:50Z)
• RCOT: Detecting and Rectifying Factual Inconsistency in Reasoning by Reversing Chain-of-Thought [56.558892336235914]
  Reversing Chain-of-Thought (RCoT) は、大規模言語モデルの推論能力を改善する新しい手法である。 RCoTは生成したソリューションにおける事実の不整合を自動的に検出し、修正する。 手書きのきめ細かいフィードバックがLLMの推論能力を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-19T08:02:52Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。