論文の概要: Towards Verifiable Text Generation with Evolving Memory and Self-Reflection

• arxiv url: http://arxiv.org/abs/2312.09075v3
• Date: Fri, 18 Oct 2024 09:02:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:22:39.940604
• Title: Towards Verifiable Text Generation with Evolving Memory and Self-Reflection
• Title（参考訳）: 記憶と自己回帰を進化させる検証可能なテキスト生成を目指して
• Authors: Hao Sun, Hengyi Cai, Bo Wang, Yingyan Hou, Xiaochi Wei, Shuaiqiang Wang, Yan Zhang, Dawei Yin,
• Abstract要約: 検証可能なテキスト生成は、大規模な言語モデルに対して、精度検証のための引用付きコンテンツを生成するよう促す。 しかし、フォーカスシフト現象、クレームを正しい引用と整合させるために必要な複雑な推論、検索された文書の精度と幅の間のジレンマのため、検証可能なテキスト生成は簡単ではない。 本稿では、記憶と自己回帰を進化させる検証可能なテキスト生成のための革新的なフレームワークであるVTGを紹介する。
• 参考スコア（独自算出の注目度）: 29.453251483492803
• License:
• Abstract: Despite the remarkable ability of large language models (LLMs) in language comprehension and generation, they often suffer from producing factually incorrect information, also known as hallucination. A promising solution to this issue is verifiable text generation, which prompts LLMs to generate content with citations for accuracy verification. However, verifiable text generation is non-trivial due to the focus-shifting phenomenon, the intricate reasoning needed to align the claim with correct citations, and the dilemma between the precision and breadth of retrieved documents. In this paper, we present VTG, an innovative framework for Verifiable Text Generation with evolving memory and self-reflection. VTG introduces evolving long short-term memory to retain both valuable documents and recent documents. A two-tier verifier equipped with an evidence finder is proposed to rethink and reflect on the relationship between the claim and citations. Furthermore, active retrieval and diverse query generation are utilized to enhance both the precision and breadth of the retrieved documents. We conduct extensive experiments on five datasets across three knowledge-intensive tasks and the results reveal that VTG significantly outperforms baselines.
• Abstract（参考訳）: 言語理解と生成における大きな言語モデル(LLM)の顕著な能力にもかかわらず、それらはしばしば、幻覚として知られる事実的に誤った情報を生み出すことに悩まされる。 この問題に対する有望な解決策は、検証可能なテキスト生成である。 しかし、フォーカスシフト現象、クレームを正しい引用と整合させるために必要な複雑な推論、検索された文書の精度と幅の間のジレンマのため、検証可能なテキスト生成は簡単ではない。 本稿では、記憶と自己回帰を進化させる検証可能なテキスト生成のための革新的なフレームワークであるVTGを提案する。 VTGは、価値あるドキュメントと最近のドキュメントの両方を保持するために、進化する長期記憶を導入する。 証拠発見装置を備えた2層検証器を提案し,クレームと引用の関係を再考した。 さらに、アクティブ検索と多様なクエリ生成を利用して、検索した文書の精度と幅を両立させる。 我々は3つの知識集約的なタスクにまたがる5つのデータセットについて広範な実験を行い、VTGがベースラインを大幅に上回ることを示した。

関連論文リスト

• QAEA-DR: A Unified Text Augmentation Framework for Dense Retrieval [12.225881591629815]
  厳密な検索では、長いテキストを密度の高いベクトルに埋め込むと、情報が失われ、クエリとテキストのマッチングが不正確になる。 近年の研究では,文の埋め込みモデルや検索プロセスの改善を中心に研究が進められている。 本稿では,高密度検索のための新しいテキスト拡張フレームワークを導入し,生文書を高密度テキスト形式に変換する。
  論文  参考訳（メタデータ） (2024-07-29T17:39:08Z)
• CorpusLM: Towards a Unified Language Model on Corpus for Knowledge-Intensive Tasks [20.390672895839757]
  Retrieval-augmented Generation (RAG) は、事実精度を高めるための一般的なソリューションとして登場した。 従来の検索モジュールは、大きなドキュメントインデックスと生成タスクとの切り離しに依存していることが多い。 生成検索,クローズドブック生成,RAGを統合した統一言語モデルである textbfCorpusLM を提案する。
  論文  参考訳（メタデータ） (2024-02-02T06:44:22Z)
• Corrective Retrieval Augmented Generation [36.04062963574603]
  Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。 生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。 CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
  論文  参考訳（メタデータ） (2024-01-29T04:36:39Z)
• Knowledge-Augmented Language Model Verification [68.6099592486075]
  最近の言語モデル(LM)は、パラメータに内在化された知識を持つテキストを生成する際、印象的な能力を示している。 本稿では,知識付加型LMの出力と知識を別個の検証器で検証することを提案する。 その結果,提案した検証器は,検索と生成の誤りを効果的に識別し,LMがより現実的に正しい出力を提供できることを示した。
  論文  参考訳（メタデータ） (2023-10-19T15:40:00Z)
• Optimizing Factual Accuracy in Text Generation through Dynamic Knowledge Selection [71.20871905457174]
  言語モデル(LM)は、私たちが情報と対話する方法に革命をもたらしたが、しばしば非現実的なテキストを生成する。 従来の手法では、外部知識をテキスト生成の参照として使用して事実性を高めるが、無関係な参照の知識の混在に苦慮することが多い。 本稿では,テキスト生成プロセスを反復処理に分割するDKGenを提案する。
  論文  参考訳（メタデータ） (2023-08-30T02:22:40Z)
• Deliberate then Generate: Enhanced Prompting Framework for Text Generation [70.10319005141888]
  Deliberate then Generate (DTG) プロンプトフレームワークはエラー検出命令とエラーを含む可能性のある候補で構成されている。 我々は、要約、翻訳、対話など、7つのテキスト生成タスクにまたがる20以上のデータセットに関する広範な実験を行う。 本稿では,DTGが既存のプロンプト手法を一貫して上回り,複数のテキスト生成タスクにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2023-05-31T13:23:04Z)
• Give Me More Details: Improving Fact-Checking with Latent Retrieval [58.706972228039604]
  証拠は、自動化された事実チェックにおいて重要な役割を果たす。 既存のファクトチェックシステムは、エビデンス文が与えられたと仮定するか、検索エンジンが返した検索スニペットを使用する。 資料から得られた全文を証拠として組み込んで,2つの豊富なデータセットを導入することを提案する。
  論文  参考訳（メタデータ） (2023-05-25T15:01:19Z)
• Generate rather than Retrieve: Large Language Models are Strong Context Generators [74.87021992611672]
  本稿では,文書検索を大規模言語モデル生成器に置き換えることで,知識集約型タスクを解く新しい視点を提案する。 我々は,提案手法をgenRead (genRead) と呼び,まず大きな言語モデルに対して,与えられた質問に基づいて文脈文書を生成し,次に生成された文書を読み出して最終回答を生成する。
  論文  参考訳（メタデータ） (2022-09-21T01:30:59Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。