論文の概要: Improving Factuality with Explicit Working Memory

• arxiv url: http://arxiv.org/abs/2412.18069v1
• Date: Tue, 24 Dec 2024 00:55:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-25 15:55:36.658346
• Title: Improving Factuality with Explicit Working Memory
• Title（参考訳）: 明示的なワーキングメモリによるファクタリティ向上
• Authors: Mingda Chen, Yang Li, Karthik Padthe, Rulin Shao, Alicia Sun, Luke Zettlemoyer, Gargi Gosh, Wen-tau Yih,
• Abstract要約: 大規模な言語モデルは、幻覚として知られる、事実的に不正確なコンテンツを生成することができる。 EWE(Explicit Working Memory)は、外部リソースからのリアルタイムフィードバックを受信するワーキングメモリを統合することで、長文テキスト生成における事実性を高める新しい手法である。
• 参考スコア（独自算出の注目度）: 63.47122478975407
• License:
• Abstract: Large language models can generate factually inaccurate content, a problem known as hallucination. Recent works have built upon retrieved-augmented generation to improve factuality through iterative prompting but these methods are limited by the traditional RAG design. To address these challenges, we introduce EWE (Explicit Working Memory), a novel approach that enhances factuality in long-form text generation by integrating a working memory that receives real-time feedback from external resources. The memory is refreshed based on online fact-checking and retrieval feedback, allowing EWE to rectify false claims during the generation process and ensure more accurate and reliable outputs. Our experiments demonstrate that Ewe outperforms strong baselines on four fact-seeking long-form generation datasets, increasing the factuality metric, VeriScore, by 2 to 10 points absolute without sacrificing the helpfulness of the responses. Further analysis reveals that the design of rules for memory updates, configurations of memory units, and the quality of the retrieval datastore are crucial factors for influencing model performance.
• Abstract（参考訳）: 大規模な言語モデルは、幻覚として知られる、事実的に不正確なコンテンツを生成することができる。 近年, 再帰的プロンプトによる現実性向上のため, 回収・拡張世代を基盤としているが, これらの手法は従来のRAG設計によって制限されている。 これらの課題に対処するために、EWE(Explicit Working Memory)を導入する。これは、外部リソースからリアルタイムにフィードバックを受けるワーキングメモリを統合することで、長文テキスト生成における事実性を高める新しいアプローチである。 メモリはオンラインのファクトチェックと検索のフィードバックに基づいて更新され、EWEは生成プロセス中に偽のクレームを正し、より正確で信頼性の高い出力を保証できる。 実験の結果,Eweは4つのファクト検索長文生成データセットに対して高いベースラインを達成し,実測値であるVeriScoreを2点から10点まで高め,応答の有用性を犠牲にすることなく向上させることができた。 さらに分析した結果,メモリ更新ルールの設計,メモリ単位の設定,検索データストアの品質がモデル性能に影響を与える重要な要因であることが判明した。

関連論文リスト

• Retriever-and-Memory: Towards Adaptive Note-Enhanced Retrieval-Augmented Generation [72.70046559930555]
  本稿では,複雑なQAタスクに対する適応ノート拡張RAG(Adaptive Note-Enhanced RAG)と呼ばれる汎用RAGアプローチを提案する。 具体的には、Adaptive-Noteは、知識の成長に関する包括的な視点を導入し、ノート形式で新しい情報を反復的に収集する。 さらに,適切な知識探索を促進するために,適応的な音符ベースの停止探索戦略を用いて,「何を検索し,いつ停止するか」を判断する。
  論文  参考訳（メタデータ） (2024-10-11T14:03:29Z)
• VERA: Validation and Enhancement for Retrieval Augmented systems [0.0]
  textbfValidation and textbfEnhancement for textbfRetrieval textbfAugmented system を提案する。 VERAは、外部検索が必要なかどうかを最初にチェックし、検索したコンテキストの関連性と冗長性を評価し、非必要情報の除去のために精査する評価器-既存のLCMを使用している。
  論文  参考訳（メタデータ） (2024-09-18T16:10:47Z)
• RA-ISF: Learning to Answer and Understand from Retrieval Augmentation via Iterative Self-Feedback [19.28222902440827]
  大規模言語モデル(LLM)は多くのタスクにおいて例外的な性能を示すが、それでもパラメータに格納された知識に大きく依存している。 Retrieval-augmented Generation (RAG)メソッドは、外部知識を統合することでこの問題に対処する。 本稿では、反復的にタスクを分解し、3つのサブモジュールで処理し、モデルの問題解決能力を向上するフレームワークであるRetrieval Augmented Iterative Self-Feedback (RA-ISF)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:01:05Z)
• Online Adaptation of Language Models with a Memory of Amortized Contexts [82.02369596879817]
  MAC(Memory of Amortized Contexts)は、大規模言語モデルのための効率的かつ効果的なオンライン適応フレームワークである。 MACとMACを組み合わせれば,検索の高速化など,一般的な代替手段の性能が向上することを示す。
  論文  参考訳（メタデータ） (2024-03-07T08:34:57Z)
• Corrective Retrieval Augmented Generation [36.04062963574603]
  Retrieval-augmented Generation (RAG) は、検索された文書の関連性に大きく依存しており、検索が失敗した場合のモデルがどのように振る舞うかについての懸念を提起する。 生成の堅牢性を改善するために,CRAG(Corrective Retrieval Augmented Generation)を提案する。 CRAGはプラグアンドプレイであり、様々なRAGベースのアプローチとシームレスに結合できる。
  論文  参考訳（メタデータ） (2024-01-29T04:36:39Z)
• Towards Verifiable Text Generation with Evolving Memory and Self-Reflection [29.453251483492803]
  検証可能なテキスト生成は、大規模な言語モデルに対して、精度検証のための引用付きコンテンツを生成するよう促す。 しかし、フォーカスシフト現象、クレームを正しい引用と整合させるために必要な複雑な推論、検索された文書の精度と幅の間のジレンマのため、検証可能なテキスト生成は簡単ではない。 本稿では、記憶と自己回帰を進化させる検証可能なテキスト生成のための革新的なフレームワークであるVTGを紹介する。
  論文  参考訳（メタデータ） (2023-12-14T16:10:56Z)
• Self-RAG: Learning to Retrieve, Generate, and Critique through Self-Reflection [74.51523859064802]
  我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。 自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。 様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
  論文  参考訳（メタデータ） (2023-10-17T18:18:32Z)
• Enhancing Retrieval-Augmented Large Language Models with Iterative Retrieval-Generation Synergy [164.83371924650294]
  検索と生成を反復的に同期させるIter-RetGenと呼ばれる手法により,高い性能が得られることを示す。 モデル出力は、タスクを完了するために必要なものを示し、より関連する知識を取得するための情報的コンテキストを提供する。 Iter-RetGenプロセスは、すべての知識を全体として取得し、構造的な制約なしに生成時の柔軟性をほとんど保持します。
  論文  参考訳（メタデータ） (2023-05-24T16:17:36Z)
• Active Retrieval Augmented Generation [123.68874416084499]
  外部知識資源から情報を取得することで、大きな言語モデル(LM)を拡張することは、有望な解決策である。 ほとんどの既存の検索拡張LMは、入力に基づいて一度だけ情報を検索する検索と生成のセットアップを採用している。 本稿では,将来的な内容を予測するために,文の予測を反復的に利用する汎用手法であるフォワード・フォワード・アクティブ・レトリヴァル・ジェネレーション・ジェネレーション(FLARE)を提案する。
  論文  参考訳（メタデータ） (2023-05-11T17:13:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。