論文の概要: FaaF: Facts as a Function for the evaluation of generated text

• arxiv url: http://arxiv.org/abs/2403.03888v2
• Date: Mon, 8 Apr 2024 14:49:52 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-10 00:47:03.718210
• Title: FaaF: Facts as a Function for the evaluation of generated text
• Title（参考訳）: FaaF: 生成されたテキストの評価のための関数としてのファクト
• Authors: Vasileios Katranidis, Gabor Barany,
• Abstract要約: ファクト・アズ・ア・ファンクション(Facts as a Function, FaaF)は,大規模言語モデル(LM)の関数呼び出し機能を活用した事実検証タスクである。 FaaFは、テキスト中のサポート対象の事実を識別する能力を大幅に向上すると同時に、プロンプトベースの手法に比べて効率とコストを大幅に削減する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The demand for accurate and efficient verification of information in texts generated by large language models (LMs) is at an all-time high, but remains unresolved. Recent efforts have focused on extracting and verifying atomic facts from these texts via prompting LM evaluators. However, we demonstrate that this method of prompting is unreliable when faced with incomplete or inaccurate reference information. We introduce Facts as a Function (FaaF), a new approach to the fact verification task that leverages the function-calling capabilities of LMs. FaaF significantly enhances the ability of LMs to identify unsupported facts in texts, while also improving efficiency and significantly lowering costs compared to prompt-based methods. Additionally, we propose a framework for evaluating factual recall in Retrieval Augmented Generation (RAG) systems, which we employ to compare prompt-based and FaaF methods using various LMs under challenging conditions.
• Abstract（参考訳）: 大規模言語モデル(LM)が生成するテキスト中の情報の正確かつ効率的な検証の要求は、最高水準にあるが、未解決のままである。 近年の取り組みは、これらのテキストからLM評価器を介して原子事実を抽出し、検証することに焦点を当てている。 しかし、不完全な参照情報や不正確な参照情報に直面すると、このプロンプトが信頼できないことを示す。 本稿では,ファクト・アズ・ア・ファンクション(Facts as a Function,FaaF)を紹介する。 FaaFは、テキスト中のサポート対象の事実を識別する能力を大幅に向上すると同時に、プロンプトベースの手法に比べて効率とコストを大幅に削減する。 さらに,各種LMを用いたプロンプトベース法とFaaF法を困難な条件下で比較するために,検索用拡張生成システム(RAG)のファクトリコール評価フレームワークを提案する。

関連論文リスト

• LEAF: Learning and Evaluation Augmented by Fact-Checking to Improve Factualness in Large Language Models [11.453585039783901]
  LEAF: Fact-Checkingによって強化された学習と評価は、大規模言語モデル(LLM)の現実的信頼性を高めるために設計された新しいアプローチである。 最初の戦略であるFact-Check-Then-RAGは、ファクトチェック結果を取り入れて、モデルパラメータを更新せずに検索プロセスをガイドすることによって、検索精度を向上させる。 第2の戦略であるLearning from Fact-Checks via Self-Trainingは、ファクトチェックされた応答の監督された微調整(SFT)や、ファクトチェックをランキングメカニズムとして適用するSimple Preference Optimization(SimPO)である。
  論文  参考訳（メタデータ） (2024-10-31T00:18:05Z)
• Augmenting the Veracity and Explanations of Complex Fact Checking via Iterative Self-Revision with LLMs [10.449165630417522]
  中国ではCHEF-EGとTrendFactという2つの複雑なファクトチェックデータセットを構築している。 これらのデータセットは、健康、政治、社会などの分野で複雑な事実を含む。 妥当性と説明の相互フィードバックを行うための統合フレームワークFactISRを提案する。
  論文  参考訳（メタデータ） (2024-10-19T15:25:19Z)
• FactAlign: Long-form Factuality Alignment of Large Language Models [35.067998820937284]
  大規模言語モデルは次世代の情報アクセスエンジンとして大きな可能性を示している。 本稿では,FactAlignを提案する。FactAlignは,長文応答の現実性を高めるために設計された,新しいアライメントフレームワークである。 オープンドメインのプロンプトと情報検索に関する実験により、FactAlignはLLM応答の事実精度を大幅に向上することを示した。
  論文  参考訳（メタデータ） (2024-10-02T16:03:13Z)
• VERA: Validation and Enhancement for Retrieval Augmented systems [0.0]
  textbfValidation and textbfEnhancement for textbfRetrieval textbfAugmented system を提案する。 VERAは、外部検索が必要なかどうかを最初にチェックし、検索したコンテキストの関連性と冗長性を評価し、非必要情報の除去のために精査する評価器-既存のLCMを使用している。
  論文  参考訳（メタデータ） (2024-09-18T16:10:47Z)
• Retrieval Augmented Fact Verification by Synthesizing Contrastive Arguments [23.639378586798884]
  コントラスト引数の合成による検索拡張現実事実検証を提案する。 提案手法は,関連文書を証拠として効果的に検索し,様々な視点から議論を評価する。 RAFTS は GPT 法よりはるかに小さい 7B LLM で優れた性能を発揮する。
  論文  参考訳（メタデータ） (2024-06-14T08:13:34Z)
• CaLM: Contrasting Large and Small Language Models to Verify Grounded Generation [76.31621715032558]
  グラウンデッドジェネレーションは、言語モデル(LM)に、より信頼性が高く説明可能な応答を生成する能力を持たせることを目的としている。 本稿では,新しい検証フレームワークであるCaLMを紹介する。 我々のフレームワークは、より少ないパラメトリックメモリに依存する小さなLMを有効活用し、より大きなLMの出力を検証する。
  論文  参考訳（メタデータ） (2024-06-08T06:04:55Z)
• Unsupervised Information Refinement Training of Large Language Models for Retrieval-Augmented Generation [128.01050030936028]
  InFO-RAG という情報改質訓練手法を提案する。 InFO-RAGは低コストで、様々なタスクにまたがっている。 LLaMA2の性能を平均9.39%向上させる。
  論文  参考訳（メタデータ） (2024-02-28T08:24:38Z)
• Can LLMs Produce Faithful Explanations For Fact-checking? Towards Faithful Explainable Fact-Checking via Multi-Agent Debate [75.10515686215177]
  大規模言語モデル(LLM)はテキスト生成に優れるが、事実チェックにおいて忠実な説明を生成する能力は依然として過小評価されている。 多様な役割を持つエージェントとして複数のLSMを利用するマルチエージェント・デベート・リファインメント(MADR)フレームワークを提案する。 MADRは、最終的な説明が厳密な検証を行い、不誠実な要素の可能性を著しく低減し、提示された証拠と密接に一致させることを保証する。
  論文  参考訳（メタデータ） (2024-02-12T04:32:33Z)
• Improving Factual Consistency of Text Summarization by Adversarially Decoupling Comprehension and Embellishment Abilities of LLMs [67.56087611675606]
  大規模言語モデル(LLM)は、本来の記事と現実的に矛盾する要約を生成する。 これらの幻覚は、従来の方法による検出が困難である。 LLM(DECENT)の能力を阻害する逆デカップリング法を提案する。
  論文  参考訳（メタデータ） (2023-10-30T08:40:16Z)
• Knowledge-Augmented Language Model Verification [68.6099592486075]
  最近の言語モデル(LM)は、パラメータに内在化された知識を持つテキストを生成する際、印象的な能力を示している。 本稿では,知識付加型LMの出力と知識を別個の検証器で検証することを提案する。 その結果,提案した検証器は,検索と生成の誤りを効果的に識別し,LMがより現実的に正しい出力を提供できることを示した。
  論文  参考訳（メタデータ） (2023-10-19T15:40:00Z)
• Improving Factual Consistency for Knowledge-Grounded Dialogue Systems via Knowledge Enhancement and Alignment [77.56326872997407]
  事前訓練言語モデル(PLM)に基づく知識基底対話システムは、提供された知識源と実際に矛盾しない応答を生成する傾向にある。 トランスフォーマー内のフィードフォワードネットワーク(FFN)が事実知識表現の責任を負っていると判断する以前の研究から着想を得て,事実表現能力を効率的に改善するための2つの方法を検討した。
  論文  参考訳（メタデータ） (2023-10-12T14:44:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。