論文の概要: FaithEval: Can Your Language Model Stay Faithful to Context, Even If "The Moon is Made of Marshmallows"

• arxiv url: http://arxiv.org/abs/2410.03727v2
• Date: Tue, 8 Oct 2024 19:20:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-02 20:28:28.217772
• Title: FaithEval: Can Your Language Model Stay Faithful to Context, Even If "The Moon is Made of Marshmallows"
• Title（参考訳）: FaithEval: たとえ月がマシュマロでできているとしても、あなたの言語モデルは文脈に忠実か?
• Authors: Yifei Ming, Senthil Purushwalkam, Shrey Pandit, Zixuan Ke, Xuan-Phi Nguyen, Caiming Xiong, Shafiq Joty,
• Abstract要約: FaithEvalは、コンテキストシナリオにおける大規模言語モデル(LLM)の忠実度を評価するためのベンチマークである。 FaithEvalは4.9Kの高品質な問題で構成され、厳格な4段階のコンテキスト構築と検証フレームワークを通じて検証されている。
• 参考スコア（独自算出の注目度）: 74.7488607599921
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Ensuring faithfulness to context in large language models (LLMs) and retrieval-augmented generation (RAG) systems is crucial for reliable deployment in real-world applications, as incorrect or unsupported information can erode user trust. Despite advancements on standard benchmarks, faithfulness hallucination-where models generate responses misaligned with the provided context-remains a significant challenge. In this work, we introduce FaithEval, a novel and comprehensive benchmark tailored to evaluate the faithfulness of LLMs in contextual scenarios across three diverse tasks: unanswerable, inconsistent, and counterfactual contexts. These tasks simulate real-world challenges where retrieval mechanisms may surface incomplete, contradictory, or fabricated information. FaithEval comprises 4.9K high-quality problems in total, validated through a rigorous four-stage context construction and validation framework, employing both LLM-based auto-evaluation and human validation. Our extensive study across a wide range of open-source and proprietary models reveals that even state-of-the-art models often struggle to remain faithful to the given context, and that larger models do not necessarily exhibit improved faithfulness.Project is available at: \url{https://github.com/SalesforceAIResearch/FaithEval}.
• Abstract（参考訳）: 大規模言語モデル(LLM)と検索強化世代(RAG)システムにおけるコンテキストへの忠実性の確保は、ユーザの信頼を損なうため、現実のアプリケーションにおける信頼性の高いデプロイには不可欠である。 標準ベンチマークの進歩にもかかわらず、忠実な幻覚モデルでは、提供されたコンテキストに一致しない応答を生成する。 本研究は,3つのタスクのコンテキストシナリオにおけるLLMの忠実度を評価するための,新規で包括的なベンチマークであるFaithEvalを紹介する。 これらのタスクは、検索メカニズムが不完全、矛盾、あるいは偽情報となるような現実世界の課題をシミュレートする。 FaithEvalは4.9Kの高品質な問題で構成され、厳格な4段階のコンテキスト構築と検証フレームワークを通じて検証され、LSMベースの自動評価と人間の検証の両方を利用している。 幅広いオープンソースおよびプロプライエタリなモデルにわたる広範な研究によると、最先端のモデルでさえ、しばしば与えられたコンテキストに忠実に保たれるのに苦労し、大きなモデルは必ずしも改善された忠実さを示すとは限らない。

関連論文リスト

• SCOPE: A Self-supervised Framework for Improving Faithfulness in Conditional Text Generation [55.61004653386632]
  LLM(Large Language Models)は、しばしば幻覚(幻覚)を生成する。 本稿では,不信なサンプルのトレーニングセットを生成するための,新たな自己指導手法を提案する。 そしてトレーニングプロセスを使ってモデルを洗練し、不信なものよりも基礎的なアウトプットの生成を奨励します。
  論文  参考訳（メタデータ） (2025-02-19T12:31:58Z)
• Breaking Focus: Contextual Distraction Curse in Large Language Models [68.4534308805202]
  大規模言語モデル(LLM)の重大な脆弱性について検討する。 この現象は、セマンティック・コヒーレントだが無関係な文脈で修正された質問に対して、モデルが一貫した性能を維持することができないときに発生する。 本稿では,CDVの例を自動生成する効率的な木探索手法を提案する。
  論文  参考訳（メタデータ） (2025-02-03T18:43:36Z)
• Improving Contextual Faithfulness of Large Language Models via Retrieval Heads-Induced Optimization [35.269343563526675]
  我々は,大規模言語モデルに忠実な世代と不誠実な世代を明確に区別するためのフレームワークであるRHIOを提案する。 RHIOは、検索ヘッドを選択的にマスキングすることで、現実的なモデル固有のエラーをシミュレートする不誠実なサンプルを最初に強化する。 これらのサンプルは共同トレーニングに組み込まれ、制御トークンに条件付けられた忠実なものから不誠実な出力を区別することができる。
  論文  参考訳（メタデータ） (2025-01-23T11:23:25Z)
• Aligning Large Language Models for Faithful Integrity Against Opposing Argument [71.33552795870544]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて印象的な機能を示している。 原文が正しい場合でも、会話中に不誠実な議論によって容易に誤解される。 本稿では,信頼度と信頼度を両立させる新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2025-01-02T16:38:21Z)
• FVEval: Understanding Language Model Capabilities in Formal Verification of Digital Hardware [4.480157114854711]
  FVEvalは,形式的検証(FV)に関わるタスクにおいて,大規模言語モデル(LLM)のパフォーマンスを特徴付ける最初の総合ベンチマークである。 ベンチマークは3つのサブタスクで構成され、異なるレベルでLLM能力を測定する。 本稿では,FVに整合した合成例を生成するための,専門家による検証手法と手法のコレクションについて述べる。
  論文  参考訳（メタデータ） (2024-10-15T21:48:57Z)
• Improving Retrieval Augmented Language Model with Self-Reasoning [20.715106330314605]
  本稿では,ALMの信頼性とトレーサビリティ向上を目的とした,新たな自己推論フレームワークを提案する。 このフレームワークは、関連性を認識したプロセス、エビデンスを認識した選択プロセス、軌跡解析プロセスの3つのプロセスで自己推論軌道を構築することを含む。 提案手法の優位性を示すため,4つの公開データセットにまたがるフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2024-07-29T09:05:10Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• FRSUM: Towards Faithful Abstractive Summarization via Enhancing Factual Robustness [56.263482420177915]
  我々は,既存のシステムの忠実さを,事実的堅牢性という新たな視点から研究する。 本研究では,新たなトレーニング戦略,すなわちFRSUMを提案し,そのモデルに対して,暗黙の対角的サンプルと暗黙の対向的摂動の両方を防御するように指導する。
  論文  参考訳（メタデータ） (2022-11-01T06:09:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。