論文の概要: Learning to Generate Answers with Citations via Factual Consistency Models

• arxiv url: http://arxiv.org/abs/2406.13124v2
• Date: Mon, 15 Jul 2024 16:04:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-17 00:06:54.837837
• Title: Learning to Generate Answers with Citations via Factual Consistency Models
• Title（参考訳）: 実情整合モデルによる質問文生成の学習
• Authors: Rami Aly, Zhiqiang Tang, Samson Tan, George Karypis,
• Abstract要約: 大型言語モデル(LLM)は、ミッションクリティカルな状況においてその信頼性を阻害する。 本稿では,事実整合性モデル(FCM)を利用した弱教師付き微調整法を提案する。 集中学習は目的に統合され、ファインチューニングプロセスが現実の単位トークンを強調するように指示される。
• 参考スコア（独自算出の注目度）: 28.716998866121923
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) frequently hallucinate, impeding their reliability in mission-critical situations. One approach to address this issue is to provide citations to relevant sources alongside generated content, enhancing the verifiability of generations. However, citing passages accurately in answers remains a substantial challenge. This paper proposes a weakly-supervised fine-tuning method leveraging factual consistency models (FCMs). Our approach alternates between generating texts with citations and supervised fine-tuning with FCM-filtered citation data. Focused learning is integrated into the objective, directing the fine-tuning process to emphasise the factual unit tokens, as measured by an FCM. Results on the ALCE few-shot citation benchmark with various instruction-tuned LLMs demonstrate superior performance compared to in-context learning, vanilla supervised fine-tuning, and state-of-the-art methods, with an average improvement of $34.1$, $15.5$, and $10.5$ citation F$_1$ points, respectively. Moreover, in a domain transfer setting we show that the obtained citation generation ability robustly transfers to unseen datasets. Notably, our citation improvements contribute to the lowest factual error rate across baselines.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、ミッションクリティカルな状況においてその信頼性を阻害する。 この問題に対処する1つのアプローチは、生成したコンテンツと共に関連するソースに引用を提供することで、世代間の妥当性を高めることである。 しかし、答えを正確に引用することは依然として大きな課題である。 本稿では,事実整合性モデル(FCM)を利用した微調整手法を提案する。 提案手法は,引用付きテキストの生成とFCMフィルタリングによる微調整とを交互に行う。 フォーカスドラーニングは、FCMが測定した事実の単位トークンを強調するために微調整プロセスを指示する。 ALCEの様々な命令チューニング LLM による数ショットの引用ベンチマークの結果は、コンテキスト内学習、バニラ教師ありの微調整、最先端の手法と比較して、それぞれ平均344.1ドル、15.5ドル、および10.5$の引用F$1ドルポイントよりも優れた性能を示した。 さらに、ドメイン転送設定では、得られた引用生成能力が、目に見えないデータセットに頑健に転送されることを示す。 特に、引用の改善は、ベースラインをまたがる最も低い事実的エラー率に寄与します。

関連論文リスト

• Refining Sentence Embedding Model through Ranking Sentences Generation with Large Language Models [60.00178316095646]
  多くのNLPタスクには文の埋め込みが不可欠であり、NLIのようなデータセットを使用して強いパフォーマンスを達成する対照的な学習方法がある。 近年の研究では、大きな言語モデル(LLM)を利用して文ペアを生成し、アノテーション依存を減らしている。 本稿では,潜在空間におけるLLMの生成方向を制御する手法を提案する。 複数のベンチマークによる実験により,本手法は文合成に要するコストを最小限に抑えつつ,新たなSOTA性能を実現することを示した。
  論文  参考訳（メタデータ） (2025-02-19T12:07:53Z)
• SelfCite: Self-Supervised Alignment for Context Attribution in Large Language Models [51.90867482317985]
  SelfCiteは自己教師型のアプローチで、LLMを調整して、生成された応答における文に対する高品質できめ細かい文レベルの引用を生成する。 コストと労働集約的なアノテーションに頼る代わりに、SelfCiteはLLM自体が提供する報酬シグナルをコンテキストアブレーションを通じて活用する。 SelfCiteの有効性は、5つの長文質問応答タスクにわたるLongBench-Citeベンチマークにおいて、引用F1を5.3ポイントまで増やすことによって示される。
  論文  参考訳（メタデータ） (2025-02-13T18:55:13Z)
• On the Capacity of Citation Generation by Large Language Models [38.47160164251295]
  Retrieval-augmented Generation (RAG) は、大規模言語モデル(LLM)における「ハロシン化」問題を緩和するための有望な方法として現れる。
  論文  参考訳（メタデータ） (2024-10-15T03:04:26Z)
• Learning Fine-Grained Grounded Citations for Attributed Large Language Models [44.79328335487421]
  Frontは、大きな言語モデル(LLM)でFront-Grained Grounded Citationsを生成するためのトレーニングフレームワークである。 ALCEベンチマークの実験では、FRONTが優れた接地応答と高い支持的な励起を生成できることを示した。
  論文  参考訳（メタデータ） (2024-08-08T16:28:22Z)
• Citekit: A Modular Toolkit for Large Language Model Citation Generation [22.00342064028764]
  大規模言語モデル(LLM)は質問応答(QA)タスクで引用を生成する。 現在、異なる引用生成方法を標準化し、適切に比較するための統一されたフレームワークは存在しない。 既存の引用生成手法の実装と評価を容易にするために設計されたオープンソースのモジュール型ツールキットであるnameを紹介する。
  論文  参考訳（メタデータ） (2024-08-06T02:13:15Z)
• Ground Every Sentence: Improving Retrieval-Augmented LLMs with Interleaved Reference-Claim Generation [51.8188846284153]
  RAGは大規模言語モデル(LLM)を強化するために広く採用されている。 分散テキスト生成(ATG)が注目され、RAGにおけるモデルの応答をサポートするための引用を提供する。 本稿では,ReClaim(Refer & Claim)と呼ばれる詳細なATG手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:47:47Z)
• ALiiCE: Evaluating Positional Fine-grained Citation Generation [54.19617927314975]
  本稿では,微細な引用生成のための最初の自動評価フレームワークであるALiiCEを提案する。 我々のフレームワークはまず、文のクレームを依存性分析によって原子クレームに解析し、次に原子クレームレベルでの引用品質を計算する。 複数大言語モデルの2つの長文QAデータセット上での位置的きめ細かな引用生成性能を評価する。
  論文  参考訳（メタデータ） (2024-06-19T09:16:14Z)
• Verifiable by Design: Aligning Language Models to Quote from Pre-Training Data [48.409306245463]
  事前学習データにおいて,信頼された情報源から動詞句を引用するモデルを構築した。 Quote-Tuningの中核は、信頼されたコーパスに対するテキストを効率的に検証する高速なメンバシップ推論機能である。 実験により、Quote-Tuningは、ベースモデルと比較して高品質なドキュメントからの動詞の引用を最大130%増加させることが示された。
  論文  参考訳（メタデータ） (2024-04-05T02:27:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。