論文の概要: SelfCite: Self-Supervised Alignment for Context Attribution in Large Language Models

• arxiv url: http://arxiv.org/abs/2502.09604v1
• Date: Thu, 13 Feb 2025 18:55:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-14 13:50:53.433248
• Title: SelfCite: Self-Supervised Alignment for Context Attribution in Large Language Models
• Title（参考訳）: SelfCite: 大規模言語モデルにおけるコンテキスト属性に対する自己監督的アライメント
• Authors: Yung-Sung Chuang, Benjamin Cohen-Wang, Shannon Zejiang Shen, Zhaofeng Wu, Hu Xu, Xi Victoria Lin, James Glass, Shang-Wen Li, Wen-tau Yih,
• Abstract要約: SelfCiteは自己教師型のアプローチで、LLMを調整して、生成された応答における文に対する高品質できめ細かい文レベルの引用を生成する。 コストと労働集約的なアノテーションに頼る代わりに、SelfCiteはLLM自体が提供する報酬シグナルをコンテキストアブレーションを通じて活用する。 SelfCiteの有効性は、5つの長文質問応答タスクにわたるLongBench-Citeベンチマークにおいて、引用F1を5.3ポイントまで増やすことによって示される。
• 参考スコア（独自算出の注目度）: 51.90867482317985
• License:
• Abstract: We introduce SelfCite, a novel self-supervised approach that aligns LLMs to generate high-quality, fine-grained, sentence-level citations for the statements in their generated responses. Instead of only relying on costly and labor-intensive annotations, SelfCite leverages a reward signal provided by the LLM itself through context ablation: If a citation is necessary, removing the cited text from the context should prevent the same response; if sufficient, retaining the cited text alone should preserve the same response. This reward can guide the inference-time best-of-N sampling strategy to improve citation quality significantly, as well as be used in preference optimization to directly fine-tune the models for generating better citations. The effectiveness of SelfCite is demonstrated by increasing citation F1 up to 5.3 points on the LongBench-Cite benchmark across five long-form question answering tasks.
• Abstract（参考訳）: 自己教師型アプローチであるSelfCiteを導入し,LLMを調整し,文の質の高い文レベルの引用を生成する。 コストと労力のかかるアノテーションのみに頼る代わりに、SelfCiteは、LLM自体が提供する報酬シグナルをコンテキストアブレーションを通じて利用する: 引用が必要な場合、引用されたテキストをコンテキストから削除することで、同じレスポンスを防げる。 この報酬は、推論時のベスト・オブ・Nサンプリング戦略を導き、引用品質を著しく向上させるとともに、より優れた引用を生成するためにモデルを直接微調整するために、好みの最適化に使用される。 SelfCiteの有効性は、5つの長文質問応答タスクにわたるLongBench-Citeベンチマークにおいて、引用F1を5.3ポイントまで増やすことによって示される。

関連論文リスト

• On the Capacity of Citation Generation by Large Language Models [38.47160164251295]
  Retrieval-augmented Generation (RAG) は、大規模言語モデル(LLM)における「ハロシン化」問題を緩和するための有望な方法として現れる。
  論文  参考訳（メタデータ） (2024-10-15T03:04:26Z)
• LongCite: Enabling LLMs to Generate Fine-grained Citations in Long-context QA [52.30374900597116]
  長文大言語モデル (LLM) は、広範囲なテキストに基づいてユーザの質問に答える能力を示す。 応答における引用の欠如は、ユーザの検証を難しくし、信頼性への懸念を引き起こす。 我々は,長文LLMが文レベルのきめ細かな引用で応答を生成できるようにし,その忠実さと妥当性を向上させることを目的としている。
  論文  参考訳（メタデータ） (2024-09-04T17:41:19Z)
• Ground Every Sentence: Improving Retrieval-Augmented LLMs with Interleaved Reference-Claim Generation [51.8188846284153]
  RAGは大規模言語モデル(LLM)を強化するために広く採用されている。 分散テキスト生成(ATG)が注目され、RAGにおけるモデルの応答をサポートするための引用を提供する。 本稿では,ReClaim(Refer & Claim)と呼ばれる詳細なATG手法を提案する。
  論文  参考訳（メタデータ） (2024-07-01T20:47:47Z)
• ALiiCE: Evaluating Positional Fine-grained Citation Generation [54.19617927314975]
  本稿では,微細な引用生成のための最初の自動評価フレームワークであるALiiCEを提案する。 我々のフレームワークはまず、文のクレームを依存性分析によって原子クレームに解析し、次に原子クレームレベルでの引用品質を計算する。 複数大言語モデルの2つの長文QAデータセット上での位置的きめ細かな引用生成性能を評価する。
  論文  参考訳（メタデータ） (2024-06-19T09:16:14Z)
• Learning to Generate Answers with Citations via Factual Consistency Models [28.716998866121923]
  大型言語モデル(LLM)は、ミッションクリティカルな状況においてその信頼性を阻害する。 本稿では,事実整合性モデル(FCM)を利用した弱教師付き微調整法を提案する。 集中学習は目的に統合され、ファインチューニングプロセスが現実の単位トークンを強調するように指示される。
  論文  参考訳（メタデータ） (2024-06-19T00:40:19Z)
• Verifiable by Design: Aligning Language Models to Quote from Pre-Training Data [48.409306245463]
  事前学習データにおいて,信頼された情報源から動詞句を引用するモデルを構築した。 Quote-Tuningの中核は、信頼されたコーパスに対するテキストを効率的に検証する高速なメンバシップ推論機能である。 実験により、Quote-Tuningは、ベースモデルと比較して高品質なドキュメントからの動詞の引用を最大130%増加させることが示された。
  論文  参考訳（メタデータ） (2024-04-05T02:27:09Z)
• Improving Attributed Text Generation of Large Language Models via Preference Learning [28.09715554543885]
  属性タスクを選好学習としてモデル化し,自動選好最適化フレームワークを導入する。 APOは、回答品質の高い最先端の引用F1を達成する。
  論文  参考訳（メタデータ） (2024-03-27T09:19:13Z)
• Effective Large Language Model Adaptation for Improved Grounding and Citation Generation [48.07830615309543]
  本稿では,検索した文の応答を基底にして,引用を提供することにより,大規模言語モデル(LLM)の改善に焦点を当てる。 我々は、全体論的観点から基盤を改善する新しいフレームワーク AGREE を提案する。 我々のフレームワークは, LLMを調整し, その要求を自己評価し, 検索した文書に正確な引用を提供する。
  論文  参考訳（メタデータ） (2023-11-16T03:22:25Z)
• Controllable Citation Sentence Generation with Language Models [11.186252009101077]
  本稿では,テキストのコンテキスト,参照された論文のコンテキスト,および所望の制御属性を構造化テンプレートに統合し,次世代の予測を通じて言語モデル(LM)を微調整する手法を提案する。 提案したワークフローは、引用属性の提案と条件付き引用生成を1つのLMに調和して組み合わせ、より良いユーザ制御を実現する。
  論文  参考訳（メタデータ） (2022-11-14T01:54:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。