論文の概要: Teaching Large Language Models to Maintain Contextual Faithfulness via Synthetic Tasks and Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2505.16483v1
• Date: Thu, 22 May 2025 10:10:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-23 17:12:48.217299
• Title: Teaching Large Language Models to Maintain Contextual Faithfulness via Synthetic Tasks and Reinforcement Learning
• Title（参考訳）: 大規模言語モデルによる合成課題と強化学習による文脈的信条の維持指導
• Authors: Shuzheng Si, Haozhe Zhao, Cheng Gao, Yuzhuo Bai, Zhitong Wang, Bofei Gao, Kangyang Luo, Wenhao Li, Yufei Huang, Gang Chen, Fanchao Qi, Minjia Zhang, Baobao Chang, Maosong Sun,
• Abstract要約: 本研究では,人間のアノテーションを使わずに,大規模言語モデル(LLM)の短文および長文生成タスクにおける忠実度を改善するための体系的フレームワークであるCANOEを提案する。 また,ルールに基づく強化学習手法であるDual-GRPOを提案する。 実験結果から,CANOEは11の下流タスクにまたがるLLMの忠実度を大幅に向上し,最も先進的なLLMよりも優れていた。
• 参考スコア（独自算出の注目度）: 80.27561080938747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Teaching large language models (LLMs) to be faithful in the provided context is crucial for building reliable information-seeking systems. Therefore, we propose a systematic framework, CANOE, to improve the faithfulness of LLMs in both short-form and long-form generation tasks without human annotations. Specifically, we first synthesize short-form question-answering (QA) data with four diverse tasks to construct high-quality and easily verifiable training data without human annotation. Also, we propose Dual-GRPO, a rule-based reinforcement learning method that includes three tailored rule-based rewards derived from synthesized short-form QA data, while simultaneously optimizing both short-form and long-form response generation. Notably, Dual-GRPO eliminates the need to manually label preference data to train reward models and avoids over-optimizing short-form generation when relying only on the synthesized short-form QA data. Experimental results show that CANOE greatly improves the faithfulness of LLMs across 11 different downstream tasks, even outperforming the most advanced LLMs, e.g., GPT-4o and OpenAI o1.
• Abstract（参考訳）: 大規模言語モデル(LLM)が提供されたコンテキストに忠実であることを教えることは、信頼できる情報検索システムを構築する上で重要である。 そこで本研究では,人間のアノテーションを使わずに,短文および長文の生成タスクにおけるLLMの忠実度を改善するための体系的枠組みであるCANOEを提案する。 具体的には、まず4つのタスクで短い形式の質問応答(QA)データを合成し、人間のアノテーションを使わずに高品質で容易に検証可能なトレーニングデータを構築する。 また,ルールに基づく強化学習手法であるDual-GRPOを提案する。この手法は,合成したショートフォームQAデータから得られる3つのルールベースの報酬を含むとともに,ショートフォームとロングフォームの両方の応答生成を同時に最適化する。 特に、Dual-GRPOは、報酬モデルをトレーニングするために好みデータを手動でラベル付けする必要をなくし、合成したショートフォームQAデータのみに依存する場合、過度に最適化されたショートフォーム生成を避ける。 実験結果から,CANOEは11の下流タスクにまたがるLLMの忠実度を大幅に向上し,さらに,GPT-4o,OpenAI o1などの先進LLMよりも優れていた。

関連論文リスト

• Rethinking Data Synthesis: A Teacher Model Training Recipe with Interpretation [12.736045604858738]
  大規模言語モデル(LLM)訓練の最近の進歩は、多種多様な高品質な命令データの必要性を強調している。 データ生成のためのモデルを具体的に訓練する方法を検討することにより、 textbfNOMAD というパラダイムシフトを提案する。
  論文  参考訳（メタデータ） (2024-10-27T07:38:39Z)
• Self-Boosting Large Language Models with Synthetic Preference Data [97.94185115047999]
  モデルアライメントのための合成選好データを活用する自己ブースティングパラダイムであるSynPOを紹介する。 4回のSynPOイテレーションの後、Llama3-8BとMistral-7Bは命令追従能力を大幅に強化した。 SynPO は様々なタスクにおける LLM の一般的な性能を改善し、よく認識された Open LLM のリーダーボード上で平均スコアが 3.2 から 5.0 に向上した。
  論文  参考訳（メタデータ） (2024-10-09T14:57:31Z)
• Improving Retrieval Augmented Language Model with Self-Reasoning [20.715106330314605]
  本稿では,ALMの信頼性とトレーサビリティ向上を目的とした,新たな自己推論フレームワークを提案する。 このフレームワークは、関連性を認識したプロセス、エビデンスを認識した選択プロセス、軌跡解析プロセスの3つのプロセスで自己推論軌道を構築することを含む。 提案手法の優位性を示すため,4つの公開データセットにまたがるフレームワークの評価を行った。
  論文  参考訳（メタデータ） (2024-07-29T09:05:10Z)
• Instructed Language Models with Retrievers Are Powerful Entity Linkers [87.16283281290053]
  Instructed Generative Entity Linker (INSGENEL)は、カジュアル言語モデルが知識ベース上でエンティティリンクを実行することを可能にする最初のアプローチである。 INSGENEL は、+6.8 F1 点が平均的に上昇する以前の生成的代替よりも優れていた。
  論文  参考訳（メタデータ） (2023-11-06T16:38:51Z)
• Enabling Language Models to Implicitly Learn Self-Improvement [49.16868302881804]
  大規模言語モデル(LLM)は、オープンエンドテキスト生成タスクにおいて顕著な機能を示した。 我々は、人間の嗜好データから改善目標を暗黙的に学習するImPlicit Self-ImprovemenT(PIT)フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-02T04:29:40Z)
• Principle-Driven Self-Alignment of Language Models from Scratch with Minimal Human Supervision [84.31474052176343]
  ChatGPTのような最近のAIアシスタントエージェントは、人間のアノテーションと人間のフィードバックからの強化学習を教師付き微調整(SFT)に頼り、アウトプットを人間の意図に合わせる。 この依存は、人間の監督を得るために高いコストがかかるため、AIアシスタントエージェントの真の可能性を大幅に制限することができる。 本稿では,AIエージェントの自己調整と人間監督の最小化のために,原則駆動推論とLLMの生成能力を組み合わせたSELF-ALIGNという新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2023-05-04T17:59:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。