論文の概要: From Parameters to Prompts: Understanding and Mitigating the Factuality Gap between Fine-Tuned LLMs

• arxiv url: http://arxiv.org/abs/2505.23410v1
• Date: Thu, 29 May 2025 12:59:30 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-30 18:14:07.857025
• Title: From Parameters to Prompts: Understanding and Mitigating the Factuality Gap between Fine-Tuned LLMs
• Title（参考訳）: パラメータからプロンプトへ:微調整LDM間のファクチュアリティギャップの理解と緩和
• Authors: Xuan Gong, Hanbo Huang, Shiyu Liang,
• Abstract要約: 未知の知識と未知の知識を微調整する際に生じる事実のギャップについて検討する。 我々の結果は、微調整データとテストタイムプロンプトの相互作用に光を当てた。
• 参考スコア（独自算出の注目度）: 4.447729258258283
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Factual knowledge extraction aims to explicitly extract knowledge parameterized in pre-trained language models for application in downstream tasks. While prior work has been investigating the impact of supervised fine-tuning data on the factuality of large language models (LLMs), its mechanism remains poorly understood. We revisit this impact through systematic experiments, with a particular focus on the factuality gap that arises when fine-tuning on known versus unknown knowledge. Our findings show that this gap can be mitigated at the inference stage, either under out-of-distribution (OOD) settings or by using appropriate in-context learning (ICL) prompts (i.e., few-shot learning and Chain of Thought (CoT)). We prove this phenomenon theoretically from the perspective of knowledge graphs, showing that the test-time prompt may diminish or even overshadow the impact of fine-tuning data and play a dominant role in knowledge extraction. Ultimately, our results shed light on the interaction between finetuning data and test-time prompt, demonstrating that ICL can effectively compensate for shortcomings in fine-tuning data, and highlighting the need to reconsider the use of ICL prompting as a means to evaluate the effectiveness of fine-tuning data selection methods.
• Abstract（参考訳）: Factual knowledge extractは、下流タスクに適用するための事前訓練された言語モデルでパラメータ化された知識を明示的に抽出することを目的としている。 従来の研究は、教師付き微調整データが大規模言語モデル(LLM)の事実性に与える影響を調査してきたが、そのメカニズムはいまだに理解されていない。 我々は、この影響を体系的な実験を通して再考し、既知の知識と未知の知識を微調整する際に生じる事実差に特に焦点をあてる。 その結果,このギャップは,アウト・オブ・ディストリビューション(OOD)設定下,あるいは適切なイン・コンテクスト・ラーニング(ICL)プロンプト(小ショット・ラーニング)と思考の連鎖(CoT)を用いて,推論段階で緩和できることがわかった。 この現象を知識グラフの観点から理論的に証明し、テストタイムプロンプトが微調整データの影響を減らしたり、覆したりし、知識抽出において支配的な役割を果たすことを示した。 最終的に、我々は、微調整データとテストタイムプロンプトの相互作用に光を当て、微調整データの欠点をICLが効果的に補償できることを示し、微調整データ選択方法の有効性を評価する手段としてICLプロンプトの使用を再考する必要性を強調した。

関連論文リスト

• UIPE: Enhancing LLM Unlearning by Removing Knowledge Related to Forgetting Targets [41.0340052199534]
  大規模言語モデル(LLM)は、大規模なデータセットのトレーニング中に必然的に有害な情報を取得する。 既存のアンラーニング手法は、非ラーニングの有効性に論理的関連知識が与える決定的な影響を克服しつつ、対象データを忘れることに重点を置いている。 本研究では,忘れる対象と高い相関性を持つ知識を除去するUIPE(Unlearning Improvement via Extrapolation)を提案する。
  論文  参考訳（メタデータ） (2025-03-06T18:40:00Z)
• Curriculum-style Data Augmentation for LLM-based Metaphor Detection [7.4594050203808395]
  オープンソースLLMの微調整によるメタファ検出手法を提案する。 本手法は,すべてのベースラインにおける最先端性能を実現する。
  論文  参考訳（メタデータ） (2024-12-04T02:05:21Z)
• On the Loss of Context-awareness in General Instruction Fine-tuning [101.03941308894191]
  教師付き微調整後の文脈認識の喪失について検討した。 性能低下は,会話指導の微調整中に学んだ異なる役割に対する偏見と関連していることがわかった。 一般命令微調整データセットから文脈依存例を識別する指標を提案する。
  論文  参考訳（メタデータ） (2024-11-05T00:16:01Z)
• C-ICL: Contrastive In-context Learning for Information Extraction [54.39470114243744]
  c-ICLは、正しいサンプル構築と間違ったサンプル構築の両方を活用して、コンテキスト内学習のデモを作成する、新しい数ショット技術である。 各種データセットに対する実験により,c-ICLは従来の数発のインコンテキスト学習法よりも優れていたことが示唆された。
  論文  参考訳（メタデータ） (2024-02-17T11:28:08Z)
• Knowledge Verification to Nip Hallucination in the Bud [69.79051730580014]
  本研究では、アライメントデータに存在する外部知識と基礎LPM内に埋め込まれた固有の知識との矛盾を検証し、最小化することにより、幻覚を緩和する可能性を示す。 本稿では,知識一貫性アライメント(KCA, Knowledge Consistent Alignment)と呼ばれる新しい手法を提案する。 6つのベンチマークで幻覚を減らし, バックボーンとスケールの異なる基礎的LCMを利用することで, KCAの優れた効果を実証した。
  論文  参考訳（メタデータ） (2024-01-19T15:39:49Z)
• Provably Efficient Causal Reinforcement Learning with Confounded Observational Data [135.64775986546505]
  オフラインで収集されたデータセット(観測データ)を組み込んで、オンライン環境でのサンプル効率を改善する方法について検討する。 提案手法は,観測データを効率よく組み込んだ,分解された楽観的値反復 (DOVI) アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-06-22T14:49:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。