論文の概要: Enhancing LLM Knowledge Learning through Generalization

• arxiv url: http://arxiv.org/abs/2503.03705v2
• Date: Sun, 22 Jun 2025 19:25:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-24 14:54:00.218059
• Title: Enhancing LLM Knowledge Learning through Generalization
• Title（参考訳）: 一般化によるLLM知識学習の強化
• Authors: Mingkang Zhu, Xi Chen, Zhongdao Wang, Bei Yu, Hengshuang Zhao, Jiaya Jia,
• Abstract要約: 我々は,LLMが様々な言い換えの文脈に与えられた同じ事実的知識トークンを継続的に予測する能力は,質問応答によってその知識を抽出する能力と正の相関性を示す。 そこで本稿では,LLMの知識獲得能力を高めるための2つの戦略を提案する。
• 参考スコア（独自算出の注目度）: 73.16975077770765
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: As Large language models (LLMs) are increasingly deployed in diverse applications, faithfully integrating evolving factual knowledge into these models remains a critical challenge. Continued pre-training on paraphrased data has shown empirical promise for enhancing knowledge acquisition. However, this approach is often costly and unreliable, as it relies on external models or manual effort for rewriting, and may inadvertently alter the factual content. In this work, we hypothesize and empirically show that an LLM's ability to continually predict the same factual knowledge tokens given diverse paraphrased contexts is positively correlated with its capacity to extract that knowledge via question-answering. Based on this view and aiming to improve generalization to diverse paraphrased contexts, we introduce two strategies to enhance LLMs' ability to predict the same knowledge tokens given varied contexts, thereby enhancing knowledge acquisition. First, we propose formatting-based data augmentation, which diversifies documents conveying the same knowledge by altering document formats rather than their content, thereby preserving factual integrity. Second, we adopt sharpness-aware minimization as the optimizer to better improve generalization. Extensive experiments demonstrate our methods' effectiveness in both continued pre-training and instruction tuning, and further gains can be achieved by combining with paraphrased data.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、多様なアプリケーションにますますデプロイされているため、これらのモデルに進化する事実的知識を忠実に統合することは、依然として重要な課題である。 パラフレーズ付きデータによる事前学習は,知識獲得の促進を実証的に約束している。 しかし、このアプローチは外部モデルや手作業による書き直しに依存しているため、しばしばコストがかかり信頼性が低い。 本研究では,LLMが様々な言い換えの文脈で同じ事実の知識トークンを継続的に予測する能力が,質問応答によってその知識を抽出する能力と正の相関があることを仮定し,実証的に示す。 この観点から,多種多様な言い換えの文脈への一般化をめざして,異なる文脈に与えられた同じ知識トークンを予測するLLMの能力を高めるための2つの戦略を導入し,知識獲得を促進する。 まず,コンテントではなく文書フォーマットを変更することで,同じ知識を伝達する文書を多様化し,事実の整合性を維持するフォーマットベースのデータ拡張を提案する。 第二に、最適化器としてシャープネス対応の最小化を採用し、一般化を改善する。 大規模実験により, 継続した事前学習と指導訓練における手法の有効性が実証され, パラフレーズデータと組み合わせることで, さらなる成果が得られた。

関連論文リスト

• Teaching LLMs How to Learn with Contextual Fine-Tuning [9.26781270726841]
  我々は、文脈微調整(contextual fine-tuning)と呼ばれる命令チューニングの新しい一般化について研究する。 我々は、このシンプルで効果的な修正によって、新しいデータセット上で高速に微調整できるLLMの能力が向上することが実証的に実証された。
  論文  参考訳（メタデータ） (2025-03-12T03:45:53Z)
• Refine Knowledge of Large Language Models via Adaptive Contrastive Learning [54.61213933999464]
  方法の主流は、大規模言語モデルの知識表現を最適化することで幻覚を減らすことである。 知識を精錬するモデルのプロセスは、人間の学習方法から大きな恩恵を受けることができると私たちは信じています。 人間の学習過程を模倣することで,適応的コントラスト学習戦略を設計する。
  論文  参考訳（メタデータ） (2025-02-11T02:19:13Z)
• KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning [74.21524111840652]
  本稿では、textitKnowledge-aligned Language Modeling アプローチである textbfKaLM を提案する。 明示的な知識アライメントと暗黙的な知識アライメントという共同目的を通じて、KG知識と整合するように、自己回帰的な大規模言語モデルを微調整する。 特に,本手法は知識駆動型タスクの評価において顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-12-06T11:08:24Z)
• Self-Tuning: Instructing LLMs to Effectively Acquire New Knowledge through Self-Teaching [67.11497198002165]
  大規模言語モデル(LLM)は最新の情報の提供に苦慮することが多い。 既存のアプローチは、通常、新しいドキュメントのトレーニングを継続する。 効率的なヒューマンラーニングにおけるFeynman Techniqueの成功に感銘を受けて、セルフチューニングを紹介した。
  論文  参考訳（メタデータ） (2024-06-10T14:42:20Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Distilling Rule-based Knowledge into Large Language Models [90.7765003679106]
  私たちは、人間がルールから学習することで、新しいタスクや知識を別の方法で学習できることにインスピレーションを受けています。 まず, LLMの強い文脈内能力を用いて, テキスト規則から知識を抽出する規則蒸留法を提案する。 実験の結果, LLMをルールから学習させることは, サンプルサイズと一般化能力の両方において, サンプルベース学習よりもはるかに効率的であることがわかった。
  論文  参考訳（メタデータ） (2023-11-15T11:42:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。