論文の概要: Effective LLM Knowledge Learning via Model Generalization

• arxiv url: http://arxiv.org/abs/2503.03705v1
• Date: Wed, 05 Mar 2025 17:56:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-06 15:53:28.627509
• Title: Effective LLM Knowledge Learning via Model Generalization
• Title（参考訳）: モデル一般化による効果的なLLM知識学習
• Authors: Mingkang Zhu, Xi Chen, Zhongdao Wang, Bei Yu, Hengshuang Zhao, Jiaya Jia,
• Abstract要約: 大規模言語モデル(LLM)は、広範囲な世界知識を含む膨大なドキュメントに基づいて訓練されている。 自己回帰的な事前学習を通じて知識がどのように獲得されるかは、まだよく理解されていない。 本稿では,LLM知識学習の理解と改善に焦点をあてる。
• 参考スコア（独自算出の注目度）: 73.16975077770765
• License:
• Abstract: Large language models (LLMs) are trained on enormous documents that contain extensive world knowledge. However, it is still not well-understood how knowledge is acquired via autoregressive pre-training. This lack of understanding greatly hinders effective knowledge learning, especially for continued pretraining on up-to-date information, as this evolving information often lacks diverse repetitions like foundational knowledge. In this paper, we focus on understanding and improving LLM knowledge learning. We found and verified that knowledge learning for LLMs can be deemed as an implicit supervised task hidden in the autoregressive pre-training objective. Our findings suggest that knowledge learning for LLMs would benefit from methods designed to improve generalization ability for supervised tasks. Based on our analysis, we propose the formatting-based data augmentation to grow in-distribution samples, which does not present the risk of altering the facts embedded in documents as text paraphrasing. We also introduce sharpness-aware minimization as an effective optimization algorithm to better improve generalization. Moreover, our analysis and method can be readily extended to instruction tuning. Extensive experiment results validate our findings and demonstrate our methods' effectiveness in both continued pre-training and instruction tuning. This paper offers new perspectives and insights to interpret and design effective strategies for LLM knowledge learning.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、広範囲な世界知識を含む膨大なドキュメントに基づいて訓練されている。 しかし、自己回帰的な事前学習を通じて知識がどのように獲得されるかは、まだよく理解されていない。 この理解の欠如は効果的な知識学習を著しく妨げ、特に最新の情報に対する事前訓練の継続を妨げている。 本稿では,LLM知識学習の理解と改善に焦点をあてる。 我々は,LLMの知識学習が自己回帰事前学習対象に隠された暗黙の指導課題であると考えられることを発見し,検証した。 この結果から,LLMの知識学習は,教師付きタスクの一般化能力を向上させる手法の恩恵を受けることが示唆された。 そこで本研究では,文書に埋め込まれた事実をテキストパラフレーズとして変更するリスクを生じさせない,分散サンプルを成長させるフォーマッティングに基づくデータ拡張を提案する。 また、最適化アルゴリズムとしてシャープネスを意識した最小化を導入し、一般化を改善する。 さらに,解析手法や手法を手軽に指導訓練に拡張することができる。 総合的な実験結果から得られた知見を検証し,継続した事前学習と指導訓練における手法の有効性を実証した。 本稿では,LLM知識学習のための効果的な戦略を解釈し,設計するための新たな視点と洞察を提供する。

関連論文リスト

• Refine Knowledge of Large Language Models via Adaptive Contrastive Learning [54.61213933999464]
  方法の主流は、大規模言語モデルの知識表現を最適化することで幻覚を減らすことである。 知識を精錬するモデルのプロセスは、人間の学習方法から大きな恩恵を受けることができると私たちは信じています。 人間の学習過程を模倣することで,適応的コントラスト学習戦略を設計する。
  論文  参考訳（メタデータ） (2025-02-11T02:19:13Z)
• Learning Beyond the Surface: How Far Can Continual Pre-Training with LoRA Enhance LLMs' Domain-Specific Insight Learning? [4.390998479503661]
  大規模言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示している。 しかし、ドメイン固有のデータセットからより深い洞察を抽出し、内部化する能力は、まだ探索されていない。 本研究は, インサイトラーニングにおけるLCMの能力を高めるために, 連続的事前学習がいかに有効かを検討する。
  論文  参考訳（メタデータ） (2025-01-29T18:40:32Z)
• KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning [74.21524111840652]
  本稿では、textitKnowledge-aligned Language Modeling アプローチである textbfKaLM を提案する。 明示的な知識アライメントと暗黙的な知識アライメントという共同目的を通じて、KG知識と整合するように、自己回帰的な大規模言語モデルを微調整する。 特に,本手法は知識駆動型タスクの評価において顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-12-06T11:08:24Z)
• Self-Tuning: Instructing LLMs to Effectively Acquire New Knowledge through Self-Teaching [67.11497198002165]
  大規模言語モデル(LLM)は最新の情報の提供に苦慮することが多い。 既存のアプローチは、通常、新しいドキュメントのトレーニングを継続する。 効率的なヒューマンラーニングにおけるFeynman Techniqueの成功に感銘を受けて、セルフチューニングを紹介した。
  論文  参考訳（メタデータ） (2024-06-10T14:42:20Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Distilling Rule-based Knowledge into Large Language Models [90.7765003679106]
  私たちは、人間がルールから学習することで、新しいタスクや知識を別の方法で学習できることにインスピレーションを受けています。 まず, LLMの強い文脈内能力を用いて, テキスト規則から知識を抽出する規則蒸留法を提案する。 実験の結果, LLMをルールから学習させることは, サンプルサイズと一般化能力の両方において, サンプルベース学習よりもはるかに効率的であることがわかった。
  論文  参考訳（メタデータ） (2023-11-15T11:42:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。