論文の概要: PASTA: A Paraphrasing And Self-Training Approach for Knowledge Updating in LLMs

• arxiv url: http://arxiv.org/abs/2606.28898v1
• Date: Sat, 27 Jun 2026 13:02:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-30 18:07:15.726002
• Title: PASTA: A Paraphrasing And Self-Training Approach for Knowledge Updating in LLMs
• Title（参考訳）: PASTA: LLMにおける知識更新のための言い換えと自己学習アプローチ
• Abstract要約: PASTAは、ニュース記事からの詳細な事実情報を新しい知識として、大規模言語モデルに統合するためのフレームワークである。 我々のフレームワークは、データ強化、質問応答生成、そして新しい自己学習DPOプロセスを組み合わせる。 一般的な言語能力を維持しながら、0.02から0.02の精度で大幅に改善されている。
• 参考スコア（独自算出の注目度）: 11.157564521901634
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Knowledge updating in pre-trained Large Language Models (LLMs) remains an important challenge. While continual training provides a potential avenue for knowledge updating, it continues to present substantial technical difficulties. Furthermore, LLMs often struggle with accurately answering questions about specific factual information, such as news articles - a capability limitation widely recognized in the research community. This paper proposes PASTA, a simple yet powerful framework for integrating detailed factual information from news articles as new knowledge into LLMs, with the primary goal of building specialized models that accurately answer questions about this knowledge. Our framework combines data augmentation, question-answering generation, and a novel self-learning DPO process that simultaneously enables knowledge overwriting and hallucination suppression. We provide insights into effective knowledge updating through systematic analysis of learning parameters and data configurations. In our experimental evaluation with web articles published after the base model's knowledge cutoff, PASTA achieved remarkable improvement from 0.02 to 0.82 accuracy while maintaining general language capabilities, demonstrating its effectiveness for creating domain-specialized LLMs.
• Abstract（参考訳）: LLM(Large Language Models)の知識更新は依然として重要な課題である。 継続的なトレーニングは知識更新のための潜在的な道筋を提供するが、重要な技術的困難を呈し続けている。 さらに、LSMは、研究コミュニティで広く認知されている能力制限であるニュース記事のような、特定の事実情報に関する質問に正確に答えることに苦慮することが多い。 本稿では,ニュース記事からの詳細な事実情報を LLM に組み込むための,シンプルかつ強力なフレームワークである PASTA を提案する。 本フレームワークは,知識オーバーライトと幻覚抑制を同時に実現する,データ強化,質問応答生成,そして新たな自己学習DPOプロセスを組み合わせる。 学習パラメータやデータ構成の体系的な分析を通じて、効果的な知識更新に関する洞察を提供する。 PASTAは,基本モデルの知識遮断後のWeb記事を対象に,汎用言語能力を維持しつつ,0.02から0.82の精度向上を実現し,ドメイン特化LDMの創出の有効性を実証した。

関連論文リスト

• KARLA: Knowledge-base Augmented Retrieval for Language Models [12.509786917611125]
  トークン生成時に,LLMが知識ベースから知識を自動的に抽出する手法を提案する。 すなわち,(1) LLM出力の実際の知識は, LLM出力を再トレーニングすることなく更新可能であり, (2) LLM出力の成果は透明性と説明可能性の知識ベースにトレース可能であり,(3)より小さなモデルでは,より大きなモデルと同じ事実精度が得られる。
  論文  参考訳（メタデータ） (2026-06-25T09:44:40Z)
• Enhancing LLM Knowledge Learning through Generalization [73.16975077770765]
  我々は,LLMが様々な言い換えの文脈に与えられた同じ事実的知識トークンを継続的に予測する能力は,質問応答によってその知識を抽出する能力と正の相関性を示す。 そこで本稿では,LLMの知識獲得能力を高めるための2つの戦略を提案する。
  論文  参考訳（メタデータ） (2025-03-05T17:56:20Z)
• Exploring the Generalizability of Factual Hallucination Mitigation via Enhancing Precise Knowledge Utilization [49.95746521480879]
  PKUE(Precise Knowledge utilization Enhancement, 精密知識利用促進)を導入し, 正確かつ単純な事実質問に対する自己生成応答のモデルを微調整する。 大規模な実験により、PKUEはLLM全体の性能を著しく改善することが示された。
  論文  参考訳（メタデータ） (2025-02-26T13:34:52Z)
• WisdomBot: Tuning Large Language Models with Artificial Intelligence Knowledge [17.74988145184004]
  大規模言語モデル(LLM)は自然言語処理(NLP)の強力なツールとして登場した。 本稿では,LLMの力と教育理論を組み合わせた,WisdomBotという教育用LLMについて述べる。 本稿では,推論中の2つの重要な拡張,すなわち,ローカル知識ベース検索の強化と,推論中の検索エンジン検索の強化を紹介する。
  論文  参考訳（メタデータ） (2025-01-22T13:36:46Z)
• KaLM: Knowledge-aligned Autoregressive Language Modeling via Dual-view Knowledge Graph Contrastive Learning [74.21524111840652]
  本稿では、textitKnowledge-aligned Language Modeling アプローチである textbfKaLM を提案する。 明示的な知識アライメントと暗黙的な知識アライメントという共同目的を通じて、KG知識と整合するように、自己回帰的な大規模言語モデルを微調整する。 特に,本手法は知識駆動型タスクの評価において顕著な性能向上を実現している。
  論文  参考訳（メタデータ） (2024-12-06T11:08:24Z)
• A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
  大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。 本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。 我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
  論文  参考訳（メタデータ） (2024-01-02T16:54:58Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• EpiK-Eval: Evaluation for Language Models as Epistemic Models [16.485951373967502]
  セグメンテッドな物語から一貫した知識表現を定式化する上で,LLMの習熟度を評価するための新しい質問答えベンチマークであるEpiK-Evalを紹介する。 これらの欠点は、一般的な訓練目的の本質的な性質に起因していると論じる。 本研究の成果は,より堅牢で信頼性の高いLCMを開発する上での洞察を与えるものである。
  論文  参考訳（メタデータ） (2023-10-23T21:15:54Z)
• Knowledge Card: Filling LLMs' Knowledge Gaps with Plug-in Specialized Language Models [46.079902719883414]
  我々は,新しい事実と関連する知識を汎用言語モデルにプラグインするモジュール型フレームワークであるKnowledge Cardを提案する。 まず、特定のドメインやソースからコーパスで訓練された特殊な言語モデルであるナレッジカードを紹介します。 次に,知識カードが生成した文書中の情報を動的に選択・保持する3つのコンテンツセレクタを提案する。
  論文  参考訳（メタデータ） (2023-05-17T05:25:27Z)
• Knowledge Rumination for Pre-trained Language Models [77.55888291165462]
  本稿では,学習前の言語モデルが外部コーパスから検索することなく,関連する潜在知識を活用できるようにするための,Knowledge Ruminationと呼ばれる新しいパラダイムを提案する。 本稿では,RoBERTa,DeBERTa,GPT-3などの言語モデルに適用する。
  論文  参考訳（メタデータ） (2023-05-15T15:47:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。