論文の概要: KItCAT: Knowledge Injection via Input Corruption for Auto-regressive Training

• arxiv url: http://arxiv.org/abs/2609.00082v1
• Date: Mon, 31 Aug 2026 10:30:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:35.859073
• Title: KItCAT: Knowledge Injection via Input Corruption for Auto-regressive Training
• Title（参考訳）: KItCAT: 自己回帰訓練のための入力破壊による知識注入
• Abstract要約: KItCAT: Corrupted Auto-Regressive Trainingによる知識注入について紹介する。 KItCATは、複数のデータセットとモデルファミリをまたいだCPTよりも一貫して改善されていることを示す。
• 参考スコア（独自算出の注目度）: 16.103098412990374
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs acquire vast amounts of knowledge during pre-training, but often lack the specialized knowledge needed to answer questions from niche sources such as manuals or technical documents unseen during pre-training. Continued pre-training (CPT) is widely used to inject such knowledge into model parameters. However, niche documents seldom repeat facts, making it difficult for CPT to robustly acquire such knowledge. Recent works address this by generating multiple paraphrases of the new knowledge, but paraphrasing is computationally expensive and typically requires powerful LLMs. In this work, we introduce KItCAT: Knowledge Injection via Corrupted Auto-regressive Training, a lightweight training strategy that reduces the need for paraphrasing in decoder-only LLMs. KItCAT augments standard next-token prediction by stochastically corrupting the input sequence. During training, a random subset of input tokens is replaced with other vocabulary tokens while the original next-token labels are kept unchanged. This simple intervention generates diverse training inputs from each sample, enabling large-scale data augmentation at negligible cost. We show that KItCAT consistently improves over CPT across multiple datasets and model families. Code is available at https://github.com/meghanadhpulivarthi/KItCAT.
• Abstract（参考訳）: LLMは予習中に大量の知識を取得するが、予習中に見つからないマニュアルや技術文書のようなニッチな情報源からの質問に答えるために必要な専門知識を欠くことが多い。 継続事前学習(CPT)はモデルパラメータにそのような知識を注入するために広く用いられている。 しかし、ニッチな文書が事実を繰り返すことは滅多になく、CPTがそのような知識をしっかりと取得することは困難である。 最近の研究は、新しい知識の複数のパラフレーズを生成することでこの問題に対処しているが、パラフレーズ化は計算コストが高く、典型的には強力なLLMを必要とする。 本研究は,デコーダのみのLLMにおけるパラフレーズ化の必要性を低減する軽量なトレーニング戦略であるKItCAT: Knowledge Injection via Corrupted Auto-Regressive Trainingを紹介する。 KItCATは入力シーケンスを確率的に劣化させることで、標準の次トーケン予測を強化する。 トレーニング中、入力トークンのランダムなサブセットが他の語彙トークンに置き換えられ、元の次のトークンラベルは変更されない。 この簡単な介入は各サンプルから多様なトレーニングインプットを生成し、無視できるコストで大規模なデータ拡張を可能にする。 KItCATは、複数のデータセットとモデルファミリをまたいだCPTよりも一貫して改善されていることを示す。 コードはhttps://github.com/meghanadhpulivarthi/KItCATで公開されている。

関連論文リスト

• Enhancing Knowledge Tracing through Leakage-Free and Recency-Aware Embeddings [0.0]
  知識追跡(KT)は、学習コンテンツとのインタラクションのシーケンスに基づいて、学生の将来のパフォーマンスを予測することを目的としている。 いくつかのKTモデルはラベルの漏洩に対して脆弱であり、入力データが不注意に正しい答えを明らかにする。 本研究では,入力埋込み工法において,接地トラスラベルをマスキングすることで,ラベルの漏洩を防止する方法を提案する。
  論文  参考訳（メタデータ） (2025-08-23T17:13:25Z)
• CaKE: Circuit-aware Editing Enables Generalizable Knowledge Learners [109.87058236007907]
  CaKE(Circuit-aware Knowledge Editing)は、大規模言語モデルにおける知識の効果的な統合を強化する新しい手法である。 実験により、CaKEは関連する推論タスク間の編集された知識をより正確かつ一貫した使用を可能にすることが示された。
  論文  参考訳（メタデータ） (2025-03-20T17:14:34Z)
• Context-aware Prompt Tuning: Advancing In-Context Learning with Adversarial Methods [69.36397993451742]
  In this work introduced Context-aware Prompt Tuning (CPT) - ICL, PT, and adversarial attack。 入力および出力フォーマットのユニークな構造を考慮して、特定のコンテキストトークンを変更する。 敵の攻撃にインスパイアされた我々は、損失を最大化するのではなく、最小化に焦点をあてて、コンテキストに存在するラベルに基づいて入力を調整する。
  論文  参考訳（メタデータ） (2024-10-22T17:45:47Z)
• Leveraging Weakly Annotated Data for Hate Speech Detection in Code-Mixed Hinglish: A Feasibility-Driven Transfer Learning Approach with Large Language Models [0.0]
  混合コード低リソース言語におけるヘイトスピーチ検出は、大規模言語モデルの使用が有益であることが証明された活発な問題領域である。 そこで本研究では,100件のYouTubeコメントのデータセットを作成した。 すべてのアプローチにおいて、双方向自動回帰変換器(BART)を用いたゼロショット分類と、生成事前学習変換器3(ChatGPT-3)を用いた少数ショットプロンプトが最適である。
  論文  参考訳（メタデータ） (2024-03-04T15:27:49Z)
• Physics of Language Models: Part 3.1, Knowledge Storage and Extraction [51.68385617116854]
  大規模言語モデル(LLM)は膨大な量の世界の知識を格納することができ、しばしば質問応答によって抽出できる。 モデルが知識を抽出する能力と,トレーニングデータの多様な多様性尺度との間には,強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-09-25T17:37:20Z)
• Decouple knowledge from parameters for plug-and-play language modeling [77.5601135412186]
  差別化可能なプラグインメモリ(DPM)を備えた事前学習モデルPlugLMを導入する。 鍵となる直感は、編集可能でスケーラブルなキーバリューメモリで、知識ストレージをモデルパラメータから切り離すことである。 PlugLMは4つのドメインで平均3.95のF1改善を実現している。
  論文  参考訳（メタデータ） (2023-05-19T10:01:55Z)
• Distinguishability Calibration to In-Context Learning [31.375797763897104]
  そこで本研究では, PLM符号化埋め込みを新しい距離空間にマッピングすることで, 埋め込みの識別性を保証する手法を提案する。 また、双曲的埋め込みの利点を生かして、粒度の細かいクラス関連トークン埋め込み間の階層的関係を捉える。
  論文  参考訳（メタデータ） (2023-02-13T09:15:00Z)
• KRNet: Towards Efficient Knowledge Replay [50.315451023983805]
  知識再生技術は、継続的な学習や連続的なドメイン適応といった多くのタスクで広く使われている。 本稿では,任意のサンプル識別番号を直接対応するダタムにマッピングする,新規で効率的な知識記録ネットワーク(KRNet)を提案する。 我々のKRNetは、潜在コードに対するストレージコストを著しく削減し、エンコーダのサブネットワークを使わずにトレーニングできる。
  論文  参考訳（メタデータ） (2022-05-23T08:34:17Z)
• Text Classification with Few Examples using Controlled Generalization [58.971750512415134]
  現在の実践は、トレーニング中に見えない単語を、類似した単語とマッピングするために、事前訓練された単語埋め込みに依存している。 私たちの代替案は、未ラベルのパースコーパスから派生したスパース事前訓練された表現から始まります。 これらのベクトル上のフィードフォワードネットワークは、特に低データシナリオにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2020-05-18T06:04:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。