論文の概要: SPA: A Simple but Tough-to-Beat Baseline for Knowledge Injection

• arxiv url: http://arxiv.org/abs/2603.22213v1
• Date: Mon, 23 Mar 2026 17:11:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-24 19:11:39.805447
• Title: SPA: A Simple but Tough-to-Beat Baseline for Knowledge Injection
• Title（参考訳）: SPA:ナレッジインジェクションのためのシンプルだがトウ・トゥ・ビートベースライン
• Authors: Kexian Tang, Jiani Wang, Shaowen Wang, Kaifeng Lyu,
• Abstract要約: SPA(Scaling Prompt-Engineered Augmentation, SPA)は,少ない設計のプロンプトを用いて知識注入のための大規模合成データを生成する,シンプルだが強靭なベースラインである。 以上の結果から,知識注入においては,手軽な大規模拡張を併用した慎重なプロンプト設計が驚くほど効果的であることが示唆された。
• 参考スコア（独自算出の注目度）: 12.779350533173373
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While large language models (LLMs) are pretrained on massive amounts of data, their knowledge coverage remains incomplete in specialized, data-scarce domains, motivating extensive efforts to study synthetic data generation for knowledge injection. We propose SPA (Scaling Prompt-engineered Augmentation), a simple but tough-to-beat baseline that uses a small set of carefully designed prompts to generate large-scale synthetic data for knowledge injection. Through systematic comparisons, we find that SPA outperforms several strong baselines. Furthermore, we identify two key limitations of prior approaches: (1) while RL-based methods may improve the token efficiency of LLM-based data augmentation at small scale, they suffer from diversity collapse as data scales, leading to diminishing returns; and (2) while multi-stage prompting may outperform simple augmentation methods, their advantages can disappear after careful prompt tuning. Our results suggest that, for knowledge injection, careful prompt design combined with straightforward large-scale augmentation can be surprisingly effective, and we hope SPA can serve as a strong baseline for future studies in this area. Our code is available at https://github.com/Tangkexian/SPA.
• Abstract（参考訳）: 大規模言語モデル(LLM)は大量のデータに基づいて事前訓練されているが、その知識カバレッジは、専門的なデータ共有ドメインでは不完全なままであり、知識注入のための合成データ生成の研究に多大な努力を払っている。 SPA(Scaling Prompt-Engineered Augmentation, SPA)は,少ない設計のプロンプトを用いて知識注入のための大規模合成データを生成する,シンプルだが強靭なベースラインである。 体系的な比較により、SPAはいくつかの強いベースラインより優れていることが分かる。 さらに, 従来のアプローチの2つの重要な限界を同定する: 1) LLベースの手法は, LLMベースのデータ拡張のトークン効率を小スケールで向上するが, データのスケールが大きくなるにつれて多様性が崩壊し, リターンが低下する; 2) マルチステージプロンプトは単純な拡張手法より優れているが, その利点は注意深い即時チューニングの後に消えてしまう。 以上の結果から, 知識注入においては, 簡便な大規模拡張を併用した慎重なプロンプト設計が驚くほど有効であり, SPAが今後の研究の基盤となることを期待できる。 私たちのコードはhttps://github.com/Tangkexian/SPAで公開されています。

関連論文リスト

• Comparing Knowledge Injection Methods for LLMs in a Low-Resource Regime [13.230760040927496]
  大規模言語モデルに小さな非構造化情報を注入する作業について検討する。 制限されたデータに対する事前トレーニングを継続するだけで、控えめな改善が得られます。 私たちは、小さなデータ体制における忘れる現象に光を当て、新しいコンテンツ学習と既存の能力維持の微妙なバランスを図った。
  論文  参考訳（メタデータ） (2025-08-08T09:48:32Z)
• A Study of Data Augmentation Techniques to Overcome Data Scarcity in Wound Classification using Deep Learning [0.0]
  データ拡張により、最先端モデル上での分類性能、F1スコアが最大11%向上することを示す。 GANをベースとした拡張実験により, DE-GANを用いて創傷像をよりリッチに生成できることが証明された。
  論文  参考訳（メタデータ） (2024-11-04T00:24:50Z)
• Latent Paraphrasing: Perturbation on Layers Improves Knowledge Injection in Language Models [54.385486006684495]
  LaPaelは、初期大規模言語モデル層に入力依存ノイズを適用する潜在レベルパラフレーズ法である。 質問応答ベンチマーク実験により、LaPaelは、標準的な微調整および既存のノイズベースアプローチよりも知識注入を改善することを示した。
  論文  参考訳（メタデータ） (2024-11-01T15:47:05Z)
• Can We Break Free from Strong Data Augmentations in Self-Supervised Learning? [18.83003310612038]
  ディープニューラルネットワーク(DNN)における限定ラベル付きデータの課題に対処するための、有望なソリューションとして、自己教師付き学習(SSL)が登場した。 SSLモデルのパフォーマンスと学習メカニズムを形作る上で,SSLの動作が重要な役割を担っていることを明らかにする。 本稿では,事前知識を統合した新しい学習手法を提案する。
  論文  参考訳（メタデータ） (2024-04-15T12:53:48Z)
• Boosting Semi-Supervised 2D Human Pose Estimation by Revisiting Data Augmentation and Consistency Training [54.074020740827855]
  SSHPEは、高度なデータ拡張と簡潔な一貫性のトレーニング方法という、2つのコアから強化できることがわかった。 このシンプルでコンパクトな設計は解釈可能であり、新しく発見された拡張の恩恵を受けやすい。 本研究は,従来の人体画像,魚眼画像,人手画像に対するアプローチの優位性と汎用性を広く検証する。
  論文  参考訳（メタデータ） (2024-02-18T12:27:59Z)
• To Repeat or Not To Repeat: Insights from Scaling LLM under Token-Crisis [50.31589712761807]
  大規模言語モデル(LLM)は、事前トレーニング中にトークンに悩まされていることで知られており、Web上の高品質なテキストデータは、LSMのスケーリング制限に近づいている。 本研究では,事前学習データの再学習の結果について検討し,モデルが過度に適合する可能性が示唆された。 第2に, マルチエポック劣化の原因となる要因について検討し, データセットのサイズ, モデルパラメータ, トレーニング目標など, 重要な要因について検討した。
  論文  参考訳（メタデータ） (2023-05-22T17:02:15Z)
• Collaborative Intelligence Orchestration: Inconsistency-Based Fusion of Semi-Supervised Learning and Active Learning [60.26659373318915]
  アクティブラーニング(AL)と半教師付きラーニング(SSL)は2つの効果があるが、しばしば孤立している。 本稿では、SSL-ALの潜在的な優位性をさらに調査するために、革新的な一貫性に基づく仮想aDvErialアルゴリズムを提案する。 2つの実世界のケーススタディは、提案したデータサンプリングアルゴリズムの適用と展開の実践的な産業価値を可視化する。
  論文  参考訳（メタデータ） (2022-06-07T13:28:43Z)
• Semi-Supervised Off Policy Reinforcement Learning [3.48396189165489]
  健康状態の情報はよくコード化されておらず、臨床記録に埋め込まれることが多い。 そこで本研究では,実測結果を持つ小さなラベル付きデータを効率よく活用する半教師付き学習(SSL)手法と,結果サロゲートを持つ大規模ラベル付きデータを提案する。 提案手法は,少なくとも教師付きアプローチと同じくらい効率的であり,またインプテーションモデルの誤特定にも頑健である。
  論文  参考訳（メタデータ） (2020-12-09T00:59:12Z)
• Uncovering the structure of clinical EEG signals with self-supervised learning [64.4754948595556]
  教師付き学習パラダイムは、しばしば利用可能なラベル付きデータの量によって制限される。 この現象は脳波(EEG)などの臨床関連データに特に問題となる。 ラベルのないデータから情報を抽出することで、ディープニューラルネットワークとの競合性能に到達することができるかもしれない。
  論文  参考訳（メタデータ） (2020-07-31T14:34:47Z)
• Can We Achieve More with Less? Exploring Data Augmentation for Toxic Comment Classification [0.0]
  本稿では、機械学習における最大の制限の一つに対処する。 我々は、データ拡張技術と機械学習アルゴリズムの組み合わせを利用して、小さなデータセットから高い精度の分類器を構築することができるかどうかを考察する。
  論文  参考訳（メタデータ） (2020-07-02T04:43:31Z)
• Adversarial Feature Hallucination Networks for Few-Shot Learning [84.31660118264514]
  Adversarial Feature Hallucination Networks (AFHN) は条件付き Wasserstein Generative Adversarial Network (cWGAN) に基づいている。 合成された特徴の識別性と多様性を促進するために、2つの新規レギュレータがAFHNに組み込まれている。
  論文  参考訳（メタデータ） (2020-03-30T02:43:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。