論文の概要: Plug-in and Fine-tuning: Bridging the Gap between Small Language Models and Large Language Models

• arxiv url: http://arxiv.org/abs/2506.07424v1
• Date: Mon, 09 Jun 2025 04:45:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-10 16:33:10.807394
• Title: Plug-in and Fine-tuning: Bridging the Gap between Small Language Models and Large Language Models
• Title（参考訳）: プラグインと微調整:小言語モデルと大言語モデルの間のギャップを埋める
• Authors: Kyeonghyun Kim, Jinhee Jang, Juhwan Choi, Yoonji Lee, Kyohoon Jin, YoungBin Kim,
• Abstract要約: 大規模言語モデル(LLM)は、その広範な言語知識と強力な一般化能力で有名である。 小型言語モデル (SLM) は計算効率が高いが、LLMの広範な一般化能力に欠けることが多い。 我々は,LLMとSLMの長所を組み合わせ,高い性能を実現する新しいフレームワークであるPiFiを提案する。
• 参考スコア（独自算出の注目度）: 9.50875832714468
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models (LLMs) are renowned for their extensive linguistic knowledge and strong generalization capabilities, but their high computational demands make them unsuitable for resource-constrained environments. In contrast, small language models (SLMs) are computationally efficient but often lack the broad generalization capacity of LLMs. To bridge this gap, we propose PiFi, a novel framework that combines the strengths of both LLMs and SLMs to achieve high performance while maintaining efficiency. PiFi integrates a single frozen layer from an LLM into a SLM and fine-tunes the combined model for specific tasks, boosting performance without a significant increase in computational cost. We show that PiFi delivers consistent performance improvements across a range of natural language processing tasks, including both natural language understanding and generation. Moreover, our findings demonstrate PiFi's ability to effectively leverage LLM knowledge, enhancing generalization to unseen domains and facilitating the transfer of linguistic abilities.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、言語知識と強力な一般化能力で有名であるが、その高い計算要求により、資源に制約のある環境には適さない。 対照的に、小型言語モデル(SLM)は計算効率が良いが、LLMの広範な一般化能力に欠けることが多い。 このギャップを埋めるために,LLMとSLMの長所を組み合わせ,効率を保ちながら高い性能を実現する新しいフレームワークPiFiを提案する。 PiFiは、LCMからSLMへ単一の凍結層を統合し、特定のタスクのための組み合わせモデルを微調整し、計算コストを大幅に増加させることなく性能を向上する。 自然言語理解と生成の両方を含む,さまざまな自然言語処理タスクに対して,PiFiが一貫したパフォーマンス向上を実現していることを示す。 さらに,本研究は,LLM知識を効果的に活用し,未確認領域への一般化を促進し,言語能力の伝達を容易にするPiFiの能力を実証した。

関連論文リスト

• Enhancing Code Generation for Low-Resource Languages: No Silver Bullet [55.39571645315926]
  大規模言語モデル(LLM)は、プログラミング言語の構文、意味論、使用パターンを学ぶために、大規模で多様なデータセットに依存している。 低リソース言語では、そのようなデータの限られた可用性は、モデルを効果的に一般化する能力を損なう。 本稿では,低リソース言語におけるLLMの性能向上のためのいくつかの手法の有効性を実証研究する。
  論文  参考訳（メタデータ） (2025-01-31T12:23:28Z)
• LLM2CLIP: Powerful Language Model Unlocks Richer Visual Representation [72.02635550088546]
  この研究は、大規模言語モデル(LLM)がCLIPの機能をどのように強化するか、特により長く複雑なイメージキャプションを処理するために検討する。 キャプション・トゥ・キャプション・トゥ・キャプション・トゥ・コントラスト・ファインチューニング・フレームワークを導入し,LLM出力の識別品質を大幅に向上させた。 提案手法はLoRA法よりも優れ,より優れた性能で4倍近い高速トレーニングを実現している。
  論文  参考訳（メタデータ） (2024-11-07T18:59:16Z)
• Improving In-Context Learning with Small Language Model Ensembles [2.3499129784547654]
  In-context Learning (ICL) は安価で効率的な代替手段であるが、高度な手法の精度と一致しない。 本稿では,複数の微調整小言語モデル(SLM)の専門知識を活用することでICLを強化する新しいアプローチであるEnsemble SuperICLを提案する。
  論文  参考訳（メタデータ） (2024-10-29T09:02:37Z)
• Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
  大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。 自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。 本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
  論文  参考訳（メタデータ） (2023-12-26T07:24:46Z)
• Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
  大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。 それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。 本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-08T15:05:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。