論文の概要: WST: Weak-to-Strong Knowledge Transfer via Reinforcement Learning

• arxiv url: http://arxiv.org/abs/2508.16741v1
• Date: Fri, 22 Aug 2025 18:33:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-26 18:43:45.155444
• Title: WST: Weak-to-Strong Knowledge Transfer via Reinforcement Learning
• Title（参考訳）: WST:強化学習による弱視的知識伝達
• Authors: Haosen Ge, Shuo Li, Lianghuan Huang,
• Abstract要約: Weak-to-Strong Transfer (WST) は、小さな "Teacher" モデルが、はるかに大きな "Student" モデルの性能を高める命令を生成する自動プロンプトエンジニアリングフレームワークである。 強化学習を用いて、教師モデルの指導は、学生モデルの結果に基づいて反復的に改善される。 これらの結果は、より強力な教師が導入する誤解を招くプロンプトを回避しつつ、より大きなモデルを確実に構築し、潜在能力を解放できることを実証している。
• 参考スコア（独自算出の注目度）: 4.795603034052733
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Effective prompt engineering remains a challenging task for many applications. We introduce Weak-to-Strong Transfer (WST), an automatic prompt engineering framework where a small "Teacher" model generates instructions that enhance the performance of a much larger "Student" model. Unlike prior work, WST requires only a weak teacher, making it efficient and broadly applicable in settings where large models are closed-source or difficult to fine-tune. Using reinforcement learning, the Teacher Model's instructions are iteratively improved based on the Student Model's outcomes, yielding substantial gains across reasoning (MATH-500, GSM8K) and alignment (HH-RLHF) benchmarks - 98% on MATH-500 and 134% on HH-RLHF - and surpassing baselines such as GPT-4o-mini and Llama-70B. These results demonstrate that small models can reliably scaffold larger ones, unlocking latent capabilities while avoiding misleading prompts that stronger teachers may introduce, establishing WST as a scalable solution for efficient and safe LLM prompt refinement.
• Abstract（参考訳）: 効果的なプロンプトエンジニアリングは多くのアプリケーションにとって難しい課題である。 Weak-to-Strong Transfer (WST) は、小さな "Teacher" モデルが、はるかに大きな "Student" モデルの性能を高める命令を生成する自動プロンプトエンジニアリングフレームワークである。 従来の作業とは異なり、WSTは弱い教師しか必要とせず、大きなモデルがクローズソースで、微調整が難しい環境では効率的で広く適用できる。 強化学習を用いて、教師モデルの指示は、学生モデルの結果に基づいて反復的に改善され、推論(MATH-500、GSM8K)とアライメント(HH-RLHF)のベンチマーク(MATH-500、HH-RLHF)の98%、GPT-4o-mini、Llama-70Bといったベースラインを超えている。 これらの結果から,小型モデルではより大きなモデルに確実に足場を組み込むことが可能であることを示すとともに,より強力な教師が導入できるような誤解を招くプロンプトを回避し,より効率的かつ安全なLLMプロンプト改善のためのスケーラブルなソリューションとしてWSTを確立した。

関連論文リスト

• Enhancing Knowledge Distillation for LLMs with Response-Priming Prompting [1.9461727843485295]
  そこで本研究では,学生モデルの性能向上のための新しい応答プライシング手法を提案する。 Llama 3.1 405B 教師モデルから知識を抽出し,より小さな Llama 3.1 8B 教師モデルを微調整する。 その結果, 蒸留したLlama 3.1 8BインストラクトのGSM8Kは55%向上した。
  論文  参考訳（メタデータ） (2024-12-18T20:41:44Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Exploring and Enhancing the Transfer of Distribution in Knowledge Distillation for Autoregressive Language Models [62.5501109475725]
  知識蒸留(KD)は、より小さな学生モデルを模倣するように訓練することで、大きな教師モデルを圧縮する技術である。 本稿では、教師ネットワークが小さなオンラインモジュールを統合し、学生モデルと同時学習するオンライン知識蒸留(OKD)について紹介する。 OKDは、様々なモデルアーキテクチャやサイズにおけるリードメソッドのパフォーマンスを達成または超え、トレーニング時間を最大4倍に短縮する。
  論文  参考訳（メタデータ） (2024-09-19T07:05:26Z)
• GKT: A Novel Guidance-Based Knowledge Transfer Framework For Efficient Cloud-edge Collaboration LLM Deployment [74.40196814292426]
  本稿では,新規かつ直感的なガイダンスベース知識伝達(GKT)フレームワークを提案する。 GKTは'teacher'として大きな言語モデルを使用し、ガイダンスプロンプトを生成し、より小さな'student'モデルと組み合わせて応答を確定する。 GSM8Kの最大精度は14.18%、GSM8Kの10.72倍、精度は14.00%、CSQAの7.73倍である。
  論文  参考訳（メタデータ） (2024-05-30T02:37:35Z)
• Retrieval-based Knowledge Transfer: An Effective Approach for Extreme Large Language Model Compression [64.07696663255155]
  大規模事前学習型言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。 しかし、これらのモデルの巨大なサイズは、現実世界のアプリケーションに展開する上で大きな課題をもたらします。 本稿では,LLMの知識を極めて小規模なモデルに効果的に伝達するRetrieval-based Knowledge Transfer (RetriKT)と呼ばれる新しい圧縮パラダイムを提案する。
  論文  参考訳（メタデータ） (2023-10-24T07:58:20Z)
• Evaluating the Robustness to Instructions of Large Language Models [6.947956990248856]
  微調整大型言語モデル(LLM)は、新しいタスクにおけるゼロショット能力を向上することができる。 Alpaca, Vicuna, WizardLM, 従来のタスク指向モデル(Flan-T5-XL/XXL, T0++)を含む6つのモデルを評価する。 異なるスケールのFLAN-T5モデルのRE命令に対するロバスト性は、QA命令に対するロバスト性よりも劣っていることがわかった。
  論文  参考訳（メタデータ） (2023-08-28T04:57:07Z)
• Lion: Adversarial Distillation of Proprietary Large Language Models [16.245052771463044]
  より効率的な知識伝達のための新しい逆蒸留フレームワークを提案する。 我々は、ChatGPTから学生モデル(Lionという名前)に、たった70kのトレーニングデータを使って知識を伝達することに成功しました。
  論文  参考訳（メタデータ） (2023-05-22T09:49:16Z)
• LiST: Lite Self-training Makes Efficient Few-shot Learners [91.28065455714018]
  LiSTは古典的な微調整法よりも35%改善し、プロンプトチューニングよりも6%改善した。
  論文  参考訳（メタデータ） (2021-10-12T18:47:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。