論文の概要: Explicit Knowledge Transfer for Weakly-Supervised Code Generation

• arxiv url: http://arxiv.org/abs/2211.16740v1
• Date: Wed, 30 Nov 2022 04:51:26 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-01 16:38:50.175834
• Title: Explicit Knowledge Transfer for Weakly-Supervised Code Generation
• Title（参考訳）: 弱教師付きコード生成のための明示的知識伝達
• Authors: Zhangir Azerbayev, Ansong Ni, Hailey Schoelkopf, Dragomir Radev
• Abstract要約: 我々は,LLMのコード生成能力をより小さなモデルに転送するために,明示的な知識伝達(EKT)を提案する。 EKTは、教師のLLMの少数ショット機能を使って、NLコードペアを作成し、学生の正しさと微調整をフィルタします。 EKTは、専門家の反復による訓練よりも優れた性能を得るだけでなく、知識蒸留よりも優れることがわかった。
• 参考スコア（独自算出の注目度）: 14.758396460685017
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large language models (LLMs) can acquire strong code-generation capabilities through few-shot learning. In contrast, supervised fine-tuning is still needed for smaller models to achieve good performance. Such fine-tuning demands a large number of task-specific NL-code pairs, which are expensive to obtain. In this paper, we attempt to transfer the code generation ability of an LLM to a smaller model with the aid of weakly-supervised data. More specifically, we propose explicit knowledge transfer (EKT), which uses the few-shot capabilities of a teacher LLM to create NL-code pairs that we then filter for correctness and fine-tune the student on. We evaluate EKT on the task of generating code solutions to math word problems from the GSM8k dataset. We find that EKT not only yields better performance than training with expert iteration, but also outperforms knowledge distillation, another form of knowledge transfer. A GPT-Neo 1.3B model trained using EKT with a GPT-J teacher achieves a 12.4% pass@100 on GSM8k, while the same student and teacher trained with knowledge distillation yield only a 3.7% pass@100. We also show that it is possible for a student model to outperform the teacher using EKT.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、数ショットの学習によって強力なコード生成能力を得ることができる。 対照的に、より小さなモデルで優れた性能を達成するためには、教師付き微調整が必要である。 このような微調整には多数のタスク固有のnlコードペアが必要である。 本稿では,弱教師付きデータを用いてllmのコード生成能力をより小さなモデルに転送することを試みる。 より具体的には、教師のLLMの少数ショット機能を用いてNL符号ペアを作成し、正しさと微調整を行う明示的知識伝達(EKT)を提案する。 gsm8kデータセットから数学用語問題に対するコードソリューションを生成するタスクについてektを評価した。 EKTは、専門家の反復による訓練よりも優れた性能を得るだけでなく、知識伝達の別の形態である知識蒸留よりも優れることがわかった。 GPT-Neo 1.3Bモデルでは、EKTをGPT-Jの教師でトレーニングし、GSM8kで12.4%のパス@100を達成する一方、知識蒸留でトレーニングした同じ学生と教師は3.7%のパス@100しか得られない。 また,EKTを用いた教師よりも生徒モデルの方が優れていることを示す。

関連論文リスト

• Learning with Less: Knowledge Distillation from Large Language Models via Unlabeled Data [54.934578742209716]
  現実世界のNLPアプリケーションでは、Large Language Models (LLMs) は巨大なデータセットの広範なトレーニングのために、有望なソリューションを提供する。 LLKDは、教師と学生の両方の信号を組み込んだ適応的なサンプル選択法である。 総合的な実験により,LLKDは高いデータ効率で,様々なデータセットで優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2024-11-12T18:57:59Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• GKT: A Novel Guidance-Based Knowledge Transfer Framework For Efficient Cloud-edge Collaboration LLM Deployment [74.40196814292426]
  本稿では,新規かつ直感的なガイダンスベース知識伝達(GKT)フレームワークを提案する。 GKTは'teacher'として大きな言語モデルを使用し、ガイダンスプロンプトを生成し、より小さな'student'モデルと組み合わせて応答を確定する。 GSM8Kの最大精度は14.18%、GSM8Kの10.72倍、精度は14.00%、CSQAの7.73倍である。
  論文  参考訳（メタデータ） (2024-05-30T02:37:35Z)
• Large Language Model-Aware In-Context Learning for Code Generation [75.68709482932903]
  大規模言語モデル(LLM)は、コード生成において印象的なコンテキスト内学習(ICL)能力を示している。 コード生成のためのLAIL (LLM-Aware In-context Learning) という新しい学習ベース選択手法を提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:12:58Z)
• Talking Models: Distill Pre-trained Knowledge to Downstream Models via Interactive Communication [25.653517213641575]
  我々は、下流の課題の学生が事前学習された基礎モデルから効果的に学習するのに役立つ対話型コミュニケーションプロセスを開発する。 私たちのデザインは、学生のニーズを満たす方法で知識を説明することができる教師から、人間が学ぶ方法にインスピレーションを受けています。
  論文  参考訳（メタデータ） (2023-10-04T22:22:21Z)
• Language models are weak learners [71.33837923104808]
  本研究では,プロンプトベースの大規模言語モデルは弱い学習者として効果的に動作可能であることを示す。 これらのモデルをブースティングアプローチに組み込むことで、モデル内の知識を活用して、従来のツリーベースのブースティングよりも優れています。 結果は、プロンプトベースのLLMが、少数の学習者だけでなく、より大きな機械学習パイプラインのコンポーネントとして機能する可能性を示している。
  論文  参考訳（メタデータ） (2023-06-25T02:39:19Z)
• Lion: Adversarial Distillation of Proprietary Large Language Models [16.245052771463044]
  より効率的な知識伝達のための新しい逆蒸留フレームワークを提案する。 我々は、ChatGPTから学生モデル(Lionという名前)に、たった70kのトレーニングデータを使って知識を伝達することに成功しました。
  論文  参考訳（メタデータ） (2023-05-22T09:49:16Z)
• Can Bad Teaching Induce Forgetting? Unlearning in Deep Networks using an Incompetent Teacher [6.884272840652062]
  そこで本研究では,学習者・教師の知能・能力に乏しい教師を学習者・教師の枠組みで探究し,忘れがちさを誘発する手法を提案する。 有能で無能な教師からの知識は、学生に選択的に伝達され、忘れデータに関する情報を含まないモデルが得られる。 ゼロ・ナッシング(ZRF)メトリクスを導入し、未学習の手法を評価する。
  論文  参考訳（メタデータ） (2022-05-17T05:13:17Z)
• Efficient Crowd Counting via Structured Knowledge Transfer [122.30417437707759]
  クラウドカウントはアプリケーション指向のタスクであり、その推論効率は現実世界のアプリケーションにとって不可欠である。 本稿では,学生ネットワークを軽量かつ高効率に構築する構造的知識伝達フレームワークを提案する。 我々のモデルはNvidia 1080 GPUで最低6.5$times$のスピードアップを取得し、最先端のパフォーマンスも達成しています。
  論文  参考訳（メタデータ） (2020-03-23T08:05:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。