論文の概要: Concept Distillation from Strong to Weak Models via Hypotheses-to-Theories Prompting

• arxiv url: http://arxiv.org/abs/2408.09365v1
• Date: Sun, 18 Aug 2024 05:37:48 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-20 20:59:59.093554
• Title: Concept Distillation from Strong to Weak Models via Hypotheses-to-Theories Prompting
• Title（参考訳）: 仮説から理論へのアプローチによる強弱モデルからの概念蒸留
• Authors: Emmanuel Aboah Boateng, Cassiano O. Becker, Nabiha Asghar, Kabir Walia, Ashwin Srinivasan, Ehi Nosakhare, Victor Dibia, Soundar Srinivasan,
• Abstract要約: 概念蒸留(CD)は、複雑なタスクにおいてより弱いモデルを強化するための自動プロンプト最適化手法である。 CDは、(1)ベースプロンプト(初期化)による弱いモデルによるミスの収集、(2)強いモデルを使用してこれらのミスの原因を生成し、弱いモデル(推論)のためのルール/概念を作成し、(3)検証セットのパフォーマンスに基づいてこれらのルールをフィルタリングする。 我々はNL2Codeと数学的推論タスクにおけるCDの評価を行い、より小型で弱い言語モデルに対する顕著な性能向上を観察した。
• 参考スコア（独自算出の注目度）: 7.146498833443095
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Hand-crafting high quality prompts to optimize the performance of language models is a complicated and labor-intensive process. Furthermore, when migrating to newer, smaller, or weaker models (possibly due to latency or cost gains), prompts need to be updated to re-optimize the task performance. We propose Concept Distillation (CD), an automatic prompt optimization technique for enhancing weaker models on complex tasks. CD involves: (1) collecting mistakes made by weak models with a base prompt (initialization), (2) using a strong model to generate reasons for these mistakes and create rules/concepts for weak models (induction), and (3) filtering these rules based on validation set performance and integrating them into the base prompt (deduction/verification). We evaluated CD on NL2Code and mathematical reasoning tasks, observing significant performance boosts for small and weaker language models. Notably, Mistral-7B's accuracy on Multi-Arith increased by 20%, and Phi-3-mini-3.8B's accuracy on HumanEval rose by 34%. Compared to other automated methods, CD offers an effective, cost-efficient strategy for improving weak models' performance on complex tasks and enables seamless workload migration across different language models without compromising performance.
• Abstract（参考訳）: 言語モデルのパフォーマンスを最適化するための手作りの高品質なプロンプトは、複雑で労働集約的なプロセスである。 さらに、より新しく、より小さく、より弱いモデルに移行する場合(おそらくレイテンシやコストの上昇による)、タスクパフォーマンスを再最適化するためには、プロンプトを更新する必要がある。 本稿では,複雑なタスクにおいてより弱いモデルを改善するための自動プロンプト最適化手法である概念蒸留(CD)を提案する。 CDは、(1)ベースプロンプト(初期化)による弱いモデルによるミスの収集、(2)強力なモデルを使用してこれらのミスの原因を生成し、弱いモデルのためのルール/概念を作成する(推論)、(3)検証セットのパフォーマンスに基づいてこれらのルールをフィルタリングし、ベースプロンプトに統合する(推論/検証)。 我々はNL2Codeと数学的推論タスクにおけるCDの評価を行い、より小型で弱い言語モデルに対する顕著な性能向上を観察した。 特に、Mistral-7BのMulti-Arithでの精度は20%上昇し、Phi-3-mini-3.8BのHumanEvalでの精度は34%上昇した。 他の自動化手法と比較して、CDは複雑なタスクにおける弱いモデルの性能を改善する効果的なコスト効率の戦略を提供し、パフォーマンスを損なうことなく、異なる言語モデル間のシームレスなワークロードマイグレーションを可能にする。

関連論文リスト

• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Weak-to-Strong Reasoning [33.20094938292376]
  我々は、強力なモデルを自律的に訓練データを洗練させるプログレッシブラーニングフレームワークを導入する。 3つの弱いモデルを用いてLlama2-70bの推論能力を大幅に向上させる。 この作業は、AI推論能力を強化するための、よりスケーラブルで洗練された戦略の道を開くものだ。
  論文  参考訳（メタデータ） (2024-07-18T16:25:17Z)
• Super Tiny Language Models [3.8353434814956517]
  本稿では,スーパーティニー言語モデル(STLM)に着目した一連の研究成果を紹介する。 我々は,プーリング機構によるバイトレベルのトークン化,ウェイトタイリング,効率的なトレーニング戦略など,革新的な手法を探求する。 我々の最終的な目標は、広範囲のアプリケーションに対して、高性能な言語モデルをよりアクセスしやすく、実用的なものにすることです。
  論文  参考訳（メタデータ） (2024-05-23T04:12:49Z)
• DistiLLM: Towards Streamlined Distillation for Large Language Models [53.46759297929675]
  DistiLLMは自動回帰言語モデルのためのより効率的で効率的なKDフレームワークである。 DisiLLMは,(1)新しいスキューKulback-Leibler分散損失,(2)学生生成出力の効率向上を目的とした適応型オフ政治アプローチの2つのコンポーネントから構成される。
  論文  参考訳（メタデータ） (2024-02-06T11:10:35Z)
• Mixed Distillation Helps Smaller Language Model Better Reasoning [27.934081882868902]
  本稿では,大規模言語モデル (LLM) におけるプログラム・オブ・シント (PoT) とチェーン・オブ・シント (CoT) の強みを生かした混合蒸留 (MD) フレームワークを紹介する。 実験の結果, MDは, 様々なタスクにおいて, より小さなモデルのシングルパスとマルチパス推論能力を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2023-12-17T14:28:28Z)
• QualEval: Qualitative Evaluation for Model Improvement [82.73561470966658]
  モデル改善のための手段として,自動定性評価による定量的スカラー指標を付加するQualEvalを提案する。 QualEvalは強力なLCM推論器と新しいフレキシブルリニアプログラミングソルバを使用して、人間の読みやすい洞察を生成する。 例えば、その洞察を活用することで、Llama 2モデルの絶対性能が最大15%向上することを示す。
  論文  参考訳（メタデータ） (2023-11-06T00:21:44Z)
• SmartTrim: Adaptive Tokens and Attention Pruning for Efficient Vision-Language Models [35.5601603013045]
  視覚言語モデル(VLM)のための適応加速度フレームワークであるSmartTrimを提案する。 軽量なモジュールを元のバックボーンに統合し、各レイヤ内で冗長なトークン表現とアテンションヘッドを特定し、実行します。 我々は,プレナードモデルの予測と完全容量との整合性を高めるための自己蒸留戦略を考案した。
  論文  参考訳（メタデータ） (2023-05-24T11:18:00Z)
• eP-ALM: Efficient Perceptual Augmentation of Language Models [70.47962271121389]
  本稿では,既存モデルの適応性を向上するための直接的な取り組みを提案し,認識を伴う言語モデルの拡張を提案する。 視覚言語タスクに事前訓練されたモデルを適用するための既存のアプローチは、その効率を妨げているいくつかの重要なコンポーネントに依存している。 総パラメータの99%以上を凍結し,1つの直線射影層のみをトレーニングし,1つのトレーニング可能なトークンのみを予測することにより,我々のアプローチ(eP-ALM)は,VQAとCaptioningの他のベースラインよりも有意に優れていることを示す。
  論文  参考訳（メタデータ） (2023-03-20T19:20:34Z)
• Confident Adaptive Language Modeling [95.45272377648773]
  CALMは、入力と生成時間ごとに異なる量の計算を動的に割り当てるフレームワークである。 ハイパフォーマンスを確実に維持しつつ、計算能力、潜在的スピードアップを最大3ドルまで削減する上で、我々のフレームワークの有効性を実証する。
  論文  参考訳（メタデータ） (2022-07-14T17:00:19Z)
• MoEBERT: from BERT to Mixture-of-Experts via Importance-Guided Adaptation [68.30497162547768]
  本研究では,Mixture-of-Experts構造を用いてモデルキャパシティと推論速度を向上させるMoEBERTを提案する。 自然言語理解と質問応答タスクにおけるMoEBERTの有効性と有効性を検証する。
  論文  参考訳（メタデータ） (2022-04-15T23:19:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。