論文の概要: SemiEvol: Semi-supervised Fine-tuning for LLM Adaptation

• arxiv url: http://arxiv.org/abs/2410.14745v1
• Date: Thu, 17 Oct 2024 16:59:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-22 13:21:32.678682
• Title: SemiEvol: Semi-supervised Fine-tuning for LLM Adaptation
• Title（参考訳）: SemiEvol: LLM適応のための半教師付き微調整
• Authors: Junyu Luo, Xiao Luo, Xiusi Chen, Zhiping Xiao, Wei Ju, Ming Zhang,
• Abstract要約: プロパゲート・アンド・セレクト方式によるLLM適応のための半教師付き微調整フレームワークであるSemiEvolを紹介した。 知識伝播のために、SemiEvolは2段階のアプローチを採用し、ラベル付きデータからインウェイトとインコンテクストの両方の方法でラベル付きデータに知識を伝達する。 知識選択のために、SemiEvolは、高品質な擬応答サンプルを選択する協調学習機構を組み込んでいる。
• 参考スコア（独自算出の注目度）: 14.782756931646627
• License:
• Abstract: Supervised fine-tuning (SFT) is crucial in adapting large language models (LLMs) to a specific domain or task. However, only a limited amount of labeled data is available in practical applications, which poses a severe challenge for SFT in yielding satisfactory results. Therefore, a data-efficient framework that can fully exploit labeled and unlabeled data for LLM fine-tuning is highly anticipated. Towards this end, we introduce a semi-supervised fine-tuning framework named SemiEvol for LLM adaptation from a propagate-and-select manner. For knowledge propagation, SemiEvol adopts a bi-level approach, propagating knowledge from labeled data to unlabeled data through both in-weight and in-context methods. For knowledge selection, SemiEvol incorporates a collaborative learning mechanism, selecting higher-quality pseudo-response samples. We conducted experiments using GPT-4o-mini and Llama-3.1 on seven general or domain-specific datasets, demonstrating significant improvements in model performance on target data. Furthermore, we compared SemiEvol with SFT and self-evolution methods, highlighting its practicality in hybrid data scenarios.
• Abstract（参考訳）: 監視された微調整(SFT)は、大きな言語モデル(LLM)を特定のドメインやタスクに適応させる上で重要である。 しかし、実用アプリケーションでは限られた量のラベル付きデータしか利用できないため、良好な結果を得る上でSFTにとって深刻な課題となる。 そのため,LLMファインチューニングのためのラベル付きおよびラベルなしデータをフル活用可能なデータ効率フレームワークが期待されている。 そこで本稿では,LLM適応のための半教師付き微調整フレームワークであるSemiEvolを紹介する。 知識伝播のために、SemiEvolは2段階のアプローチを採用し、ラベル付きデータからインウェイトとインコンテクストの両方の方法でラベル付きデータに知識を伝達する。 知識選択のために、SemiEvolは、高品質な擬応答サンプルを選択する協調学習機構を組み込んでいる。 GPT-4o-miniとLlama-3.1を7つの一般またはドメイン固有のデータセットで実験し、対象データに対するモデル性能を大幅に改善した。 さらに,SmEvolとSFTおよび自己進化法を比較し,ハイブリッドデータシナリオにおけるその実用性を強調した。

関連論文リスト

• Not All LLM-Generated Data Are Equal: Rethinking Data Weighting in Text Classification [7.357494019212501]
  本研究では,合成データと実世界の分布を協調する効率的な重み付け手法を提案する。 複数のテキスト分類タスクにおいて,提案手法の有効性を実証的に評価した。
  論文  参考訳（メタデータ） (2024-10-28T20:53:49Z)
• Empirical Insights on Fine-Tuning Large Language Models for Question-Answering [50.12622877002846]
  大規模言語モデル(LLM)は、大量のデータセットの事前トレーニングを通じて、広範囲な世界の知識を符号化する。 我々は,事前学習したLLMが記憶する知識の量に基づいて,教師付き微調整(SFT)データを分類した。 実験の結果,SFTの段階では60個のデータポイントが事前学習中に符号化された知識を活性化することができ,LLMがQAタスクを実行できることがわかった。
  論文  参考訳（メタデータ） (2024-09-24T07:38:38Z)
• Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
  モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。 エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。 また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
  論文  参考訳（メタデータ） (2024-07-09T08:14:29Z)
• Uncertainty Aware Learning for Language Model Alignment [97.36361196793929]
  異なるタスクシナリオのモデルアライメントを改善するために,不確実性認識学習(UAL)を提案する。 トレーニングのラベルの平滑化値を個々のサンプルの不確実性に応じて適応的に設定する。 広く使われているベンチマーク実験では、我々のUALは標準教師あり微調整よりも著しく優れています。
  論文  参考訳（メタデータ） (2024-06-07T11:37:45Z)
• Comparative Analysis of Different Efficient Fine Tuning Methods of Large Language Models (LLMs) in Low-Resource Setting [0.0]
  我々は、大規模言語モデル(LLM)の様々な微調整戦略の理解を深めようとしている。 我々は,2つのデータセット(COLAとMNLI)で事前学習したモデルに対して,バニラファインチューニングやPBFT(Pattern-Based Fine-Tuning)のような最先端の手法を比較した。 以上の結果から,バニラFTやPBFTに匹敵する領域外一般化が期待できる可能性が示唆された。
  論文  参考訳（メタデータ） (2024-05-21T20:08:52Z)
• How to Train Data-Efficient LLMs [56.41105687693619]
  事前学習言語モデル(LLM)に対するデータ効率のアプローチについて検討する。 Ask-LLMと密度サンプリングがそれぞれのカテゴリで最適であることがわかった。 何百もの評価タスクと事前学習作業を含む19個のサンプルを比較したところ,Ask-LLMと密度がそれぞれのカテゴリで最適な方法であることが判明した。
  論文  参考訳（メタデータ） (2024-02-15T02:27:57Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• Uncertainty-Aware Distillation for Semi-Supervised Few-Shot Class-Incremental Learning [16.90277839119862]
  クラス平衡による不確実性認識蒸留(UaD-CE)というフレームワークを提案する。 疑似ラベル生成において,クラスバランスの取れた自己学習を取り入れたCEモジュールを導入する。 3つのベンチマークデータセットの総合的な実験により、本手法はラベルなしデータの適応性を向上できることを示した。
  論文  参考訳（メタデータ） (2023-01-24T12:53:06Z)
• Revisiting LSTM Networks for Semi-Supervised Text Classification via Mixed Objective Function [106.69643619725652]
  我々は,単純なBiLSTMモデルであっても,クロスエントロピー損失でトレーニングした場合に,競争的な結果が得られるようなトレーニング戦略を開発する。 いくつかのベンチマークデータセット上で,テキスト分類タスクの最先端結果について報告する。
  論文  参考訳（メタデータ） (2020-09-08T21:55:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。