Fugu-MT 論文翻訳(概要): Natural Language Fine-Tuning

論文の概要: Natural Language Fine-Tuning

arxiv url: http://arxiv.org/abs/2412.20382v1
Date: Sun, 29 Dec 2024 07:02:45 GMT
ステータス: 翻訳完了
システム内更新日: 2024-12-31 16:07:29.616091
Title: Natural Language Fine-Tuning
Title（参考訳）: 自然言語ファインチューニング
Authors: Jia Liu, Yue Wang, Zhiqi Lin, Min Chen, Yixue Hao, Long Hu,
Abstract要約: 自然言語をファインチューニングに利用する自然言語ファインチューニング(NLFT)を初めて紹介する。言語情報をNLFTで効果的に活用するため,提案手法はトレーニングコストを大幅に削減する。トレーニング効率を著しく向上し、精度、省時間、資源保全において強化微調整アルゴリズムを総合的に上回っている。
参考スコア（独自算出の注目度）: 13.143016409660484
License:
Abstract: Large language model fine-tuning techniques typically depend on extensive labeled data, external guidance, and feedback, such as human alignment, scalar rewards, and demonstration. However, in practical application, the scarcity of specific knowledge poses unprecedented challenges to existing fine-tuning techniques. In this paper, focusing on fine-tuning tasks in specific domains with limited data, we introduce Natural Language Fine-Tuning (NLFT), which utilizes natural language for fine-tuning for the first time. By leveraging the strong language comprehension capability of the target LM, NLFT attaches the guidance of natural language to the token-level outputs. Then, saliency tokens are identified with calculated probabilities. Since linguistic information is effectively utilized in NLFT, our proposed method significantly reduces training costs. It markedly enhances training efficiency, comprehensively outperforming reinforcement fine-tuning algorithms in accuracy, time-saving, and resource conservation. Additionally, on the macro level, NLFT can be viewed as a token-level fine-grained optimization of SFT, thereby efficiently replacing the SFT process without the need for warm-up (as opposed to ReFT requiring multiple rounds of warm-up with SFT). Compared to SFT, NLFT does not increase the algorithmic complexity, maintaining O(n). Extensive experiments on the GSM8K dataset demonstrate that NLFT, with only 50 data instances, achieves an accuracy increase that exceeds SFT by 219%. Compared to ReFT, the time complexity and space complexity of NLFT are reduced by 78.27% and 92.24%, respectively. The superior technique of NLFT is paving the way for the deployment of various innovative LLM fine-tuning applications when resources are limited at network edges. Our code has been released at https://github.com/Julia-LiuJ/NLFT.
Abstract（参考訳）: 大規模な言語モデルの微調整技術は、典型的には、人間のアライメント、スカラー報酬、デモンストレーションのような、広範なラベル付きデータ、外部ガイダンス、フィードバックに依存している。しかし、実際的な応用では、特定の知識の不足は既存の微調整技術に前例のない挑戦をもたらす。本稿では,データ制限のある特定の領域における微調整タスクに着目し,自然言語を初めて微調整に利用する自然言語ファイン・チューニング(NLFT)を紹介した。目標LMの強い言語理解能力を活用することにより、NLFTはトークンレベルの出力に自然言語のガイダンスを付加する。そして、算出された確率で、サリエンシトークンを識別する。言語情報をNLFTで効果的に活用するため,提案手法はトレーニングコストを大幅に削減する。トレーニング効率を著しく向上し、精度、省時間、資源保全において強化微調整アルゴリズムを総合的に上回っている。さらにマクロレベルでは、NLFTはSFTのトークンレベルのきめ細かい最適化と見なすことができ、SFTプロセスのウォームアップを必要とせずに効率よく置き換えることができる(ReFTがSFTと複数ラウンドのウォームアップを必要とするのに対して)。 SFTと比較すると、NLFTはアルゴリズムの複雑さを増大させず、O(n) を維持する。 GSM8Kデータセットの大規模な実験では、50のデータインスタンスしか持たないNLFTが、SFTを219%超える精度の向上を実現している。 ReFTと比較して、NLFTの時間複雑性と空間複雑性はそれぞれ78.27%と92.24%に減少する。 NLFTの優れた技術は、リソースがネットワークエッジで制限されている場合に、様々な革新的なLCM微調整アプリケーションをデプロイする方法を編み出すことである。私たちのコードはhttps://github.com/Julia-LiuJ/NLFT.comで公開されています。

関連論文リスト

Optimizing Language Models for Grammatical Acceptability: A Comparative Study of Fine-Tuning Techniques [0.0]
本研究では,Open Pre-trained Transformer (OPT-125M) の微細チューニング(FT)について,CoLAデータセットを用いて検討した。
論文参考訳（メタデータ） (2025-01-14T05:41:09Z)
Preference-Oriented Supervised Fine-Tuning: Favoring Target Model Over Aligned Large Language Models [12.500777267361102]
我々は,新しいtextbfpreference-textbforiented 教師付き textbffine-textbftuning アプローチ,すなわち PoFT を導入する。直感的には、SFTを特定の嗜好を与えることによって強化することであり、同じSFTデータ上で、整列 LLM 上でターゲットモデルをテキストフォバリングする。 PoFTは、さまざまなトレーニングデータセットとベースモデルにわたるSFTベースラインに対して、安定的で一貫した改善を実現している。
論文参考訳（メタデータ） (2024-12-17T12:49:14Z)
UFT: Unifying Fine-Tuning of SFT and RLHF/DPO/UNA through a Generalized Implicit Reward Function [18.54945183526789]
SFTとアライメントを単一のトレーニングステージに統合するUnified Fine-Tuning(UFT)を導入する。実験結果から,UFTは命令調整データのみにおいて,SFTよりも優れていることが示された。命令チューニングデータとアライメントデータを組み合わせることで、UFTは破滅的な忘れを効果的に防止する。
論文参考訳（メタデータ） (2024-10-28T18:34:25Z)
Intuitive Fine-Tuning: Towards Simplifying Alignment into a Single Process [26.196705232699884]
直感的ファインチューニング(IFT)を導入し,SFTと優先度最適化をひとつのプロセスに統合する。 IFTは、SFTのシーケンシャルなレシピやいくつかの典型的なPreference Optimizationメソッドと相容れないか、それ以上に優れている。説明可能なフロズンレイクゲームは、競争政策を得るためのIFTの有効性をさらに検証する。
論文参考訳（メタデータ） (2024-05-20T08:23:28Z)
Prefix Text as a Yarn: Eliciting Non-English Alignment in Foundation Language Model [50.339632513018934]
教師付き微調整(SFT)は、基礎大言語モデル(LLM)の出力を特定の嗜好に合わせるための単純なアプローチである。我々はこの仮説を言語間タスクの範囲内で批判的に検証する。タスク関連トークンを最小化するPreTTYという新しいトレーニングフリーアライメント手法を提案する。
論文参考訳（メタデータ） (2024-04-25T17:19:36Z)
Learning to Compress Prompt in Natural Language Formats [54.06967020905763]
大規模言語モデル(LLM)は、複数の自然言語処理タスクを処理するのに優れている。 LLMは、長いコンテキスト、遅い推論速度、高い計算コストによる性能の低下によって制約される。本研究の目的は、LLM転送性を備えた自然言語形式で長いプロンプトを圧縮することである。
論文参考訳（メタデータ） (2024-02-28T20:41:21Z)
LaFFi: Leveraging Hybrid Natural Language Feedback for Fine-tuning Language Models [14.087415157225715]
微調整大型言語モデル(LLM)は、特定の下流タスクに訓練されたモデルを適用する。 Supervised Fine-Tuning (SFT) は、LLMが望ましい回答を得るために訓練される一般的なアプローチである。本稿では,LLMのための自然言語フィードバック (Natural Language Feedback for Finetuning LLMs, LaFFi) という,SFTの代替手法を提案する。
論文参考訳（メタデータ） (2023-12-31T21:18:16Z)
Federated Full-Parameter Tuning of Billion-Sized Language Models with Communication Cost under 18 Kilobytes [53.4856038354195]
事前訓練された大規模言語モデル(LLM)は、自然言語命令に対する応答性を改善するために微調整が必要である。 FedKSeedは、ランダムシードの有限セットによるゼロ階最適化を採用している。サーバとクライアント間の通信要求を大幅に減らし、ランダムなシードをわずかに減らします。
論文参考訳（メタデータ） (2023-12-11T13:03:21Z)
Federated Learning of Large Language Models with Parameter-Efficient Prompt Tuning and Adaptive Optimization [71.87335804334616]
フェデレートラーニング(FL)は、分散データとの協調モデルトレーニングを可能にする、有望なパラダイムである。 LLM(Large Language Models)のトレーニングプロセスは一般的に重要なパラメータの更新を引き起こす。本稿では,性能と効率を同時に向上する効率的な部分的プロンプトチューニング手法を提案する。
論文参考訳（メタデータ） (2023-10-23T16:37:59Z)
AsySQN: Faster Vertical Federated Learning Algorithms with Better Computation Resource Utilization [159.75564904944707]
垂直連合学習(VFL)のための非同期準ニュートン(AsySQN)フレームワークを提案する。提案アルゴリズムは、逆ヘッセン行列を明示的に計算することなく、近似して降下ステップをスケールする。本稿では,非同期計算を採用することにより,計算資源の有効利用が期待できることを示す。
論文参考訳（メタデータ） (2021-09-26T07:56:10Z)
Dynamic Attention-based Communication-Efficient Federated Learning [85.18941440826309]
フェデレートラーニング(FL)は、グローバル機械学習モデルをトレーニングするためのソリューションを提供する。 FLは、クライアントデータの分散が非IIDであるときに性能劣化に悩まされる。本稿では,この劣化に対処するために,新しい適応トレーニングアルゴリズムであるtextttAdaFL$を提案する。
論文参考訳（メタデータ） (2021-08-12T14:18:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。