論文の概要: LLM-Generated Natural Language Meets Scaling Laws: New Explorations and Data Augmentation Methods
- arxiv url: http://arxiv.org/abs/2407.00322v1
- Date: Sat, 29 Jun 2024 05:40:17 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 05:31:09.904813
- Title: LLM-Generated Natural Language Meets Scaling Laws: New Explorations and Data Augmentation Methods
- Title（参考訳）: LLM生成自然言語のスケーリング法則:新しい探索法とデータ拡張法
- Authors: Zhenhua Wang, Guang Xu, Ming Ren,
- Abstract要約: 大規模言語モデル(LLMNL)とヒト自然言語(HNL)を本質的に計算するスケーリング法則を導入する。
実験により,LLMNLにおけるマンデルブロットの法則からわずかに逸脱し,HNLにおける複雑性の優位性を浮き彫りにし,言語スタイルに関する解釈的議論を補足する。
そこで本研究では,ZGPTDAと呼ばれる,スケーリング法則に適合したファジィ計算機構を活用する,少数ショットテキスト分類のための新しいデータ拡張手法を提案する。
- 参考スコア（独自算出の注目度）: 3.333401582174629
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With the ascent of large language models (LLM), natural language processing has witnessed enhancements, such as LLM-based data augmentation. Nonetheless, prior research harbors two primary concerns: firstly, a lack of contemplation regarding whether the natural language generated by LLM (LLMNL) truly aligns with human natural language (HNL), a critical foundational question; secondly, an oversight that augmented data is randomly generated by LLM, implying that not all data may possess equal training value, that could impede the performance of classifiers. To address these challenges, we introduce the scaling laws to intrinsically calculate LLMNL and HNL. Through extensive experiments, we reveal slight deviations (approximately 0.2 Mandelbrot exponent) from Mandelbrot's law in LLMNL, underscore a complexity advantage in HNL, and supplement an interpretive discussion on language style. This establishes a solid foundation for LLM's expansion. Further, we introduce a novel data augmentation method for few-shot text classification, termed ZGPTDA, which leverages fuzzy computing mechanisms driven by the conformity to scaling laws to make decisions about GPT-4 augmented data. Extensive experiments, conducted in real-world scenarios, confirms the effectiveness (improving F1 of Bert and RoBerta by 7-10%) and competitiveness (surpassing recent AugGPT and GENCO methods by about 2% accuracy on DeBerta) of ZGPTDA. In addition, we reveal some interesting insights, e.g., Hilberg's law and Taylor's law can impart more benefits to text classification, etc.
- Abstract（参考訳）: 大規模言語モデル(LLM)の増加に伴い、自然言語処理はLLMベースのデータ拡張のような拡張を目撃している。
第一に、LLM(LLMNL)が生成する自然言語が人間の自然言語(HNL)と真に一致しているかどうかについての熟考の欠如、第二に、拡張データがLLMによってランダムに生成されるという監視は、すべてのデータが同等のトレーニング値を持っているとは限りなく、分類器のパフォーマンスを阻害する可能性があることを示唆している。
これらの課題に対処するために,LLMNLとHNLを本質的に計算するスケーリング法則を導入する。
広範な実験を通じて,LLMNLにおけるマンデルブロット法則からのわずかな逸脱(約0.2マンデルブロット指数)を明らかにし,HNLにおける複雑性の優位性を強調し,言語スタイルに関する解釈的議論を補完する。
これにより、LLMの拡張の確かな基盤が確立される。
さらに、GPT-4拡張データに関する決定を行うために、拡張法に適合性によって引き起こされるファジィ計算機構を活用する、ZGPTDAと呼ばれる、少数ショットテキスト分類のための新しいデータ拡張手法を提案する。
実世界のシナリオで実施された大規模な実験は、ZGPTDAの有効性(バートとロベルタのF1を7～10%向上させる)と競争性(最近のAugGPTおよびGENCOメソッドを約2%精度で通過させる)を確認している。
さらに、Hilbergの法則やTaylorの法則は、テキスト分類により多くの利益を与えることができるなど、興味深い洞察を明らかにします。
関連論文リスト
- Bayesian scaling laws for in-context learning [72.17734205418502]
In-context Learning(ICL)は、言語モデルをトレーニング更新なしで複雑なタスクを実行するための強力なテクニックである。
我々は、ICCがベイズ学習者を近似し、ICCのための新しいベイズスケーリング法則のファミリーを開発することを示す。
論文 参考訳（メタデータ） (2024-10-21T21:45:22Z) - Strategies for Improving NL-to-FOL Translation with LLMs: Data Generation, Incremental Fine-Tuning, and Verification [9.36179617282876]
GPT-4o を用いて ProofWriter データセットの高品質な FOL アノテーション付きサブセットを作成する。
本稿では,LLaMA-2およびMistralモデル上でProofFOLを用いたProofWriterおよびProntoQAデータセットの最先端性能を示す。
論文 参考訳（メタデータ） (2024-09-24T21:24:07Z) - Entropy Law: The Story Behind Data Compression and LLM Performance [115.70395740286422]
モデル性能はトレーニングデータの圧縮比と負の相関関係にあり,トレーニング損失が小さくなるのが普通である。
エントロピー法則の知見に基づいて, 極めて効率的で普遍的なデータ選択法を提案する。
また,モデルトレーニング開始時の潜在的な性能リスクを検出するエントロピー法則の興味深い応用を提案する。
論文 参考訳（メタデータ） (2024-07-09T08:14:29Z) - Through the Thicket: A Study of Number-Oriented LLMs derived from Random Forest Models [0.0]
大規模言語モデル (LLM) はテキスト処理において例外的な性能を示した。
本稿では,ランダムフォレスト(RF)アンサンブルからの知識伝達を用いたLLMの学習手法を提案する。
我々は、細調整のためのアウトプットを生成し、その決定を分類し、説明するモデルの能力を高めます。
論文 参考訳（メタデータ） (2024-06-07T13:31:51Z) - How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。
大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。
我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
論文 参考訳（メタデータ） (2024-02-25T20:07:13Z) - Code Needs Comments: Enhancing Code LLMs with Comment Augmentation [91.52444946362547]
本稿では、既存のコードに対するコメントを生成する新しいデータ拡張手法と、自然言語と相関の低いコードデータをフィルタリングするデータフィルタリング戦略を導入する。
我々は3つのコード中心の大規模言語モデルの実験を行い、2つの広く使われているプログラミングスキルベンチマークで一貫した性能向上を観察した。
論文 参考訳（メタデータ） (2024-02-20T13:56:38Z) - Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。
SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。
このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
論文 参考訳（メタデータ） (2024-01-02T18:53:13Z) - Supervised Knowledge Makes Large Language Models Better In-context Learners [94.89301696512776]
大規模言語モデル(LLM)は、素早い工学を通して、文脈内学習能力の出現を示す。
自然言語理解と質問応答におけるLLMの一般化性と事実性の向上という課題は、まだ未解決のままである。
本研究では, LLM の信頼性を高める枠組みを提案する。1) 分布外データの一般化,2) 差別モデルによる LLM のメリットの解明,3) 生成タスクにおける幻覚の最小化。
論文 参考訳（メタデータ） (2023-12-26T07:24:46Z) - Causal Reasoning and Large Language Models: Opening a New Frontier for Causality [29.433401785920065]
大規模言語モデル(LLM)は、高い確率で因果引数を生成することができる。
LLMは人間のドメインの専門家によって因果解析のセットアップの労力を節約するために使われる。
論文 参考訳（メタデータ） (2023-04-28T19:00:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。