論文の概要: A Lightweight Multi Aspect Controlled Text Generation Solution For Large Language Models

• arxiv url: http://arxiv.org/abs/2410.14144v1
• Date: Fri, 18 Oct 2024 03:32:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-21 14:27:08.463709
• Title: A Lightweight Multi Aspect Controlled Text Generation Solution For Large Language Models
• Title（参考訳）: 大規模言語モデルのための軽量マルチアスペクト制御型テキスト生成ソリューション
• Authors: Chenyang Zhang, Jiayi Lin, Haibo Tong, Bingxuan Hou, Dongyu Zhang, Jialin Li, Junli Wang,
• Abstract要約: 大規模言語モデル(LLM)は、命令のチューニングで顕著な能力を示す。 目標タスクの高品質なチューニングデータがない場合には、理想的なタスクを達成できない。
• 参考スコア（独自算出の注目度）: 12.572046828830699
• License:
• Abstract: Large language models (LLMs) show remarkable abilities with instruction tuning. However, they fail to achieve ideal tasks when lacking high-quality instruction tuning data on target tasks. Multi-Aspect Controllable Text Generation (MCTG) is a representative task for this dilemma, where aspect datasets are usually biased and correlated. Existing work exploits additional model structures and strategies for solutions, limiting adaptability to LLMs. To activate MCTG ability of LLMs, we propose a lightweight MCTG pipeline based on data augmentation. We analyze bias and correlations in traditional datasets, and address these concerns with augmented control attributes and sentences. Augmented datasets are feasible for instruction tuning. In our experiments, LLMs perform better in MCTG after data augmentation, with a 20% accuracy rise and less aspect correlations.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、命令のチューニングで顕著な能力を示す。 しかし、目標タスクの高精度なチューニングデータがない場合には、理想的なタスクを達成できない。 マルチアスペクト制御可能なテキスト生成(MCTG)はこのジレンマの代表的なタスクである。 既存の作業は、LLMへの適応性を制限し、ソリューションのための追加のモデル構造と戦略を利用する。 LLMのMCTG機能を活性化するために,データ拡張に基づく軽量MCTGパイプラインを提案する。 我々は従来のデータセットのバイアスと相関を分析し、これらの懸念を拡張制御属性と文で解決する。 拡張データセットは、インストラクションチューニングのために実現可能である。 実験では,データ拡張後のMCTGでは,20パーセントの精度向上とアスペクト相関の低下によりLLMの性能が向上した。

関連論文リスト

• Fine-Tuning Language Models on Multiple Datasets for Citation Intention Classification [17.03832781104098]
  引用意図分類(Citation intention Classification, CIC)は、意図によって引用を分類するツールである。 以前の研究では、事前訓練された言語モデル(PLM)がCICベンチマークで最先端のパフォーマンスを達成できることが示されている。 複数の補助的CICデータセットとともに、一次関心のデータセット上でPLMを微調整するマルチタスク学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-17T08:45:02Z)
• A Framework for Fine-Tuning LLMs using Heterogeneous Feedback [69.51729152929413]
  ヘテロジニアスフィードバックを用いた大規模言語モデル(LLM)の微調整フレームワークを提案する。 まず、不均一なフィードバックデータをSFTやRLHFなどの手法と互換性のある単一の監視形式にまとめる。 次に、この統合されたフィードバックデータセットから、性能向上を得るために高品質で多様なサブセットを抽出する。
  論文  参考訳（メタデータ） (2024-08-05T23:20:32Z)
• SELF-GUIDE: Better Task-Specific Instruction Following via Self-Synthetic Finetuning [70.21358720599821]
  大規模言語モデル(LLM)は、適切な自然言語プロンプトを提供する際に、多様なタスクを解決するという約束を持っている。 学生LLMからタスク固有の入出力ペアを合成する多段階メカニズムであるSELF-GUIDEを提案する。 ベンチマークの指標から,分類タスクに約15%,生成タスクに18%の絶対的な改善を報告した。
  論文  参考訳（メタデータ） (2024-07-16T04:41:58Z)
• DARG: Dynamic Evaluation of Large Language Models via Adaptive Reasoning Graph [70.79413606968814]
  本稿では,適応推論グラフ展開(DARG)によるLCMの動的評価を導入し,複雑性と多様性を制御した現在のベンチマークを動的に拡張する。 具体的には、まず現在のベンチマークでデータポイントの推論グラフを抽出し、それから推論グラフを摂動させて新しいテストデータを生成する。 このような新しく生成されたテストサンプルは、元のベンチマークと同様の言語的多様性を維持しながら、複雑さのレベルが異なる可能性がある。
  論文  参考訳（メタデータ） (2024-06-25T04:27:53Z)
• An Empirical Study of Data Ability Boundary in LLMs' Math Reasoning [13.11991777772918]
  大規模言語モデル(LLM)は、数学推論タスクの創発的な能力を示している。 本稿では,教師付きデータの一般的なデータ戦略を探求し,数学推論能力の最適化と拡張を支援することを目的とする。
  論文  参考訳（メタデータ） (2024-02-23T17:38:43Z)
• Learning to Reduce: Optimal Representations of Structured Data in Prompting Large Language Models [42.16047343029512]
  大規模言語モデル(LLM)は汎用AIエージェントとして広く利用されている。 本稿では,入力コンテキストの縮小バージョンを生成するために,言語モデルを微調整するフレームワークであるLearning to Reduceを提案する。 入力コンテキストから関連する証拠を選択する際に,本モデルが同等の精度を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-22T00:41:23Z)
• LESS: Selecting Influential Data for Targeted Instruction Tuning [64.78894228923619]
  本稿では,データの影響を推定し,命令データ選択のための低ランクグレーディエント類似度探索を行うアルゴリズムであるLESSを提案する。 LESS選択したデータの5%のトレーニングは、さまざまなダウンストリームタスクにわたる完全なデータセットでのトレーニングよりも優れています。 我々の方法は、意図した下流アプリケーションに必要な推論スキルを識別するために、表面的なフォームキューを超えています。
  論文  参考訳（メタデータ） (2024-02-06T19:18:04Z)
• Curated LLM: Synergy of LLMs and Data Curation for tabular augmentation in low-data regimes [57.62036621319563]
  本稿では,Large Language Models (LLMs) の知識を低データ構造におけるデータ拡張に活用したCLLMを紹介する。 従来のジェネレータと比較して,低データ方式におけるCLLMの優れた性能を示す。
  論文  参考訳（メタデータ） (2023-12-19T12:34:46Z)
• Scaling Relationship on Learning Mathematical Reasoning with Large Language Models [75.29595679428105]
  本研究では,事前学習損失,教師付きデータ量,拡張データ量が教師付きLDMの推論性能に与える影響について検討する。 複数のモデルからの拒絶サンプルは、LLaMA-7BをGSM8Kの49.3%の精度に押し上げ、監督された微調整(SFT)の精度を35.9%上回る結果となった。
  論文  参考訳（メタデータ） (2023-08-03T15:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。