論文の概要: TaCIE: Enhancing Instruction Comprehension in Large Language Models through Task-Centred Instruction Evolution
- arxiv url: http://arxiv.org/abs/2410.02795v1
- Date: Wed, 18 Sep 2024 10:06:28 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-20 11:11:01.189679
- Title: TaCIE: Enhancing Instruction Comprehension in Large Language Models through Task-Centred Instruction Evolution
- Title(参考訳): TaCIE:タスク中心インストラクション進化による大規模言語モデルにおけるインストラクション理解の促進
- Authors: Jiuding Yang, Shengyao Lu, Weidong Guo, Xiangyang Li, Kaitong Yang, Yu Xu, Di Niu,
- Abstract要約: TaCIEは、単に進化したシード命令から、よりダイナミックで包括的な要素の組み合わせへと、命令の進化を再定義する。
複数の領域にまたがってTaCIEを適用することで、これらの進化した命令で微調整されたLLMは、従来の手法で調整された命令よりも大幅に性能が向上した。
- 参考スコア(独自算出の注目度): 27.949846287419998
- License:
- Abstract: Large Language Models (LLMs) require precise alignment with complex instructions to optimize their performance in real-world applications. As the demand for refined instruction tuning data increases, traditional methods that evolve simple seed instructions often struggle to effectively enhance complexity or manage difficulty scaling across various domains. Our innovative approach, Task-Centered Instruction Evolution (TaCIE), addresses these shortcomings by redefining instruction evolution from merely evolving seed instructions to a more dynamic and comprehensive combination of elements. TaCIE starts by deconstructing complex instructions into their fundamental components. It then generates and integrates new elements with the original ones, reassembling them into more sophisticated instructions that progressively increase in difficulty, diversity, and complexity. Applied across multiple domains, LLMs fine-tuned with these evolved instructions have substantially outperformed those tuned with conventional methods, marking a significant advancement in instruction-based model fine-tuning.
- Abstract(参考訳): 大規模言語モデル(LLM)は、現実世界のアプリケーションでの性能を最適化するために複雑な命令を正確に調整する必要がある。
改良された命令チューニングデータの需要が増加するにつれて、単純なシード命令を進化させる従来の手法は、複雑さを効果的に強化したり、さまざまな領域にまたがるスケーリングの困難さを管理するのに苦労することが多い。
我々の革新的なアプローチであるタスク中心命令進化(TaCIE)は、単に進化したシード命令からよりダイナミックで包括的な要素の組み合わせへの命令進化を再定義することで、これらの欠点に対処します。
TaCIEは、複雑な命令を基本コンポーネントに分解することから始まる。
そして、新しい要素を元の要素と統合し、それらをより洗練された命令に再組み立て、複雑さ、多様性、複雑さを徐々に増加させます。
複数の領域にまたがって適用され、これらの進化した命令で微調整されたLLMは、従来の手法で調整された命令よりも大幅に優れており、命令ベースのモデル微調整の大幅な進歩を示している。
関連論文リスト
- Controllable Navigation Instruction Generation with Chain of Thought Prompting [74.34604350917273]
本稿では,C-インストラクタを提案する。C-インストラクタは,スタイル制御およびコンテンツ制御可能な命令生成のために,チェーン・オブ・シンクタスタイルのプロンプトを利用する。
C-インストラクタは生成した命令をより追従しやすくし、ランドマークオブジェクトの操作に対する制御性を高める。
論文 参考訳(メタデータ) (2024-07-10T07:37:20Z) - Mosaic-IT: Free Compositional Data Augmentation Improves Instruction Tuning [30.82220015525281]
モザイクインストラクションチューニング(Mosaic Instruction Tuning、モザイクインストラクションチューニング、Mosaic-IT)は、人間/モデルなしのコンポジションデータ拡張手法である。
Mosaic-ITは、既存の命令チューニングデータから、ランダムにリッチで多様な拡張を生成する。
評価の結果,モザイクITの性能と訓練効率が向上した。
論文 参考訳(メタデータ) (2024-05-22T04:08:20Z) - From Complex to Simple: Enhancing Multi-Constraint Complex Instruction Following Ability of Large Language Models [43.869374263102934]
複雑な制約の強化に有効なトレーニングデータについて検討する。
複数の制約を含む命令でLLMを訓練することで、複雑な命令の理解が促進されることが判明した。
提案手法は,汎用的な命令に従うモデルの能力を向上し,ドメイン外,ドメイン内,対向的な設定で効果的に一般化する。
論文 参考訳(メタデータ) (2024-04-24T12:51:14Z) - MineDreamer: Learning to Follow Instructions via Chain-of-Imagination for Simulated-World Control [53.20509532671891]
我々はMinecraftシミュレータ上に構築されたオープンなエンボディエージェントであるMineDreamerを紹介する。
命令実行のステップバイステップを想定するために,CoI(Chain-of-Imagination)機構を用いる。
実験では、MineDreamerは単段階と多段階の命令を着実に従っている。
論文 参考訳(メタデータ) (2024-03-18T17:59:42Z) - Synthetic Data (Almost) from Scratch: Generalized Instruction Tuning for
Language Models [153.14575887549088]
GLAN(Generalized Instruction Tuning)は,Large Language Models(LLM)の汎用的かつスケーラブルなチューニング手法である。
GLANは、人間の知識と能力の事前分類を入力として利用し、あらゆる分野にわたる大規模な合成指導データを生成する。
サイラバスの全クラスセッションで詳述された、きめ細かい重要な概念により、私たちは、人間の知識とスキルの全範囲にわたって幅広い範囲をカバーする多様な命令を生成できる。
論文 参考訳(メタデータ) (2024-02-20T15:00:35Z) - Chain-of-Instructions: Compositional Instruction Tuning on Large Language Models [15.444719480373001]
チェーン・オブ・インストラクション(CoI)と呼ばれる新しい構成命令の概念を提案する。
従来の単一命令タスクの解法とは異なり,提案手法では各サブタスクを段階的に解き,最終的な解答に到達するまで解き明かす。
CoIチューニングは、複数のサブタスクからなる命令と、多言語要約のような目に見えない複合タスクを扱うモデルの能力を改善する。
論文 参考訳(メタデータ) (2024-02-18T10:10:40Z) - EasyInstruct: An Easy-to-use Instruction Processing Framework for Large Language Models [37.80143756214926]
EasyInstructは、Large Language Models (LLMs)のための使いやすい命令処理フレームワークである。
EasyInstructは命令生成、選択、プロンプトをモジュール化し、それらの組み合わせと相互作用も考慮する。
論文 参考訳(メタデータ) (2024-02-05T14:33:56Z) - Can Large Language Models Understand Real-World Complex Instructions? [54.86632921036983]
大型言語モデル(LLM)は人間の指示を理解することができるが、複雑な命令には耐えられない。
既存のベンチマークでは、LLMが複雑な命令を理解する能力を評価するには不十分である。
複雑な命令を体系的に追従するLSMの能力を評価するためのベンチマークであるCellOを提案する。
論文 参考訳(メタデータ) (2023-09-17T04:18:39Z) - A Preliminary Study of the Intrinsic Relationship between Complexity and
Alignment [90.7443414448245]
制御可能な方法で命令の複雑さを体系的に強化するツリーインストラクションを提案する。
命令のセマンティックツリーに指定された数のノードを追加することで、新しい命令データを得るだけでなく、修正された命令の難易度を制御することもできる。
論文 参考訳(メタデータ) (2023-08-10T16:58:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。