論文の概要: TaCIE: Enhancing Instruction Comprehension in Large Language Models through Task-Centred Instruction Evolution

• arxiv url: http://arxiv.org/abs/2410.02795v1
• Date: Wed, 18 Sep 2024 10:06:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-03 05:44:23.572793
• Title: TaCIE: Enhancing Instruction Comprehension in Large Language Models through Task-Centred Instruction Evolution
• Title（参考訳）: TaCIE:タスク中心インストラクション進化による大規模言語モデルにおけるインストラクション理解の促進
• Authors: Jiuding Yang, Shengyao Lu, Weidong Guo, Xiangyang Li, Kaitong Yang, Yu Xu, Di Niu,
• Abstract要約: TaCIEは、単に進化したシード命令から、よりダイナミックで包括的な要素の組み合わせへと、命令の進化を再定義する。 複数の領域にまたがってTaCIEを適用することで、これらの進化した命令で微調整されたLLMは、従来の手法で調整された命令よりも大幅に性能が向上した。
• 参考スコア（独自算出の注目度）: 27.949846287419998
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large Language Models (LLMs) require precise alignment with complex instructions to optimize their performance in real-world applications. As the demand for refined instruction tuning data increases, traditional methods that evolve simple seed instructions often struggle to effectively enhance complexity or manage difficulty scaling across various domains. Our innovative approach, Task-Centered Instruction Evolution (TaCIE), addresses these shortcomings by redefining instruction evolution from merely evolving seed instructions to a more dynamic and comprehensive combination of elements. TaCIE starts by deconstructing complex instructions into their fundamental components. It then generates and integrates new elements with the original ones, reassembling them into more sophisticated instructions that progressively increase in difficulty, diversity, and complexity. Applied across multiple domains, LLMs fine-tuned with these evolved instructions have substantially outperformed those tuned with conventional methods, marking a significant advancement in instruction-based model fine-tuning.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、現実世界のアプリケーションでの性能を最適化するために複雑な命令を正確に調整する必要がある。 改良された命令チューニングデータの需要が増加するにつれて、単純なシード命令を進化させる従来の手法は、複雑さを効果的に強化したり、さまざまな領域にまたがるスケーリングの困難さを管理するのに苦労することが多い。 我々の革新的なアプローチであるタスク中心命令進化(TaCIE)は、単に進化したシード命令からよりダイナミックで包括的な要素の組み合わせへの命令進化を再定義することで、これらの欠点に対処します。 TaCIEは、複雑な命令を基本コンポーネントに分解することから始まる。 そして、新しい要素を元の要素と統合し、それらをより洗練された命令に再組み立て、複雑さ、多様性、複雑さを徐々に増加させます。 複数の領域にまたがって適用され、これらの進化した命令で微調整されたLLMは、従来の手法で調整された命令よりも大幅に優れており、命令ベースのモデル微調整の大幅な進歩を示している。

関連論文リスト

• MuSC: Improving Complex Instruction Following with Multi-granularity Self-Contrastive Training [36.483136685734735]
  より強力なモデルに頼ることなく、複雑な命令アライメントを改善するために、MuSC(Multi-granularity Self-Contrastive Training)フレームワークを提案する。 提案手法は,オープンソースモデルを用いて評価し,提案手法が複雑かつ一般的な命令追従ベンチマークにおいて有意な改善をもたらすことを示す実験結果を得た。
  論文  参考訳（メタデータ） (2025-02-17T08:12:49Z)
• Constraint Back-translation Improves Complex Instruction Following of Large Language Models [55.60192044049083]
  大きな言語モデル(LLM)は、フォーマットや長さなどの複雑な制約のある命令に従うのに苦労しています。 従来の研究は、高度なLCMに複雑な命令を供給し、複雑な命令応答対を後処理する。 本稿では,新しいデータ生成手法である制約バックトランスレーションを提案する。
  論文  参考訳（メタデータ） (2024-10-31T17:42:26Z)
• Evolutionary Contrastive Distillation for Language Model Alignment [35.94171633370035]
  進化的コントラスト蒸留(ECD)は高品質な合成嗜好データを生成する新しい方法である。 提案手法は,現在のSOTA 7Bモデルの複雑な命令追従性能を超える7Bモデルを生成する。
  論文  参考訳（メタデータ） (2024-10-10T01:04:03Z)
• Controllable Navigation Instruction Generation with Chain of Thought Prompting [74.34604350917273]
  本稿では,C-インストラクタを提案する。C-インストラクタは,スタイル制御およびコンテンツ制御可能な命令生成のために,チェーン・オブ・シンクタスタイルのプロンプトを利用する。 C-インストラクタは生成した命令をより追従しやすくし、ランドマークオブジェクトの操作に対する制御性を高める。
  論文  参考訳（メタデータ） (2024-07-10T07:37:20Z)
• From Complex to Simple: Enhancing Multi-Constraint Complex Instruction Following Ability of Large Language Models [43.869374263102934]
  複雑な制約の強化に有効なトレーニングデータについて検討する。 複数の制約を含む命令でLLMを訓練することで、複雑な命令の理解が促進されることが判明した。 提案手法は,汎用的な命令に従うモデルの能力を向上し,ドメイン外,ドメイン内,対向的な設定で効果的に一般化する。
  論文  参考訳（メタデータ） (2024-04-24T12:51:14Z)
• MineDreamer: Learning to Follow Instructions via Chain-of-Imagination for Simulated-World Control [53.20509532671891]
  我々はMinecraftシミュレータ上に構築されたオープンなエンボディエージェントであるMineDreamerを紹介する。 命令実行のステップバイステップを想定するために,CoI(Chain-of-Imagination)機構を用いる。 実験では、MineDreamerは単段階と多段階の命令を着実に従っている。
  論文  参考訳（メタデータ） (2024-03-18T17:59:42Z)
• EasyInstruct: An Easy-to-use Instruction Processing Framework for Large Language Models [37.80143756214926]
  EasyInstructは、Large Language Models (LLMs)のための使いやすい命令処理フレームワークである。 EasyInstructは命令生成、選択、プロンプトをモジュール化し、それらの組み合わせと相互作用も考慮する。
  論文  参考訳（メタデータ） (2024-02-05T14:33:56Z)
• Can Large Language Models Understand Real-World Complex Instructions? [54.86632921036983]
  大型言語モデル(LLM)は人間の指示を理解することができるが、複雑な命令には耐えられない。 既存のベンチマークでは、LLMが複雑な命令を理解する能力を評価するには不十分である。 複雑な命令を体系的に追従するLSMの能力を評価するためのベンチマークであるCellOを提案する。
  論文  参考訳（メタデータ） (2023-09-17T04:18:39Z)
• A Preliminary Study of the Intrinsic Relationship between Complexity and Alignment [90.7443414448245]
  制御可能な方法で命令の複雑さを体系的に強化するツリーインストラクションを提案する。 命令のセマンティックツリーに指定された数のノードを追加することで、新しい命令データを得るだけでなく、修正された命令の難易度を制御することもできる。
  論文  参考訳（メタデータ） (2023-08-10T16:58:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。