論文の概要: Chain-of-Instructions: Compositional Instruction Tuning on Large Language Models

• arxiv url: http://arxiv.org/abs/2402.11532v2
• Date: Mon, 24 Jun 2024 22:43:57 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-26 20:28:47.651566
• Title: Chain-of-Instructions: Compositional Instruction Tuning on Large Language Models
• Title（参考訳）: チェーン・オブ・インストラクション:大規模言語モデルに基づく構成的インストラクションチューニング
• Authors: Shirley Anugrah Hayati, Taehee Jung, Tristan Bodding-Long, Sudipta Kar, Abhinav Sethy, Joo-Kyung Kim, Dongyeop Kang,
• Abstract要約: チェーン・オブ・インストラクション(CoI)と呼ばれる新しい構成命令の概念を提案する。 従来の単一命令タスクの解法とは異なり,提案手法では各サブタスクを段階的に解き,最終的な解答に到達するまで解き明かす。 CoIチューニングは、複数のサブタスクからなる命令と、多言語要約のような目に見えない複合タスクを扱うモデルの能力を改善する。
• 参考スコア（独自算出の注目度）: 15.444719480373001
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Fine-tuning large language models (LLMs) with a collection of large and diverse instructions has improved the model's generalization to different tasks, even for unseen tasks. However, most existing instruction datasets include only single instructions, and they struggle to follow complex instructions composed of multiple subtasks. In this work, we propose a novel concept of compositional instructions called chain-of-instructions (CoI), where the output of one instruction becomes an input for the next like a chain. Unlike the conventional practice of solving single instruction tasks, our proposed method encourages a model to solve each subtask step by step until the final answer is reached. CoI-tuning (i.e., fine-tuning with CoI instructions) improves the model's ability to handle instructions composed of multiple subtasks as well as unseen composite tasks such as multilingual summarization. Overall, our study find that simple CoI tuning of existing instruction data can provide consistent generalization to solve more complex, unseen, and longer chains of instructions.
• Abstract（参考訳）: 大規模かつ多様な命令の集合を持つ微調整された大型言語モデル(LLM)は、目に見えないタスクであっても、モデルの一般化を異なるタスクに改善した。 しかし、既存の命令データセットの多くは単一の命令のみを含み、複数のサブタスクからなる複雑な命令に従うのに苦労している。 そこで本研究では,チェーン・オブ・インストラクション(CoI)と呼ばれる合成命令の新たな概念を提案する。 従来の単一命令タスクの解法とは異なり,提案手法では各サブタスクを段階的に解き,最終的な解答に到達するまで解き明かす。 CoIチューニング(CoI命令による微調整)は、複数のサブタスクからなる命令を処理し、多言語要約のような目に見えない複合タスクを処理する能力を向上させる。 全体として、既存の命令データの単純なCoIチューニングは、より複雑で目に見えない、長い命令列を解くために一貫した一般化を提供することができる。

関連論文リスト

• Controllable Navigation Instruction Generation with Chain of Thought Prompting [74.34604350917273]
  本稿では,C-インストラクタを提案する。C-インストラクタは,スタイル制御およびコンテンツ制御可能な命令生成のために,チェーン・オブ・シンクタスタイルのプロンプトを利用する。 C-インストラクタは生成した命令をより追従しやすくし、ランドマークオブジェクトの操作に対する制御性を高める。
  論文  参考訳（メタデータ） (2024-07-10T07:37:20Z)
• The SIFo Benchmark: Investigating the Sequential Instruction Following Ability of Large Language Models [48.455388608863785]
  本稿では,複数の命令を逐次的に追従するモデルの性能を評価するためのベンチマークを提案する。 我々のベンチマークは,4つのタスク(テキスト修正,質問応答,数学,セキュリティルール)を用いて,指示に従うことを評価する。 より最近のモデルでは、SIFoタスクにおいて、より古いモデルやより小さなモデルよりも大幅に優れており、ベンチマークの有効性が検証されている。
  論文  参考訳（メタデータ） (2024-06-28T15:34:26Z)
• From Symbolic Tasks to Code Generation: Diversification Yields Better Task Performers [1.6958018695660049]
  コードに関連するタスクを超えて、より多様な命令セットがコード生成のパフォーマンスを向上させることを示す。 我々の観察から,命令調整セットのより多様な意味空間が,命令に従う能力とタスクの実行能力を大幅に向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-05-30T07:54:07Z)
• Fine-tuning Large Language Models with Sequential Instructions [2.546845645875049]
  既存の命令調整モデルでは、複数の命令でクエリに応答するのに苦労していることがわかった。 我々は、微調整データの一部がシーケンシャルに関連したタスクの連鎖を含むべきであると論じる。 既存のデータセットの命令を多種多様な複雑なシーケンシャルな命令に変換することで、このプロセスを自動化する。 逐次指導チューニングを行ったモデルでは、符号化、数学、オープンエンド生成の結果が改善された。
  論文  参考訳（メタデータ） (2024-03-12T16:33:30Z)
• Instruction Diversity Drives Generalization To Unseen Tasks [1.9059113568275998]
  一般化は、タスク毎に非常に少数の例が提供されているにもかかわらず、一度に十分なタスクセットが提供されると現れる。 一般化は、タスク毎に非常に少数の例が提供されているにもかかわらず、一度に十分なタスクセットが提供されると現れる。
  論文  参考訳（メタデータ） (2024-02-16T18:47:21Z)
• Context-dependent Instruction Tuning for Dialogue Response Generation [61.21790201307179]
  最近の言語モデルは、微調整中にタスク入力に命令を組み込むことで、自然言語計算タスクにおいて顕著なパフォーマンスを実現している。 マルチターン対話のためのコンテキストベース命令微調整フレームワークを提案する。 評価中、モデルは以前の文脈に基づいて指示を生成し、応答を自己導出する。
  論文  参考訳（メタデータ） (2023-11-13T01:25:30Z)
• Ada-Instruct: Adapting Instruction Generators for Complex Reasoning [14.456571495691561]
  微調整により開発した適応型命令生成器であるAda-Instructを紹介する。 Ada-Instructの有効性をさまざまなアプリケーションで実証的に検証した。
  論文  参考訳（メタデータ） (2023-10-06T13:28:04Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Robustness of Learning from Task Instructions [15.462970803323563]
  従来の教師付き学習は、主に個々のタスクに取り組み、タスク固有の大きな例のトレーニングを必要とする。 新しいタスクに迅速かつ容易に一般化できるシステムを構築するために、タスク命令を監督の新たなトレンドとして採用している。 本研究は,新しいタスクの指示が (i) 操作された場合, (ii) 言い換えられた場合, (iii) 異なるレベルの簡潔さからシステムロバスト性を調べる。
  論文  参考訳（メタデータ） (2022-12-07T17:54:59Z)
• Improving Task Generalization via Unified Schema Prompt [87.31158568180514]
  Unified Promptはフレキシブルでプロンプトの手法で、タスク入力スキーマに従って各タスクの学習可能なプロンプトを自動的にカスタマイズする。 異なるタスクスキーマの特徴を維持しながら、タスク間の共有知識をモデル化する。 このフレームワークは、8つのタスクタイプから下流に見えない16のタスクに対して、強力なゼロショットと少数ショットのパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-05T15:26:36Z)
• Modular Networks for Compositional Instruction Following [102.152217117883]
  本稿では,多様なサブゴールのシーケンスを記述する自然言語命令に従うモジュールアーキテクチャを提案する。 実行すべきモジュールのシーケンスは、命令をセグメント化し、各セグメントのサブゴール型を予測することを学ぶことで選択される。 ALFREDの標準の非モジュラー列列列列法と比較すると、モジュラー化は新たなサブゴラル合成への一般化を改善することが判明した。
  論文  参考訳（メタデータ） (2020-10-24T03:48:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。