論文の概要: Chain-of-Instructions: Compositional Instruction Tuning on Large
Language Models
- arxiv url: http://arxiv.org/abs/2402.11532v1
- Date: Sun, 18 Feb 2024 10:10:40 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 20:33:01.395762
- Title: Chain-of-Instructions: Compositional Instruction Tuning on Large
Language Models
- Title(参考訳): chain-of-instruction:大規模言語モデルにおける合成命令チューニング
- Authors: Shirley Anugrah Hayati, Taehee Jung, Tristan Bodding-Long, Sudipta
Kar, Abhinav Sethy, Joo-Kyung Kim, Dongyeop Kang
- Abstract要約: チェーン・オブ・インストラクション(CoI)と呼ばれる新しい構成命令の概念を提案する。
従来の単一命令タスクの解法とは異なり,提案手法では各サブタスクを段階的に解き,最終的な解答に到達するまで解き明かす。
CoIチューニングは、複数のサブタスクからなる命令を処理するモデルの能力を改善する。
- 参考スコア(独自算出の注目度): 16.21920606888427
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Fine-tuning large language models (LLMs) with a collection of large and
diverse instructions has improved the model's generalization to different
tasks, even for unseen tasks. However, most existing instruction datasets
include only single instructions, and they struggle to follow complex
instructions composed of multiple subtasks (Wang et al., 2023a). In this work,
we propose a novel concept of compositional instructions called
chain-of-instructions (CoI), where the output of one instruction becomes an
input for the next like a chain. Unlike the conventional practice of solving
single instruction tasks, our proposed method encourages a model to solve each
subtask step by step until the final answer is reached. CoI-tuning (i.e.,
fine-tuning with CoI instructions) improves the model's ability to handle
instructions composed of multiple subtasks. CoI-tuned models also outperformed
baseline models on multilingual summarization, demonstrating the
generalizability of CoI models on unseen composite downstream tasks.
- Abstract(参考訳): 大型言語モデル(llm)を大規模で多様な命令の集合で微調整することで、モデルの異なるタスクへの一般化が改善される。
しかし、既存の命令データセットの多くは単一の命令のみを含み、複数のサブタスク(Wang et al., 2023a)からなる複雑な命令に従うのに苦労している。
本稿では、1つの命令の出力がチェーンのように次の命令の入力となるような合成命令の新たな概念であるchain-of-instructions(coi)を提案する。
従来の単一命令タスクの解法とは異なり,提案手法では各サブタスクを段階的に解き,最終的な解答に到達するまで解き明かす。
CoIチューニング(CoI命令による微調整)は、複数のサブタスクからなる命令を処理するモデルの能力を向上させる。
coi調律モデルはまた、多言語要約のベースラインモデルよりも優れており、非知覚の複合下流タスクにおけるcoiモデルの一般化性を示している。
関連論文リスト
- MineDreamer: Learning to Follow Instructions via Chain-of-Imagination for Simulated-World Control [53.20509532671891]
我々はMinecraftシミュレータ上に構築されたオープンなエンボディエージェントであるMineDreamerを紹介する。
命令実行のステップバイステップを想定するために,CoI(Chain-of-Imagination)機構を用いる。
実験では、MineDreamerは単段階と多段階の命令を着実に従っている。
論文 参考訳(メタデータ) (2024-03-18T17:59:42Z) - Fine-tuning Large Language Models with Sequential Instructions [2.8967653906025426]
大きな言語モデル(LLM)は、その一部を無視したり誤解させたりするため、単一のクエリで命令列に従うのに苦労する。
本稿では,命令処理データを自動的に拡張し,複数の逐次命令を実行する能力を備えたLCMを装備するシーケンシャル命令チューニング手法を提案する。
逐次的命令調整モデルは、推論、多言語、マルチモーダル能力を含む下流タスクにおいて、従来の命令調整ベースラインを一貫して上回ります。
論文 参考訳(メタデータ) (2024-03-12T16:33:30Z) - INSTRAUG: Automatic Instruction Augmentation for Multimodal Instruction
Fine-tuning [28.667060630303183]
本研究では,マルチモーダルタスクにおいて,INSTRAUGという自動命令拡張手法を導入する。
2つの人気のあるマルチモーダル命令フォローベンチマークの結果、INSTRAUGは12のマルチモーダルタスク間でのMLLM(Multimodal Large Language Model)のアライメントを大幅に改善できることが示された。
論文 参考訳(メタデータ) (2024-02-22T12:35:50Z) - Instruction Diversity Drives Generalization To Unseen Tasks [1.9059113568275998]
一般化は、タスク毎に非常に少数の例が提供されているにもかかわらず、一度に十分なタスクセットが提供されると現れる。
一般化は、タスク毎に非常に少数の例が提供されているにもかかわらず、一度に十分なタスクセットが提供されると現れる。
論文 参考訳(メタデータ) (2024-02-16T18:47:21Z) - Instruction Position Matters in Sequence Generation with Large Language
Models [67.87516654892343]
大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。
入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
論文 参考訳(メタデータ) (2023-08-23T12:36:57Z) - On Conditional and Compositional Language Model Differentiable Prompting [75.76546041094436]
プロンプトは、下流タスクでうまく機能するために、凍結した事前訓練言語モデル(PLM)を適応するための効果的な方法であることが示されている。
タスク命令や入力メタデータを連続的なプロンプトに変換することを学習する新しいモデル Prompt Production System (PRopS) を提案する。
論文 参考訳(メタデータ) (2023-07-04T02:47:42Z) - Mixture-of-Experts Meets Instruction Tuning:A Winning Combination for
Large Language Models [125.91897197446379]
MoEモデルは高密度モデルよりも命令チューニングの恩恵を受ける。
我々の最も強力なモデルであるFLAN-MOE-32Bは、4つのベンチマークタスクにおけるFLAN-PALM-62Bの性能を上回る。
論文 参考訳(メタデータ) (2023-05-24T04:22:26Z) - MultiInstruct: Improving Multi-Modal Zero-Shot Learning via Instruction
Tuning [24.741736629886564]
インストラクションチューニングは、命令によって指定されたタスクで事前訓練された言語モデルを微調整する新しい学習パラダイムである。
MUL-TIINSTRUCTは,最初のマルチモーダル・インストラクション・チューニング・ベンチマーク・データセットである。
各種マルチモーダルタスクにおけるゼロショット性能と,テキストのみの命令データセットからの変換学習の利点を示す。
論文 参考訳(メタデータ) (2022-12-21T05:17:06Z) - OFASys: A Multi-Modal Multi-Task Learning System for Building Generalist
Models [72.8156832931841]
ジェネリストモデルは、単一のモデル内でタスクに依存しない方法で多様なマルチモーダルタスクを実行することができる。
マルチモーダル命令と呼ばれる宣言型タスクインタフェース上に構築された汎用モデル学習システムOFASysをリリースする。
論文 参考訳(メタデータ) (2022-12-08T17:07:09Z) - Benchmarking Generalization via In-Context Instructions on 1,600+
Language Tasks [95.06087720086133]
Natural-Instructions v2 は 1,600 以上の多種多様な言語タスクとその専門家による命令のコレクションである。
ベンチマークでは、タグ付け、インフィル、書き換えなど、70以上の異なるタスクタイプがカバーされている。
このベンチマークにより、モデルのクロスタスク一般化の大規模評価が可能になる。
論文 参考訳(メタデータ) (2022-04-16T03:12:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。