論文の概要: Improving Cross-Task Generalization with Step-by-Step Instructions

• arxiv url: http://arxiv.org/abs/2305.04429v1
• Date: Mon, 8 May 2023 02:50:41 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-09 15:54:27.466286
• Title: Improving Cross-Task Generalization with Step-by-Step Instructions
• Title（参考訳）: ステップバイステップ命令によるクロスタスク一般化の改善
• Authors: Yang Wu, Yanyan Zhao, Zhongyang Li, Bing Qin, Kai Xiong
• Abstract要約: 本稿では,言語モデルによるタスクの分解を支援するために,ステップバイステップ命令を導入することを提案する。 ステップバイステップ命令は、ChatGPTをプロンプトすることで自動的に得られる。 SUP-NATINSTの実験により、高品質なステップバイステップ命令は、異なるモデルサイズにわたるクロスタスクの一般化を改善することができることが示された。
• 参考スコア（独自算出の注目度）: 25.081391266289046
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Instruction tuning has been shown to be able to improve cross-task generalization of language models. However, it is still challenging for language models to complete the target tasks following the instructions, as the instructions are general and lack intermediate steps. To address this problem, we propose to incorporate the step-by-step instructions to help language models to decompose the tasks, which can provide the detailed and specific procedures for completing the target tasks. The step-by-step instructions are obtained automatically by prompting ChatGPT, which are further combined with the original instructions to tune language models. The extensive experiments on SUP-NATINST show that the high-quality step-by-step instructions can improve cross-task generalization across different model sizes. Moreover, the further analysis indicates the importance of the order of steps of the step-by-step instruction for the improvement. To facilitate future research, we release the step-by-step instructions and their human quality evaluation results.
• Abstract（参考訳）: インストラクションチューニングは、言語モデルのクロスタスク一般化を改善することができる。 しかし、命令が一般的であり、中間ステップが欠如しているため、言語モデルが命令に従うターゲットタスクを完了することは依然として困難である。 この問題に対処するため,我々は,言語モデルがタスクを分解するのを助けるためのステップバイステップ命令を組み込むことを提案し,目的とするタスクを完了するための詳細かつ具体的な手順を提供する。 ステップバイステップ命令は、chatgptを促すことによって自動的に得られ、さらに元の命令と組み合わせて言語モデルをチューニングする。 SUP-NATINSTの広範な実験により、高品質なステップバイステップ命令が、異なるモデルサイズにわたるクロスタスク一般化を改善することが示されている。 さらに、さらなる分析は、改善のためのステップバイステップ命令のステップ順の重要性を示している。 今後の研究を容易にするため、ステップバイステップの指示と人的品質評価結果をリリースする。

関連論文リスト

• NaturalVLM: Leveraging Fine-grained Natural Language for Affordance-Guided Visual Manipulation [21.02437461550044]
  多くの実世界のタスクは複雑な多段階推論を必要とする。 15個の異なる操作タスクからなるベンチマークであるNrVLMを導入する。 そこで本研究では,操作タスクをステップバイステップで完了させる新しい学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-13T09:12:16Z)
• Fine-tuning Large Language Models with Sequential Instructions [2.546845645875049]
  既存の命令調整モデルでは、複数の命令でクエリに応答するのに苦労していることがわかった。 我々は、微調整データの一部がシーケンシャルに関連したタスクの連鎖を含むべきであると論じる。 既存のデータセットの命令を多種多様な複雑なシーケンシャルな命令に変換することで、このプロセスを自動化する。 逐次指導チューニングを行ったモデルでは、符号化、数学、オープンエンド生成の結果が改善された。
  論文  参考訳（メタデータ） (2024-03-12T16:33:30Z)
• Chain-of-Instructions: Compositional Instruction Tuning on Large Language Models [15.444719480373001]
  チェーン・オブ・インストラクション(CoI)と呼ばれる新しい構成命令の概念を提案する。 従来の単一命令タスクの解法とは異なり,提案手法では各サブタスクを段階的に解き,最終的な解答に到達するまで解き明かす。 CoIチューニングは、複数のサブタスクからなる命令と、多言語要約のような目に見えない複合タスクを扱うモデルの能力を改善する。
  論文  参考訳（メタデータ） (2024-02-18T10:10:40Z)
• Interactive Task Planning with Language Models [97.86399877812923]
  対話型ロボットフレームワークは、長期のタスクプランニングを達成し、実行中であっても、新しい目標や異なるタスクに容易に一般化することができる。 最近の大規模言語モデルに基づくアプローチは、よりオープンな計画を可能にするが、多くの場合、重いプロンプトエンジニアリングやドメイン固有の事前訓練されたモデルを必要とする。 本稿では,言語モデルを用いた対話型タスクプランニングを実現するためのシンプルなフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-10-16T17:59:12Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Learning and Verification of Task Structure in Instructional Videos [85.511888642497]
  本稿では,教師ビデオのセマンティクスと構造を表現することに焦点を当てた,事前学習型ビデオモデルVideoTaskformerを紹介する。 ステップ表現をローカルに学習する以前の作業と比較して,私たちのアプローチは,それらをグローバルに学習するものです。 命令ビデオにおける誤り検出のための2つの新しいベンチマークを導入し,異常なステップが存在するか,ステップが正しい順序で実行されるかを確認する。
  論文  参考訳（メタデータ） (2023-03-23T17:59:54Z)
• Unsupervised Task Graph Generation from Instructional Video Transcripts [53.54435048879365]
  本研究では,実世界の活動を行う指導ビデオのテキスト書き起こしを提供する環境について考察する。 目標は、これらの重要なステップ間の依存関係関係と同様に、タスクに関連する重要なステップを特定することです。 本稿では,命令調整言語モデルの推論能力とクラスタリングとランキングコンポーネントを組み合わせたタスクグラフ生成手法を提案する。
  論文  参考訳（メタデータ） (2023-02-17T22:50:08Z)
• Generating Intermediate Steps for NLI with Next-Step Supervision [15.425765421938447]
  我々は、NLI前提と仮説ペアが与えられた次のステップのみを生成するためにシーケンス・ツー・シーケンスモデルを訓練する。 次に、外部知識と記号探索により強化し、次段階の監督のみで中間段階を生成する。 自動検証と人的検証によって生成したステップの正しさを示す。
  論文  参考訳（メタデータ） (2022-08-31T05:25:33Z)
• Improving Task Generalization via Unified Schema Prompt [87.31158568180514]
  Unified Promptはフレキシブルでプロンプトの手法で、タスク入力スキーマに従って各タスクの学習可能なプロンプトを自動的にカスタマイズする。 異なるタスクスキーマの特徴を維持しながら、タスク間の共有知識をモデル化する。 このフレームワークは、8つのタスクタイプから下流に見えない16のタスクに対して、強力なゼロショットと少数ショットのパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-08-05T15:26:36Z)
• Benchmarking Generalization via In-Context Instructions on 1,600+ Language Tasks [95.06087720086133]
  Natural-Instructions v2 は 1,600 以上の多種多様な言語タスクとその専門家による命令のコレクションである。 ベンチマークでは、タグ付け、インフィル、書き換えなど、70以上の異なるタスクタイプがカバーされている。 このベンチマークにより、モデルのクロスタスク一般化の大規模評価が可能になる。
  論文  参考訳（メタデータ） (2022-04-16T03:12:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。