論文の概要: Chain-of-Thought Tuning: Masked Language Models can also Think Step By Step in Natural Language Understanding

• arxiv url: http://arxiv.org/abs/2310.11721v1
• Date: Wed, 18 Oct 2023 05:39:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-19 17:49:32.123751
• Title: Chain-of-Thought Tuning: Masked Language Models can also Think Step By Step in Natural Language Understanding
• Title（参考訳）: Chain-of-Thought Tuning: Masked Language Modelsは自然言語理解のステップバイステップで考えることもできる
• Authors: Caoyun Fan, Jidong Tian, Yitian Li, Wenqing Chen, Hao He, Yaohui Jin
• Abstract要約: Chain-of-Thought (CoT) は、Large Language Models (LLM) を自然言語形式の中間段階を通して多段階の推論へと導く技術である。 本稿では,即時チューニングに基づく2段階の推論フレームワークとしてChain-of-Thought (CoTT)を提案する。
• 参考スコア（独自算出の注目度）: 25.36416774024584
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Chain-of-Thought (CoT) is a technique that guides Large Language Models (LLMs) to decompose complex tasks into multi-step reasoning through intermediate steps in natural language form. Briefly, CoT enables LLMs to think step by step. However, although many Natural Language Understanding (NLU) tasks also require thinking step by step, LLMs perform less well than small-scale Masked Language Models (MLMs). To migrate CoT from LLMs to MLMs, we propose Chain-of-Thought Tuning (CoTT), a two-step reasoning framework based on prompt tuning, to implement step-by-step thinking for MLMs on NLU tasks. From the perspective of CoT, CoTT's two-step framework enables MLMs to implement task decomposition; CoTT's prompt tuning allows intermediate steps to be used in natural language form. Thereby, the success of CoT can be extended to NLU tasks through MLMs. To verify the effectiveness of CoTT, we conduct experiments on two NLU tasks: hierarchical classification and relation extraction, and the results show that CoTT outperforms baselines and achieves state-of-the-art performance.
• Abstract（参考訳）: CoT(Chain-of-Thought)は、Large Language Models (LLM) を誘導し、複雑なタスクを自然言語形式の中間ステップを通じて多段階の推論に分解する技法である。 簡単に言うと、CoTはLLMをステップバイステップで考えることを可能にする。 しかし、多くの自然言語理解(NLU)タスクもステップバイステップで考える必要があるが、LLMは小規模のマスケッド言語モデル(MLM)よりも性能が低い。 LLM から MLM へ CoT を移行させるため,NLU タスク上での MLM のステップバイステップ思考を実現するために,プロンプトチューニングに基づく2段階推論フレームワークである Chain-of-Thought Tuning (CoTT) を提案する。 CoTの観点からは、CoTTの2段階フレームワークは、MLMがタスク分解を実装することを可能にする。 これにより、COT の成功は MLM を通して NLU タスクに拡張できる。 CoTTの有効性を検証するために、階層分類と関係抽出という2つのNLUタスクの実験を行い、その結果、CoTTがベースラインを上回り、最先端の性能を達成することを示す。

関連論文リスト

• Q*: Improving Multi-step Reasoning for LLMs with Deliberative Planning [53.6472920229013]
  大規模言語モデル(LLM)は多くの自然言語タスクにおいて印象的な能力を示している。 LLMは多段階推論を行う際にエラー、幻覚、矛盾する文を生成する傾向がある。 本稿では,LLMの復号化過程を検討計画で導くためのフレームワークであるQ*を紹介する。
  論文  参考訳（メタデータ） (2024-06-20T13:08:09Z)
• SiLLM: Large Language Models for Simultaneous Machine Translation [41.303764786790616]
  同時機械翻訳(SiMT)は、原文を読みながら翻訳を生成する。 既存のSiMT手法では、ポリシーを同時に決定し、翻訳を生成するために単一のモデルを採用している。 我々は2つのサブタスクを別々のエージェントに委譲するSiLLMを提案する。
  論文  参考訳（メタデータ） (2024-02-20T14:23:34Z)
• Can Separators Improve Chain-of-Thought Prompting? [10.398343318429367]
  CoTプロンプトは大規模言語モデル(LLM)の推論能力を改善するためのシンプルで効果的な方法である 人間の認知にインスパイアされたCOT-SEP(COT-SEP)は,CoTプロンプトにおける各指数の最後にセパレータを戦略的に採用する手法である。
  論文  参考訳（メタデータ） (2024-02-16T12:46:16Z)
• A Framework to Implement 1+N Multi-task Fine-tuning Pattern in LLMs Using the CGC-LORA Algorithm [7.521690071464451]
  大規模言語モデル (LLM) において, 1 + N mutli-task の微調整パターンを実装する統一フレームワークを提案する。 我々の研究は、MPL(CGC)とPEFT(LoRA)の両方の利点を享受することを目的としている。
  論文  参考訳（メタデータ） (2024-01-22T07:58:31Z)
• kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest Neighbor In-Context Learning [50.40636157214161]
  Task-Oriented Parsing (TOP)により、会話アシスタントは自然言語で表現されたユーザーコマンドを解釈できる。 LLMは、自然言語のプロンプトに基づいて、コンピュータプログラムにおいて印象的な性能を達成した。 本稿では,LLMのセマンティック解析機能を活用することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-12-17T17:26:50Z)
• ADaPT: As-Needed Decomposition and Planning with Language Models [131.063805299796]
  As-Needed Decomposition and Planning for Complex Tasks (ADaPT)について紹介する。 ADaPTは、Large Language Modelsがそれらを実行できない場合、複雑なサブタスクを明示的に計画し、分解する。 以上の結果から,ADaPTは強いベースラインを確立した。
  論文  参考訳（メタデータ） (2023-11-08T17:59:15Z)
• CoF-CoT: Enhancing Large Language Models with Coarse-to-Fine Chain-of-Thought Prompting for Multi-domain NLU Tasks [46.862929778121675]
  Chain-of-Thoughtプロンプトは推論タスクで人気があるが、自然言語理解(NLU)への応用は未検討である。 大規模言語モデル (LLMs) の多段階的推論により動機付け, CoF-CoT (Coarse-to-Fine Chain-of-Thought) アプローチを提案する。
  論文  参考訳（メタデータ） (2023-10-23T06:54:51Z)
• SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
  本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。 我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。 我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-16T17:55:51Z)
• Learning to Plan with Natural Language [111.76828049344839]
  大規模言語モデル(LLM)は、様々な基本自然言語タスクにおいて顕著な性能を示している。 複雑なタスクを完了するためには、ステップごとに特定のソリューションを生成するためにLCMをガイドするタスクの計画が必要です。 本研究では,(1)第1学習課題計画フェーズにおいて,LCMが学習エラーフィードバックから導出するように促した新たなステップバイステップのソリューションと行動指示を用いてタスク計画を反復的に更新する,という2つの段階を含む学習計画手法を提案する。
  論文  参考訳（メタデータ） (2023-04-20T17:09:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。