論文の概要: Dissecting Chain-of-Thought: A Study on Compositional In-Context
Learning of MLPs
- arxiv url: http://arxiv.org/abs/2305.18869v1
- Date: Tue, 30 May 2023 09:02:00 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-31 17:20:10.029965
- Title: Dissecting Chain-of-Thought: A Study on Compositional In-Context
Learning of MLPs
- Title(参考訳): 解離連鎖:MDPの構成的インコンテキスト学習に関する研究
- Authors: Yingcong Li, Kartik Sreenivasan, Angeliki Giannou, Dimitris
Papailiopoulos, Samet Oymak
- Abstract要約: CoT(Chain-of-Thought)は、言語モデルが複雑な推論タスクを単純なステップに分解することで処理できるようにする手法である。
本研究では,CoTがコンテクスト内変換能力に与える影響について検討した。
- 参考スコア(独自算出の注目度): 22.72415848314236
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Chain-of-thought (CoT) is a method that enables language models to handle
complex reasoning tasks by decomposing them into simpler steps. Despite its
success, the underlying mechanics of CoT are not yet fully understood. In an
attempt to shed light on this, our study investigates the impact of CoT on the
ability of transformers to in-context learn a simple to study, yet general
family of compositional functions: multi-layer perceptrons (MLPs). In this
setting, we reveal that the success of CoT can be attributed to breaking down
in-context learning of a compositional function into two distinct phases:
focusing on data related to each step of the composition and in-context
learning the single-step composition function. Through both experimental and
theoretical evidence, we demonstrate how CoT significantly reduces the sample
complexity of in-context learning (ICL) and facilitates the learning of complex
functions that non-CoT methods struggle with. Furthermore, we illustrate how
transformers can transition from vanilla in-context learning to mastering a
compositional function with CoT by simply incorporating an additional layer
that performs the necessary filtering for CoT via the attention mechanism. In
addition to these test-time benefits, we highlight how CoT accelerates
pretraining by learning shortcuts to represent complex functions and how
filtering plays an important role in pretraining. These findings collectively
provide insights into the mechanics of CoT, inviting further investigation of
its role in complex reasoning tasks.
- Abstract(参考訳): CoT(Chain-of-Thought)は、言語モデルが複雑な推論タスクを単純なステップに分解することで処理できるようにする手法である。
その成功にもかかわらず、CoTの基盤となる力学はまだ完全には理解されていない。
そこで本研究では, コンテクスト内コンテクスト変換におけるCoTの影響について検討し, 多層パーセプトロン(MLP)の一般的な構成関数群について検討した。
本稿では,CoTの成功は,構成関数の文脈内学習を,構成関数の各ステップに関連するデータと,単一ステップの構成関数のコンテキスト内学習の2つの相に分解することに起因することを示す。
実験的および理論的証拠により、CoTがコンテキスト内学習(ICL)のサンプル複雑性を著しく低減し、非CoT手法が抱える複雑な関数の学習を容易にすることを示す。
さらに,注意機構を介してCoTに必要なフィルタリングを行う付加層を単に組み込むことで,変換器がバニラ・イン・コンテキスト学習からCoTによる合成関数の習得へ移行する方法について述べる。
これらのテストタイムのメリットに加えて、CoTが複雑な関数を表現するためにショートカットを学習することで事前トレーニングを加速し、事前トレーニングにおいてフィルタリングが重要な役割を担っているかを強調した。
これらの知見は総合的にCoTの力学に関する洞察を与え、複雑な推論タスクにおけるCoTの役割についてさらなる研究を促している。
関連論文リスト
- ChainLM: Empowering Large Language Models with Improved Chain-of-Thought Prompting [124.69672273754144]
CoT(Chain-of-Thought)のプロンプトにより,大規模言語モデル(LLM)の推論能力が向上する
既存のCoTアプローチは通常、単純な推論タスクに重点を置いており、結果として低品質で一貫性のないCoTプロンプトをもたらす。
優れたCoTプロンプトの自動生成のための新しいフレームワークであるCoTGeniusを紹介する。
論文 参考訳(メタデータ) (2024-03-21T11:34:26Z) - AS-ES Learning: Towards Efficient CoT Learning in Small Models [35.225382243612174]
CoT(Chain-of-Thought)は,大規模言語モデル(LLM)において重要な出現能力として機能する
本稿では,CoT内固有の情報を反復生成に活用したAS-ES学習手法を提案する。
実験により,データ拡張やモデル自体の変更を伴わずに,MWPやPET要約などのCoT集約タスクにおけるSeq2seqトレーニングを超越した手法が得られた。
論文 参考訳(メタデータ) (2024-03-04T12:13:59Z) - How Do Transformers Learn In-Context Beyond Simple Functions? A Case
Study on Learning with Representations [98.7450564309923]
本稿では、より複雑なシナリオにおける文脈内学習(ICL)の理解を、表現を用いた学習で研究する。
合成文内学習問題を合成構造を用いて構築し、ラベルは複雑なが固定された表現関数によって入力に依存する。
理論的には、そのようなアルゴリズムを軽度な深さと大きさでほぼ実装するトランスフォーマーの存在を示す。
論文 参考訳(メタデータ) (2023-10-16T17:40:49Z) - T-SciQ: Teaching Multimodal Chain-of-Thought Reasoning via Mixed Large
Language Model Signals for Science Question Answering [59.63860993280275]
大規模言語モデル(LLM)は、様々な自然言語処理(NLP)タスクにおいて例外的な性能を示した。
LLM信号を用いた科学質問応答の指導を目的とした,T-SciQと呼ばれる新しい手法を提案する。
提案手法は,ScienceQAベンチマークで96.18%の精度で,最先端のパフォーマンスを実現する。
論文 参考訳(メタデータ) (2023-05-05T11:56:30Z) - Towards Understanding Chain-of-Thought Prompting: An Empirical Study of
What Matters [82.84696222087396]
CoT(Chain-of-Thought)の促進により,大規模言語モデル(LLM)の多段階推論能力が劇的に向上する
無効な実演でもCoT推論が可能であることを示す。
論文 参考訳(メタデータ) (2022-12-20T05:20:54Z) - Learning to Perform Complex Tasks through Compositional Fine-Tuning of
Language Models [20.173322408302134]
構成微調整は、対象タスクをコンポーネントタスクに明示的に分解するアプローチである。
CFTは、同じ量のデータでもエンド・ツー・エンドの学習より優れていることを示す。
論文 参考訳(メタデータ) (2022-10-23T03:22:34Z) - What Can Transformers Learn In-Context? A Case Study of Simple Function
Classes [67.06980111346245]
インコンテキスト学習(In-context learning)とは、インコンテキストの例からなるプロンプトシーケンスでモデルに条件を付ける能力である。
我々は,標準変換器をスクラッチから訓練して,線形関数の文脈内学習を行うことを示した。
また、タスク固有の学習アルゴリズムに適合または超越したパフォーマンスで、より複雑な関数クラスをコンテキスト内で学習できるようにトランスフォーマーを訓練できることも示している。
論文 参考訳(メタデータ) (2022-08-01T18:01:40Z) - Lifelong Machine Learning of Functionally Compositional Structures [7.99536002595393]
この論文は、機能的な構成構造の生涯学習のための汎用的な枠組みを提示する。
このフレームワークは、学習を2つの段階に分ける: 既存のコンポーネントを組み合わせて新しい問題を同化する方法を学び、新しい問題に対応するために既存のコンポーネントを適応する方法を学ぶ。
教師付き学習評価の結果,1)構成モデルでは,多様なタスクの生涯学習が向上し,2)多段階のプロセスでは構成知識の生涯学習が可能となり,3)フレームワークが学習するコンポーネントは自己完結的かつ再利用可能な機能を表すことがわかった。
論文 参考訳(メタデータ) (2022-07-25T15:24:25Z) - Unveiling Transformers with LEGO: a synthetic reasoning task [23.535488809197787]
我々は、トランスフォーマーアーキテクチャが推論の連鎖に従うことを学ぶ方法について研究する。
一部のデータ構造では、訓練されたトランスフォーマーは、推論の連鎖に従う"ショートカット"ソリューションを見つける。
このようなショートカットが適切なアーキテクチャ修正やデータ準備によって防止できることが分かりました。
論文 参考訳(メタデータ) (2022-06-09T06:30:17Z) - Learn to Synchronize, Synchronize to Learn [17.410653711408827]
本稿では,Reservoir Computing (RC) を訓練して汎用的なタスクを解く際に,一般化同期が果たす役割を分析する。
GSは,入力信号を生成するシステムをその力学に正しくエンコードする方法を示す。
また、このプロセスにおいてエルゴード性が果たす役割についても検討し、その存在によって学習結果が複数の入力軌跡に適用できることを示す。
論文 参考訳(メタデータ) (2020-10-06T16:29:18Z) - Task-Feature Collaborative Learning with Application to Personalized
Attribute Prediction [166.87111665908333]
本稿では,TFCL(Task-Feature Collaborative Learning)と呼ばれる新しいマルチタスク学習手法を提案する。
具体的には、まず、特徴とタスクの協調的なグループ化を活用するために、不均一なブロック対角構造正規化器を用いたベースモデルを提案する。
実際の拡張として,重なり合う機能と難易度を区別することで,基本モデルを拡張します。
論文 参考訳(メタデータ) (2020-04-29T02:32:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。