論文の概要: CoF-CoT: Enhancing Large Language Models with Coarse-to-Fine
Chain-of-Thought Prompting for Multi-domain NLU Tasks
- arxiv url: http://arxiv.org/abs/2310.14623v1
- Date: Mon, 23 Oct 2023 06:54:51 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-24 22:00:10.692318
- Title: CoF-CoT: Enhancing Large Language Models with Coarse-to-Fine
Chain-of-Thought Prompting for Multi-domain NLU Tasks
- Title(参考訳): CoF-CoT:マルチドメインNLUタスクのための粗いチェーン・オブ・ソートによる大規模言語モデルの強化
- Authors: Hoang H. Nguyen, Ye Liu, Chenwei Zhang, Tao Zhang, Philip S. Yu
- Abstract要約: Chain-of-Thoughtプロンプトは推論タスクで人気があるが、自然言語理解(NLU)への応用は未検討である。
大規模言語モデル (LLMs) の多段階的推論により動機付け, CoF-CoT (Coarse-to-Fine Chain-of-Thought) アプローチを提案する。
- 参考スコア(独自算出の注目度): 46.862929778121675
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: While Chain-of-Thought prompting is popular in reasoning tasks, its
application to Large Language Models (LLMs) in Natural Language Understanding
(NLU) is under-explored. Motivated by multi-step reasoning of LLMs, we propose
Coarse-to-Fine Chain-of-Thought (CoF-CoT) approach that breaks down NLU tasks
into multiple reasoning steps where LLMs can learn to acquire and leverage
essential concepts to solve tasks from different granularities. Moreover, we
propose leveraging semantic-based Abstract Meaning Representation (AMR)
structured knowledge as an intermediate step to capture the nuances and diverse
structures of utterances, and to understand connections between their varying
levels of granularity. Our proposed approach is demonstrated effective in
assisting the LLMs adapt to the multi-grained NLU tasks under both zero-shot
and few-shot multi-domain settings.
- Abstract(参考訳): Chain-of-Thoughtのプロンプトは推論タスクで人気があるが、自然言語理解(NLU)におけるLarge Language Models(LLMs)への応用は未定である。
llmsの多段階推論に動機づけられ,nluタスクを複数の推論ステップに分解し,llmが様々な粒度からタスクを解決するための必須概念を習得し活用する,粗粒間連鎖(cof-cot)アプローチを提案する。
さらに、意味に基づく抽象的意味表現(AMR)構造化知識を中間段階として活用して、発話のニュアンスや多様な構造を捉え、その粒度の異なる関係を理解することを提案する。
提案手法は、ゼロショットと少数ショットの両方のマルチドメイン設定の下で、多粒性NLUタスクへのLLMの適応を支援するのに有効である。
関連論文リスト
- Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。
我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。
提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
論文 参考訳(メタデータ) (2024-04-24T17:59:48Z) - DEEP-ICL: Definition-Enriched Experts for Language Model In-Context
Learning [61.85871109164743]
大規模言語モデル(LLM)におけるパラメータの多さは、コンテキスト内学習(ICL)の能力を促進すると長い間考えられてきた。
ICL のための新しいタスク定義拡張 ExPert Ensembling Method である DEEP-ICL を紹介する。
ICLの改善はモデルのサイズに直接依存するのではなく、基本的にはタスク定義やタスク誘導学習の理解に起因している、と我々は主張する。
論文 参考訳(メタデータ) (2024-03-07T05:26:41Z) - Structure Guided Prompt: Instructing Large Language Model in Multi-Step
Reasoning by Exploring Graph Structure of the Text [44.81698187939784]
本稿では,大規模言語モデル(LLM)の多段階推論能力向上を目的としたフレームワークであるStructure Guided Promptを紹介する。
実験の結果,このフレームワークはLLMの推論能力を大幅に向上し,より広い範囲の自然言語シナリオを拡張できることがわかった。
論文 参考訳(メタデータ) (2024-02-20T22:56:23Z) - LMRL Gym: Benchmarks for Multi-Turn Reinforcement Learning with Language
Models [56.25156596019168]
本稿では,LMRL-Gymベンチマークを用いて,大規模言語モデル(LLM)のマルチターンRLの評価を行う。
我々のベンチマークは8つの異なる言語タスクで構成されており、複数ラウンドの言語相互作用が必要であり、オープンエンド対話やテキストゲームにおける様々なタスクをカバーする。
論文 参考訳(メタデータ) (2023-11-30T03:59:31Z) - Chain-of-Thought Tuning: Masked Language Models can also Think Step By
Step in Natural Language Understanding [25.36416774024584]
Chain-of-Thought (CoT) は、Large Language Models (LLM) を自然言語形式の中間段階を通して多段階の推論へと導く技術である。
本稿では,即時チューニングに基づく2段階の推論フレームワークとしてChain-of-Thought (CoTT)を提案する。
論文 参考訳(メタデータ) (2023-10-18T05:39:20Z) - On the Performance of Multimodal Language Models [4.677125897916577]
本研究は、異なるマルチモーダル命令チューニングアプローチの比較分析を行う。
大規模言語モデルにマルチモーダル機能を組み込む際に,アーキテクチャ選択を導く上で重要な洞察を明らかにする。
論文 参考訳(メタデータ) (2023-10-04T23:33:36Z) - Corex: Pushing the Boundaries of Complex Reasoning through Multi-Model Collaboration [83.4031923134958]
Corexは,大規模言語モデルを自律エージェントに変換する,新たな汎用戦略スイートだ。
人間の振る舞いにインスパイアされたCorexは、Debate、Review、Retrieveモードといった多様なコラボレーションパラダイムによって構成されている。
我々は,複数のLDMを協調的に演奏することで,既存の手法に比べて性能が著しく向上することが実証された。
論文 参考訳(メタデータ) (2023-09-30T07:11:39Z) - FedLogic: Interpretable Federated Multi-Domain Chain-of-Thought Prompt
Selection for Large Language Models [43.88318022426977]
マルチドメインCoTプロンプト選択ジレンマの理論的形式化とインタラクティブエミュレーションを導入する。
FedLogicは、最初の解釈可能で原則化された多ドメインCoTプロンプト選択アプローチである。
論文 参考訳(メタデータ) (2023-08-29T14:20:17Z) - Recursion of Thought: A Divide-and-Conquer Approach to Multi-Context
Reasoning with Language Models [58.41943058963672]
我々はRecursion of Thought (RoT)と呼ばれる新しい推論フレームワークを提案する。
RoTはいくつかの特別なトークンを導入し、モデルが出力してコンテキスト関連の操作をトリガーする。
GPT-3を含む複数のアーキテクチャの実験により、RoTは問題を解くためにLMの推論能力を劇的に改善した。
論文 参考訳(メタデータ) (2023-06-12T06:34:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。