論文の概要: LogiCoT: Logical Chain-of-Thought Instruction-Tuning
- arxiv url: http://arxiv.org/abs/2305.12147v2
- Date: Sat, 28 Oct 2023 04:22:58 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-31 22:28:25.251516
- Title: LogiCoT: Logical Chain-of-Thought Instruction-Tuning
- Title(参考訳): LogiCoT: 論理的チェーン・オブ・サートインストラクション・チューニング
- Authors: Hanmeng Liu, Zhiyang Teng, Leyang Cui, Chaoli Zhang, Qiji Zhou, Yue
Zhang
- Abstract要約: Generative Pre-trained Transformer 4 (GPT-4) は印象的な連鎖推論能力を示す。
本稿では,GPT-4を用いたロジカル・チェーン・オブ・ソート推論のための新しい命令チューニングデータセットであるLogiCoTを提案する。
- 参考スコア(独自算出の注目度): 40.25265354533339
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Generative Pre-trained Transformer 4 (GPT-4) demonstrates impressive
chain-of-thought reasoning ability. Recent work on self-instruction tuning,
such as Alpaca, has focused on enhancing the general proficiency of models.
These instructions enable the model to achieve performance comparable to
GPT-3.5 on general tasks like open-domain text generation and paraphrasing.
However, they fall short of helping the model handle complex reasoning tasks.
To bridge the gap, this paper presents LogiCoT, a new instruction-tuning
dataset for Logical Chain-of-Thought reasoning with GPT-4. We elaborate on the
process of harvesting instructions for prompting GPT-4 to generate
chain-of-thought rationales. LogiCoT serves as an instruction set for teaching
models of logical reasoning and elicits general reasoning skills.
- Abstract(参考訳): Generative Pre-trained Transformer 4 (GPT-4) は印象的な連鎖推論能力を示す。
近年のAlpacaのような自己指導型チューニングの研究は、モデルの汎用性の向上に重点を置いている。
これらの命令により、open-domain text generationやparaphrasingといった一般的なタスクでgpt-3.5に匹敵するパフォーマンスを実現することができる。
しかし、モデルが複雑な推論タスクを処理するのを助けるのには不足している。
このギャップを埋めるために,GPT-4を用いた論理的連鎖推論のための新しい命令チューニングデータセットであるLogiCoTを提案する。
我々は,GPT-4に連鎖論理を生成するための指示を抽出する過程について詳述する。
logicotは論理推論のモデルを教えるための命令セットであり、一般的な推論スキルを引き出す。
関連論文リスト
- Self-Discover: Large Language Models Self-Compose Reasoning Structures [136.48389510481758]
タスク固有の推論構造を自己発見するフレームワークであるSELF-DISCOVERを紹介する。
SELF-DISCOVERは、挑戦的推論ベンチマークにおいて、GPT-4とPaLM 2の性能を大幅に改善する。
自己発見推論構造は、モデルファミリー全体にわたって普遍的に適用可能であることを示す。
論文 参考訳(メタデータ) (2024-02-06T01:13:53Z) - Prompt Engineering or Fine Tuning: An Empirical Assessment of Large
Language Models in Automated Software Engineering Tasks [8.223311621898983]
対話型プロンプトを持つ GPT-4 は, 自動プロンプト戦略を持つ GPT-4 に比べて劇的な改善を示した。
完全に自動化されたプロンプトエンジニアリング ループに人間はいない より多くの研究と改善が必要です
論文 参考訳(メタデータ) (2023-10-11T00:21:00Z) - Contrastive Post-training Large Language Models on Data Curriculum [62.24656753529541]
複数のモデルから選好ペアを自動的に構築することで、アライメントのための対照的なポストトレーニング手法を検討する。
また、コントラスト的なポストトレーニングのためのデータカリキュラムの学習手法についても検討し、"より簡単な"ペアから学び、"よりハード"なものに移行することから始めます。
対照的にポストトレーニングは、既にGPT-4出力をチューニングした最先端の教育学習モデルであるOrcaの性能をさらに向上させ、ChatGPTよりも優れている。
論文 参考訳(メタデータ) (2023-10-03T17:59:46Z) - Certified Deductive Reasoning with Language Models [37.51289654360009]
Emphguidesと呼ばれる言語モデルのためのツールのクラスを導入し、ステートとインクリメンタルな制約を使って生成をガイドします。
モデルによってガイドを呼び出すことで、自身の生成を有効なステートメントのセットに制約することができる。
論理的推論のための一般的なシステムが,textscLogicGuideと呼ばれるガイドとしてどのように使用できるかを示す。
論文 参考訳(メタデータ) (2023-06-06T21:49:00Z) - Query Structure Modeling for Inductive Logical Reasoning Over Knowledge
Graphs [67.043747188954]
KGに対する帰納的論理的推論のための構造モデル付きテキスト符号化フレームワークを提案する。
線形化されたクエリ構造とエンティティを、事前訓練された言語モデルを使ってエンコードして、回答を見つける。
2つの帰納的論理推論データセットと3つの帰納的推論データセットについて実験を行った。
論文 参考訳(メタデータ) (2023-05-23T01:25:29Z) - Abstract Meaning Representation-Based Logic-Driven Data Augmentation for
Logical Reasoning [27.889856898725526]
本稿では,論理駆動型データ拡張手法AMR-LDAを提案する。
AMR-LDAは元のテキストを抽象的意味表現(AMR)グラフに変換する。
修正されたAMRグラフは、拡張データを生成するためにテキストに変換される。
論文 参考訳(メタデータ) (2023-05-21T23:16:26Z) - Evaluating the Logical Reasoning Ability of ChatGPT and GPT-4 [14.928504625782184]
この記事では、LogiQAやReClorといった一般的なベンチマークと、新たにリリースされたAR-LSATなどのデータセットを用いて、複数の論理推論データセットを分析します。
我々は、論理的推論を必要とするベンチマークを用いて、多選択読解と自然言語推論タスクをテストする。
実験結果から,ChatGPTは,ほとんどの論理的推論ベンチマークにおいて,RoBERTaファインチューニング法よりも優れた性能を示した。
論文 参考訳(メタデータ) (2023-04-07T01:37:45Z) - Instruction Tuning with GPT-4 [107.55078894215798]
本稿では, GPT-4を用いて命令追従データを生成し, 大規模言語モデルを微調整する試みについて述べる。
命令調整型LLaMAモデルの初期実験では、52Kの英語と中国語の命令追従データがGPT-4によって生成され、新しいタスクにおけるゼロショット性能が向上することが示された。
論文 参考訳(メタデータ) (2023-04-06T17:58:09Z) - When do you need Chain-of-Thought Prompting for ChatGPT? [87.45382888430643]
CoT(Chain-of-Thought)は,大規模言語モデル(LLM)から複雑な多段階推論を効果的に引き出すことができる
CoT がChatGPT などの最近の命令微調整 (IFT) LLM に対してまだ有効であるかどうかは不明である。
論文 参考訳(メタデータ) (2023-04-06T17:47:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。