論文の概要: LogiCoT: Logical Chain-of-Thought Instruction-Tuning

• arxiv url: http://arxiv.org/abs/2305.12147v2
• Date: Sat, 28 Oct 2023 04:22:58 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-31 22:28:25.251516
• Title: LogiCoT: Logical Chain-of-Thought Instruction-Tuning
• Title（参考訳）: LogiCoT: 論理的チェーン・オブ・サートインストラクション・チューニング
• Authors: Hanmeng Liu, Zhiyang Teng, Leyang Cui, Chaoli Zhang, Qiji Zhou, Yue Zhang
• Abstract要約: Generative Pre-trained Transformer 4 (GPT-4) は印象的な連鎖推論能力を示す。 本稿では,GPT-4を用いたロジカル・チェーン・オブ・ソート推論のための新しい命令チューニングデータセットであるLogiCoTを提案する。
• 参考スコア（独自算出の注目度）: 40.25265354533339
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Generative Pre-trained Transformer 4 (GPT-4) demonstrates impressive chain-of-thought reasoning ability. Recent work on self-instruction tuning, such as Alpaca, has focused on enhancing the general proficiency of models. These instructions enable the model to achieve performance comparable to GPT-3.5 on general tasks like open-domain text generation and paraphrasing. However, they fall short of helping the model handle complex reasoning tasks. To bridge the gap, this paper presents LogiCoT, a new instruction-tuning dataset for Logical Chain-of-Thought reasoning with GPT-4. We elaborate on the process of harvesting instructions for prompting GPT-4 to generate chain-of-thought rationales. LogiCoT serves as an instruction set for teaching models of logical reasoning and elicits general reasoning skills.
• Abstract（参考訳）: Generative Pre-trained Transformer 4 (GPT-4) は印象的な連鎖推論能力を示す。 近年のAlpacaのような自己指導型チューニングの研究は、モデルの汎用性の向上に重点を置いている。 これらの命令により、open-domain text generationやparaphrasingといった一般的なタスクでgpt-3.5に匹敵するパフォーマンスを実現することができる。 しかし、モデルが複雑な推論タスクを処理するのを助けるのには不足している。 このギャップを埋めるために,GPT-4を用いた論理的連鎖推論のための新しい命令チューニングデータセットであるLogiCoTを提案する。 我々は,GPT-4に連鎖論理を生成するための指示を抽出する過程について詳述する。 logicotは論理推論のモデルを教えるための命令セットであり、一般的な推論スキルを引き出す。

関連論文リスト

• Improve Vision Language Model Chain-of-thought Reasoning [86.83335752119741]
  視覚言語モデル(VLM)におけるチェーン・オブ・シント(CoT)推論は、解釈可能性と信頼性を向上させるために不可欠である。 我々は,より詳細な回答を必要とする推論タスクに対して,短時間でVLMを訓練することはよくないことを示す。
  論文  参考訳（メタデータ） (2024-10-21T17:00:06Z)
• On the Diagram of Thought [12.304069891580658]
  大規模言語モデル(LLM)における反復推論をモデル化するフレームワークであるDiagram of Thought(DoT)を紹介する。 DoTは提案、批評、洗練、検証を結合的なDAG構造に整理し、モデルが複雑な推論経路を探索できるようにする。 我々は、トポス理論を用いてDoTフレームワークを形式化し、論理的一貫性と推論過程の健全性を保証する数学的基盤を提供する。
  論文  参考訳（メタデータ） (2024-09-16T07:01:41Z)
• Self-Discover: Large Language Models Self-Compose Reasoning Structures [136.48389510481758]
  タスク固有の推論構造を自己発見するフレームワークであるSELF-DISCOVERを紹介する。 SELF-DISCOVERは、挑戦的推論ベンチマークにおいて、GPT-4とPaLM 2の性能を大幅に改善する。 自己発見推論構造は、モデルファミリー全体にわたって普遍的に適用可能であることを示す。
  論文  参考訳（メタデータ） (2024-02-06T01:13:53Z)
• LogicAsker: Evaluating and Improving the Logical Reasoning Ability of Large Language Models [63.14196038655506]
  大規模言語モデル(LLM)の論理的推論能力を評価・拡張するための新しいアプローチであるLogicAskerを紹介する。 提案手法は, LLMが論理規則を学習する際の大きなギャップを明らかにし, 異なるモデル間で29%から90%の推論失敗を識別する。 GPT-4oのようなモデルにおける論理的推論を最大5%向上させることで、これらの知見を活用して、ターゲットとなる実演例と微調整データを構築した。
  論文  参考訳（メタデータ） (2024-01-01T13:53:53Z)
• Transformers in the Service of Description Logic-based Contexts [2.8210912543324658]
  私たちは記述論理言語$mathcalALCQ$を使って自然言語データセットDELTA$_D$を構築します。 教師付き細調整DeBERTaモデルと2つの大言語モデル(GPT-3.5, GPT-4)の推論能力について検討した。 以上の結果から,DeBERTaをベースとしたモデルでは推論タスクをマスターすることができ,少数のサンプルが提供されてもGPTの性能は大幅に向上することが示された。
  論文  参考訳（メタデータ） (2023-11-15T13:23:24Z)
• Automatic Pair Construction for Contrastive Post-training [57.57149781848383]
  本稿では,大規模言語モデル(LLM)のためのコントラストデータの自動構築手法を提案する。 SLiC と DPO の対比手法を SFT ベースラインと比較した結果,DPO は SFT 飽和後の段階的改善を実現していることがわかった。 また、コントラスト的なポストトレーニングのためのデータカリキュラムの学習手法についても検討し、"より簡単な"ペアから学び、"よりハード"なものに移行することから始めます。
  論文  参考訳（メタデータ） (2023-10-03T17:59:46Z)
• Certified Deductive Reasoning with Language Models [37.51289654360009]
  Emphguidesと呼ばれる言語モデルのためのツールのクラスを導入し、ステートとインクリメンタルな制約を使って生成をガイドします。 モデルによってガイドを呼び出すことで、自身の生成を有効なステートメントのセットに制約することができる。 論理的推論のための一般的なシステムが,textscLogicGuideと呼ばれるガイドとしてどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2023-06-06T21:49:00Z)
• Evaluating the Logical Reasoning Ability of ChatGPT and GPT-4 [14.928504625782184]
  この記事では、LogiQAやReClorといった一般的なベンチマークと、新たにリリースされたAR-LSATなどのデータセットを用いて、複数の論理推論データセットを分析します。 我々は、論理的推論を必要とするベンチマークを用いて、多選択読解と自然言語推論タスクをテストする。 実験結果から,ChatGPTは,ほとんどの論理的推論ベンチマークにおいて,RoBERTaファインチューニング法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-04-07T01:37:45Z)
• Instruction Tuning with GPT-4 [107.55078894215798]
  本稿では, GPT-4を用いて命令追従データを生成し, 大規模言語モデルを微調整する試みについて述べる。 命令調整型LLaMAモデルの初期実験では、52Kの英語と中国語の命令追従データがGPT-4によって生成され、新しいタスクにおけるゼロショット性能が向上することが示された。
  論文  参考訳（メタデータ） (2023-04-06T17:58:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。