論文の概要: LogicPro: Improving Complex Logical Reasoning via Program-Guided Learning

• arxiv url: http://arxiv.org/abs/2409.12929v1
• Date: Thu, 19 Sep 2024 17:30:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 12:48:01.421184
• Title: LogicPro: Improving Complex Logical Reasoning via Program-Guided Learning
• Title（参考訳）: LogicPro: プログラムガイド学習による複雑な論理推論の改善
• Authors: Jin Jiang, Yuchen Yan, Yang Liu, Yonggang Jin, Shuai Peng, Mengdi Zhang, Xunliang Cai, Yixin Cao, Liangcai Gao, Zhi Tang,
• Abstract要約: 本稿では,プログラム例を通して大規模言語モデル (LLM) の論理的推論を強化するための新しいアプローチであるLogicProを提案する。 私たちは、広く利用可能なアルゴリズム問題とそのコードソリューションを単純に活用することで、これを効果的に実現します。 提案手法はBBH$27$, GSM8K, HellSwag, Logicqa, Reclor, RTEデータセットの複数のモデルの大幅な改善を実現する。
• 参考スコア（独自算出の注目度）: 23.987059076950622
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper, we present a novel approach, called LogicPro, to enhance Large Language Models (LLMs) complex Logical reasoning through Program Examples. We do this effectively by simply utilizing widely available algorithmic problems and their code solutions. First, we constructed diverse test samples input based on algorithmic questions and code solutions. Then, we designed different complex reasoning questions based on algorithmic problems and test samples. Finally, combining the intermediate variable outputs of the code solutions and the complex reasoning questions, we derived the reasoning process and the final answer. With this approach, we can construct a dataset that is sufficiently difficult (all models are ineffective), diverse (synthesized from 2,360 different algorithmic questions), and scalable (building different test samples and collecting more algorithmic questions). In addition, we obtain a high-quality reasoning process guided by the values of intermediate variables. As a result, our approach achieves significant improvements in multiple models for the BBH$^{27}$, GSM8K, HellSwag, Logicqa, Reclor, and RTE datasets, outperforming a wide range of existing reasoning datasets.
• Abstract（参考訳）: 本稿では,プログラム例を通してLarge Language Models (LLMs) の論理的推論を強化するための新しいアプローチであるLogicProを提案する。 私たちは、広く利用可能なアルゴリズム問題とそのコードソリューションを単純に活用することで、これを効果的に実現します。 まず,アルゴリズムによる質問やコード解に基づく多様なテストサンプルを構築した。 そこで我々は,アルゴリズム問題とテストサンプルに基づいて,様々な複雑な推論質問を設計した。 最後に、コードソリューションの中間変数出力と複雑な推論問題を組み合わせることで、推論プロセスと最終的な答えを導出する。 このアプローチでは、十分な困難(すべてのモデルは非効率)、多様性(2,360の異なるアルゴリズム質問から合成)、スケーラブル(異なるテストサンプルの構築とよりアルゴリズム的な質問の収集)のデータセットを構築することができる。 さらに、中間変数の値によって導かれる高品質な推論プロセスを得る。 その結果, BBH$^{27}$, GSM8K, HellSwag, Logicqa, Reclor, RTEデータセットの複数のモデルにおいて, 既存の推論データセットよりも大幅に向上した。

関連論文リスト

• Improving Complex Reasoning over Knowledge Graph with Logic-Aware Curriculum Tuning [89.89857766491475]
  大規模言語モデル(LLM)に基づくKG上の複雑な推論スキーマを提案する。 任意の一階論理クエリを二分木分解により拡張し、LLMの推論能力を刺激する。 広く使われているデータセットに対する実験では、LACTは高度な手法よりも大幅に改善されている(平均+5.5% MRRスコア)。
  論文  参考訳（メタデータ） (2024-05-02T18:12:08Z)
• Distilling Algorithmic Reasoning from LLMs via Explaining Solution Programs [2.3020018305241337]
  大きな言語モデルの推論能力を改善する効果的な方法として、明確な推論経路を蒸留する手法が登場している。 本稿では, LLM から推論能力を抽出する手法を提案する。 提案実験は,ReasonerがCoderによるプログラム実装をより効果的にガイドできることを示す。
  論文  参考訳（メタデータ） (2024-04-11T22:19:50Z)
• Language Models as Compilers: Simulating Pseudocode Execution Improves Algorithmic Reasoning in Language Models [17.76252625790628]
  本稿では,言語モデルの推論過程を2段階に分解するフレームワークであるThink-and-Executeについて述べる。 7つのアルゴリズム的推論タスクについて広範な実験を行い、思考と実行の有効性を実証する。
  論文  参考訳（メタデータ） (2024-04-03T08:49:11Z)
• When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
  本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。 具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。 コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
  論文  参考訳（メタデータ） (2023-08-29T17:22:39Z)
• Recursion of Thought: A Divide-and-Conquer Approach to Multi-Context Reasoning with Language Models [58.41943058963672]
  我々はRecursion of Thought (RoT)と呼ばれる新しい推論フレームワークを提案する。 RoTはいくつかの特別なトークンを導入し、モデルが出力してコンテキスト関連の操作をトリガーする。 GPT-3を含む複数のアーキテクチャの実験により、RoTは問題を解くためにLMの推論能力を劇的に改善した。
  論文  参考訳（メタデータ） (2023-06-12T06:34:16Z)
• Evaluating and Improving Tool-Augmented Computation-Intensive Math Reasoning [75.74103236299477]
  CoT(Chain-of- Thought prompting)とツール拡張は、大きな言語モデルを改善するための効果的なプラクティスとして検証されている。 ツールインターフェース,すなわち textbfDELI を用いた推論ステップを考慮に入れた新しい手法を提案する。 CARPと他の6つのデータセットの実験結果から、提案されたDELIは、主に競合ベースラインを上回っていることが示された。
  論文  参考訳（メタデータ） (2023-06-04T17:02:59Z)
• Successive Prompting for Decomposing Complex Questions [50.00659445976735]
  最近の研究は、大規模言語モデル(LM)の機能を活用して、数ショットで複雑な質問応答を行う。 そこでは、複雑なタスクを単純なタスクに繰り返し分解し、それを解決し、最終解を得るまでプロセスを繰り返します。 我々の最良のモデル(逐次プロンプト付き)は、DROPデータセットの数ショットバージョンにおいて、5%の絶対F1の改善を実現します。
  論文  参考訳（メタデータ） (2022-12-08T06:03:38Z)
• Complexity-Based Prompting for Multi-Step Reasoning [72.0057198610614]
  大規模言語モデルに対して,多段階推論を行うための課題について検討する。 中心的な疑問は、どの推論例が最も効果的なプロンプトを作るかである。 多段階推論のためのシンプルで効果的な例選択方式である複雑性ベースのプロンプトを提案する。
  論文  参考訳（メタデータ） (2022-10-03T05:33:27Z)
• Encoding trade-offs and design toolkits in quantum algorithms for discrete optimization: coloring, routing, scheduling, and other problems [0.0]
  離散最適化問題(整数型最適化問題)を直感的に合成・解析する手法を提案する。 この方法は、符号化に依存しない離散量子中間表現(DQIR)を用いて表現される。 第二に、複数のランタイムエンコーディングを比較した数値的研究を行う。 第3に、我々は16レベルの量子変数までの低深度グラフ由来部分ミキサー(GDPM)を設計する。
  論文  参考訳（メタデータ） (2022-03-28T01:01:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。