Fugu-MT 論文翻訳(概要): Distilling Algorithmic Reasoning from LLMs via Explaining Solution Programs

論文の概要: Distilling Algorithmic Reasoning from LLMs via Explaining Solution Programs

arxiv url: http://arxiv.org/abs/2404.08148v1
Date: Thu, 11 Apr 2024 22:19:50 GMT
ステータス: 処理完了
システム内更新日: 2024-04-15 16:15:01.753523
Title: Distilling Algorithmic Reasoning from LLMs via Explaining Solution Programs
Title（参考訳）: 説明解プログラムによるLCMからの蒸留アルゴリズム推論
Authors: Jierui Li, Raymond Mooney,
Abstract要約: 大きな言語モデルの推論能力を改善する効果的な方法として、明確な推論経路を蒸留する手法が登場している。本稿では, LLM から推論能力を抽出する手法を提案する。提案実験は,ReasonerがCoderによるプログラム実装をより効果的にガイドできることを示す。
参考スコア（独自算出の注目度）: 2.3020018305241337
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Distilling explicit chain-of-thought reasoning paths has emerged as an effective method for improving the reasoning abilities of large language models (LLMs) across various tasks. However, when tackling complex tasks that pose significant challenges for state-of-the-art models, this technique often struggles to produce effective chains of thought that lead to correct answers. In this work, we propose a novel approach to distill reasoning abilities from LLMs by leveraging their capacity to explain solutions. We apply our method to solving competitive-level programming challenges. More specifically, we employ an LLM to generate explanations for a set of <problem, solution-program> pairs, then use <problem, explanation> pairs to fine-tune a smaller language model, which we refer to as the Reasoner, to learn algorithmic reasoning that can generate "how-to-solve" hints for unseen problems. Our experiments demonstrate that learning from explanations enables the Reasoner to more effectively guide program implementation by a Coder, resulting in higher solve rates than strong chain-of-thought baselines on competitive-level programming problems. It also outperforms models that learn directly from <problem, solution-program> pairs. We curated an additional test set in the CodeContests format, which includes 246 more recent problems posted after the models' knowledge cutoff.
Abstract（参考訳）: 大規模言語モデル (LLM) の推論能力を改善する効果的な方法として, 明示的な思考の連鎖的推論パスが出現している。しかし、最先端のモデルに重大な課題をもたらす複雑なタスクに取り組む場合、この手法はしばしば正しい答えにつながる効果的な思考の連鎖を生成するのに苦労する。本研究では, LLMから推論能力を抽出する手法を提案する。競合レベルのプログラミング課題の解決に本手法を適用した。より具体的には,<problem, solution- program> ペアのセットの説明を生成するために LLM を使用し,<problem, explain> ペアを使用してより小さな言語モデルを微調整し,Reasoner と呼ぶアルゴリズム推論を学習し,未知の問題に対して "how-to-solve" ヒントを生成する。提案実験は,Reasonerによる説明からの学習により,Coderによるプログラム実装をより効果的にガイドできることを示す。また、<problem, solution- program> ペアから直接学習するモデルよりも優れています。私たちは、CodeContestsフォーマットで追加のテストセットをキュレートしました。

関連論文リスト

Make LLMs better zero-shot reasoners: Structure-orientated autonomous reasoning [52.83539473110143]
本稿では,Large Language Models (LLM) の質問をよりよく理解するための構造指向分析手法を提案する。複雑な質問応答タスクの信頼性をさらに向上するために,多エージェント推論システム,構造指向自律推論エージェント(SARA)を提案する。大規模な実験により,提案システムの有効性が検証された。
論文参考訳（メタデータ） (2024-10-18T05:30:33Z)
Enhancing Multi-Step Reasoning Abilities of Language Models through Direct Q-Function Optimization [50.485788083202124]
強化学習(Reinforcement Learning, RL)は、大規模言語モデルを人間の好みと整合させ、複雑なタスクを遂行する能力を向上させる上で重要な役割を担っている。反応生成過程をマルコフ決定プロセス(MDP)として定式化し,ソフトアクター・クリティック(SAC)フレームワークを用いて,言語モデルによって直接パラメータ化されたQ関数を最適化する,直接Q関数最適化(DQO)を提案する。 GSM8KとMATHという2つの数学問題解決データセットの実験結果から、DQOは従来の手法よりも優れており、言語モデルを整合させるための有望なオフライン強化学習手法として確立されている。
論文参考訳（メタデータ） (2024-10-11T23:29:20Z)
BloomWise: Enhancing Problem-Solving capabilities of Large Language Models using Bloom's-Taxonomy-Inspired Prompts [59.83547898874152]
我々は,Bloomの分類にインスパイアされた新しいプロンプト技術であるBloomWiseを導入し,Large Language Models(LLMs)の性能を向上させる。より洗練された認知スキルを身につける必要性に関する決定は、LLMによる自己評価に基づいている。 4つの一般的な算数推論データセットの広範な実験において,提案手法の有効性を実証した。
論文参考訳（メタデータ） (2024-10-05T09:27:52Z)
Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
論文参考訳（メタデータ） (2024-10-05T05:21:48Z)
Reasoning with Large Language Models, a Survey [2.831296564800826]
本稿では,LSMによるプロンプトベース推論の急速に進展する分野について概説する。我々の分類学は、多段階推論の生成、評価、制御の異なる方法を特定します。我々は, 自己改善, 自己回帰, 推論過程のいくつかのメタ能力が, プロンプトの司法的利用によって可能であることを発見した。
論文参考訳（メタデータ） (2024-07-16T08:49:35Z)
Divide-or-Conquer? Which Part Should You Distill Your LLM? [38.62667131299918]
我々は、推論タスクを問題解決フェーズと問題解決フェーズに分解する同様の戦略を考案する。戦略が単一ステージソリューションより優れていることを示す。
論文参考訳（メタデータ） (2024-02-22T22:28:46Z)
Thought Propagation: An Analogical Approach to Complex Reasoning with Large Language Models [62.96551299003463]
大規模言語モデルの複雑な推論能力を高めるために,textbftextitThought Propagation (TP)を提案する。 TP はまず LLM に対して,入力問題に関連する類似問題の集合を提案し,解決するよう促す。 TPは、類似問題の結果を再利用して、新しいソリューションを直接生成したり、スクラッチから得られた初期ソリューションを修正するための知識集約的な実行プランを導出する。
論文参考訳（メタデータ） (2023-10-06T01:40:09Z)
Explaining Competitive-Level Programming Solutions using LLMs [3.560501183771493]
競合レベルのプログラミング問題を解く上では性能が劣っているにもかかわらず、最先端のLLMは、ソリューションの説明と説明に強い能力を持っていることを示す。我々の説明生成手法は、説明と分析を含む問題に対する構造化された解決説明を生成することができる。
論文参考訳（メタデータ） (2023-07-11T15:26:49Z)
Better patching using LLM prompting, via Self-Consistency [5.892272127970584]
自己整合性(Self-Consistency, S-C)は、問題の説明を生成する上で、エキサイティングで極めて優れたテクニックである。本稿では,修正作業のコミットログを説明として,S-C手法のプログラム修復への応用について述べる。我々は,MODITデータセット上で,プログラムの修正を促そうとする従来のアプローチを破って,最先端の成果を得た。
論文参考訳（メタデータ） (2023-05-31T18:28:46Z)
SatLM: Satisfiability-Aided Language Models Using Declarative Prompting [68.40726892904286]
本研究では,大規模言語モデル (LLM) の推論能力を向上させるために,新しい満足度支援言語モデリング (SatLM) 手法を提案する。我々はLLMを用いて命令型プログラムではなく宣言型タスク仕様を生成し、既製の自動定理証明器を利用して最終解を導出する。我々はSATLMを8つの異なるデータセット上で評価し、命令パラダイムにおいてプログラム支援されたLMよりも一貫して優れていることを示す。
論文参考訳（メタデータ） (2023-05-16T17:55:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。