論文の概要: Learning Planning-based Reasoning by Trajectories Collection and Process Reward Synthesizing

• arxiv url: http://arxiv.org/abs/2402.00658v1
• Date: Thu, 1 Feb 2024 15:18:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-02 15:03:50.168872
• Title: Learning Planning-based Reasoning by Trajectories Collection and Process Reward Synthesizing
• Title（参考訳）: トラジェクタ収集とプロセス報酬合成による学習計画に基づく推論
• Authors: Fangkai Jiao, Chengwei Qin, Zhengyuan Liu, Nancy F. Chen, Shafiq Joty
• Abstract要約: 収集された軌道上での直接選好最適化(DPO)を通して計画に基づく推論を学習するフレームワークを提案する。 論理的推論ベンチマークの挑戦的な結果から,学習フレームワークの有効性が示された。
• 参考スコア（独自算出の注目度）: 66.50096740792928
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated significant potential in handling complex reasoning tasks through step-by-step rationale generation. However, recent studies have raised concerns regarding the hallucination and flaws in their reasoning process. Substantial efforts are being made to improve the reliability and faithfulness of the generated rationales. Some approaches model reasoning as planning, while others focus on annotating for process supervision. Nevertheless, the planning-based search process often results in high latency due to the frequent assessment of intermediate reasoning states and the extensive exploration space. Additionally, supervising the reasoning process with human annotation is costly and challenging to scale for LLM training. To address these issues, in this paper, we propose a framework to learn planning-based reasoning through direct preference optimization (DPO) on collected trajectories, which are ranked according to synthesized process rewards. Our results on challenging logical reasoning benchmarks demonstrate the effectiveness of our learning framework, showing that our 7B model can surpass the strong counterparts like GPT-3.5-Turbo.
• Abstract（参考訳）: 大規模言語モデル(llm)は、ステップバイステップの合理化によって複雑な推論タスクを処理する上で大きな可能性を示している。 しかし、近年の研究は、その推論過程の幻覚と欠陥に関する懸念を提起している。 生成された合理性の信頼性と忠実性を改善するため、実質的な努力がなされている。 計画としての推論をモデル化するアプローチもあるが、プロセス監督のための注釈にフォーカスするアプローチもある。 それにもかかわらず、計画に基づく探索プロセスは、しばしば中間的推論状態と広範囲な探索空間の頻繁な評価のために高いレイテンシーをもたらす。 加えて、人間のアノテーションによる推論プロセスの監視は、LLMトレーニングのために費用がかかり、スケールが難しい。 これらの課題に対処するため,本論文では,プロセス報酬に応じてランク付けされた収集トラジェクトリの直接選好最適化(DPO)を通じて,計画に基づく推論を学習するフレームワークを提案する。 論理的推論ベンチマークに挑戦した結果から,学習フレームワークの有効性が示され,gpt-3.5-turboのような強固なフレームワークを7bモデルで越えることができた。

関連論文リスト

• Inference-Time Computations for LLM Reasoning and Planning: A Benchmark and Insights [49.42133807824413]
  本稿では,大規模言語モデル(LLM)の複雑な課題解決における推論と計画能力について検討する。 近年の推論時間技術の発展は,LLM推論を追加訓練なしで向上させる可能性を示している。 OpenAIのo1モデルは、マルチステップ推論と検証の新たな使用を通じて、有望なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2025-02-18T04:11:29Z)
• BRiTE: Bootstrapping Reinforced Thinking Process to Enhance Language Model Reasoning [78.63421517563056]
  大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な機能を示した。 本稿では,新しいグラフィカルモデルを用いてLLM推論を定式化する統一確率的フレームワークを提案する。 本稿では,Bootstrapping Reinforced Thinking Process (BRiTE)アルゴリズムについて述べる。
  論文  参考訳（メタデータ） (2025-01-31T02:39:07Z)
• Learning to Plan & Reason for Evaluation with Thinking-LLM-as-a-Judge [78.28188747489769]
  そこで我々は,Thinking-LLM-as-a-Judgeの優先最適化アルゴリズムであるEvalPlannerを提案する。 自己学習ループでは、EvalPlannerは、合成的に構築された評価計画と実行よりも反復的に最適化する。 提案手法はRewardBenchにおける生成報酬モデルのための新しい最先端性能を実現する。
  論文  参考訳（メタデータ） (2025-01-30T02:21:59Z)
• Towards Large Reasoning Models: A Survey of Reinforced Reasoning with Large Language Models [33.13238566815798]
  大規模言語モデル(LLM)は、複雑な推論タスクに対処するためにそれらを活用することに大きな研究の関心を呼んだ。 最近の研究は、LLMがテスト時間推論中により多くのトークンで"考える"ことを奨励することは、推論の精度を著しく向上させることを示した。 OpenAIのo1シリーズの導入は、この研究の方向性において重要なマイルストーンである。
  論文  参考訳（メタデータ） (2025-01-16T17:37:58Z)
• PSPO*: An Effective Process-supervised Policy Optimization for Reasoning Alignment [20.053439187190914]
  我々は,報酬得点を決定するための推論ステップの数を考慮したPSPO-WRSを開発し,非線形報酬形成に最適化されたワイブル分布を利用する。 6つの数学的推論データセットの実験結果は、PSPO-WRSが現在の主流モデルより一貫して優れていることを示している。
  論文  参考訳（メタデータ） (2024-11-18T16:03:51Z)
• The Role of Deductive and Inductive Reasoning in Large Language Models [37.430396755248104]
  本稿では,大規模言語モデル(LLM)推論を強化するために,DID法を提案する。 DIDはリトルストーン次元と情報エントロピーを組み合わせた2次元複雑度評価システムを実装している。 その結果,推理精度と解の精度は有意に向上した。
  論文  参考訳（メタデータ） (2024-10-03T18:30:47Z)
• Can We Further Elicit Reasoning in LLMs? Critic-Guided Planning with Retrieval-Augmentation for Solving Challenging Tasks [68.49251303172674]
  最先端の大規模言語モデル(LLM)は、目覚ましい問題解決能力を示すが、複雑な推論と事実の正しさに苦慮する可能性がある。 既存の手法では、チェーン・オブ・ソートと検索強化生成(RAG)の強みを利用して、複雑な問題をより単純なステップに分解し、検索を適用して事実の正しさを向上させる。 CR-Planner(CR-Planner, CR-Planner, CR-Planner)は, 微調整された批判モデルを利用して, 推論と検索の両方のプロセスを計画を通してガイドする新しいフレームワークである。
  論文  参考訳（メタデータ） (2024-10-02T11:26:02Z)
• Enhancing Logical Reasoning in Large Language Models through Graph-based Synthetic Data [53.433309883370974]
  本研究では,大規模言語モデルの推論能力を高めるための学習信号としてグラフベースの合成推論データを使用することの可能性と限界について検討する。 2つの確立された自然言語推論タスクにおいて,合成グラフに基づく推論データによる教師付き微調整が,他の標準評価ベンチマークでの有効性を損なうことなく,LLMの推論性能を効果的に向上することを示した。
  論文  参考訳（メタデータ） (2024-09-19T03:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。