論文の概要: Boosting Deductive Reasoning with Step Signals In RLHF
- arxiv url: http://arxiv.org/abs/2410.09528v1
- Date: Sat, 12 Oct 2024 13:19:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-15 15:11:55.610388
- Title: Boosting Deductive Reasoning with Step Signals In RLHF
- Title(参考訳): RLHFにおけるステップ信号による導出推論の高速化
- Authors: Jialian Li, Yipin Zhang, Wei Shen, Yuzi Yan, Jian Xie, Dong Yan,
- Abstract要約: 我々は,帰納的推論データのためのMulti-step Deduction (MuseD) という自動手法を開発した。
MuseDは、マルチステップ推論のためのトレーニングとテストデータセットの作成を可能にしました。
トレーニングデータでは、ドメイン内推論タスクのいずれにおいても、論理的能力が大幅に向上した。
- 参考スコア(独自算出の注目度): 15.441793744822457
- License:
- Abstract: Logical reasoning is a crucial task for Large Language Models (LLMs), enabling them to tackle complex problems. Among reasoning tasks, multi-step reasoning poses a particular challenge. Grounded in the theory of formal logic, we have developed an automated method, Multi-step Deduction (MuseD), for deductive reasoning data. MuseD has allowed us to create training and testing datasets for multi-step reasoning. Our generation method enables control over the complexity of the generated instructions, facilitating training and evaluation of models across different difficulty levels. Through RLHF training, our training data has demonstrated significant improvements in logical capabilities for both in-domain of out-of-domain reasoning tasks. Additionally, we have conducted tests to assess the multi-step reasoning abilities of various models.
- Abstract(参考訳): 論理的推論は、LLM(Large Language Models)にとって重要なタスクであり、複雑な問題に対処することができる。
推論タスクの中で、多段階推論は特定の課題を引き起こす。
形式論理理論を基礎として、帰納的推論データのための多段階推論(MuseD)という自動手法を開発した。
MuseDは、マルチステップ推論のためのトレーニングとテストデータセットの作成を可能にしました。
我々の生成方法は,生成した命令の複雑さを制御し,異なる難易度におけるモデルのトレーニングと評価を容易にする。
RLHFトレーニングを通じて、我々のトレーニングデータにより、ドメイン内推論タスクとドメイン外推論タスクの両方の論理能力が大幅に改善された。
さらに,各種モデルの多段階推論能力の評価試験を行った。
関連論文リスト
- Neuro-symbolic Training for Reasoning over Spatial Language [17.901249830817882]
本稿では,推論の論理的ルールを制約として活用できる,ニューロシンボリックな手法による学習言語モデルを提案する。
テキストによる空間的推論という課題に焦点をあてる。
論文 参考訳(メタデータ) (2024-06-19T20:47:36Z) - Learning Planning-based Reasoning by Trajectories Collection and Process Reward Synthesizing [61.98556945939045]
収集された軌道上でのDPO(Direct Preference Optimization)を通して計画に基づく推論を学習するフレームワークを提案する。
論理的推論ベンチマークの挑戦的な結果から,学習フレームワークの有効性が示された。
論文 参考訳(メタデータ) (2024-02-01T15:18:33Z) - Deductive Beam Search: Decoding Deducible Rationale for Chain-of-Thought
Reasoning [11.866321562684535]
従来の手法では中間段階の推論エラーに対処できず、累積誤差が発生する。
本稿では,大規模言語モデルのステップワイド・ビームサーチとチェーン・オブ・シント推論をシームレスに統合する,導出ビームサーチ(DBS)を提案する。
提案手法は検証器をデプロイし,推論ステップとその前提の再現性を検証し,エラーの蓄積を軽減する。
論文 参考訳(メタデータ) (2024-01-31T09:16:35Z) - Parrot Mind: Towards Explaining the Complex Task Reasoning of Pretrained Large Language Models with Template-Content Structure [66.33623392497599]
テンプレート・コンテント構造(T-C構造)と呼ばれる構造は指数レベルから線形レベルへの可能な空間を減少させることができることを示す。
モデルがタスク構成を達成でき、線形から対数への学習に必要なスペースをさらに削減できることを実証する。
論文 参考訳(メタデータ) (2023-10-09T06:57:45Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。
モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - Faith and Fate: Limits of Transformers on Compositionality [109.79516190693415]
3つの代表的構成課題にまたがる変圧器大言語モデルの限界について検討する。
これらのタスクは、問題をサブステップに分割し、これらのステップを正確な答えに合成する必要があります。
実験結果から,多段階合成推論を線形化部分グラフマッチングに還元することにより,トランスフォーマーLLMが構成課題を解くことが示唆された。
論文 参考訳(メタデータ) (2023-05-29T23:24:14Z) - Disentangling Reasoning Capabilities from Language Models with
Compositional Reasoning Transformers [72.04044221898059]
ReasonFormerは、人間のモジュール的および構成的推論プロセスを反映するための統一的な推論フレームワークである。
表現モジュール(自動思考)と推論モジュール(制御思考)は、異なるレベルの認知を捉えるために切り離される。
統一された推論フレームワークは、単一のモデルで複数のタスクを解決し、エンドツーエンドでトレーニングされ、推論される。
論文 参考訳(メタデータ) (2022-10-20T13:39:55Z) - Faithful Reasoning Using Large Language Models [12.132449274592668]
因果構造が問題の根底にある論理構造を反映するプロセスを通じて、LMを忠実な多段階推論を行う方法を示す。
我々の手法は、各ステップが2つの微調整されたLMへの呼び出しから得られる推論ステップをチェーンすることで機能する。
我々は,多段階論理推論と科学的質問応答におけるモデルの有効性を実証し,最終的な解答精度のベースラインよりも優れていることを示す。
論文 参考訳(メタデータ) (2022-08-30T13:44:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。