論文の概要: Token-Supervised Value Models for Enhancing Mathematical Problem-Solving Capabilities of Large Language Models

• arxiv url: http://arxiv.org/abs/2407.12863v2
• Date: Mon, 10 Mar 2025 14:24:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-12 15:40:51.690874
• Title: Token-Supervised Value Models for Enhancing Mathematical Problem-Solving Capabilities of Large Language Models
• Title（参考訳）: 大規模言語モデルの数学的問題解決能力向上のためのトークンスーパービジョン値モデル
• Authors: Jung Hyun Lee, June Yong Yang, Byeongho Heo, Dongyoon Han, Kyungsu Kim, Eunho Yang, Kang Min Yoo,
• Abstract要約: 既存の検証器はテスト時の木探索技術に準最適である。 トークン制御値モデル(TVM)を提案する。 TVMは各トークンに、正しい最終回答に達する確率を反映した確率を割り当てる。
• 参考スコア（独自算出の注目度）: 56.32800938317095
• License:
• Abstract: With the rapid advancement of test-time compute search strategies to improve the mathematical problem-solving capabilities of large language models (LLMs), the need for building robust verifiers has become increasingly important. However, all these inference strategies rely on existing verifiers originally designed for Best-of-N search, which makes them sub-optimal for tree search techniques at test time. During tree search, existing verifiers can only offer indirect and implicit assessments of partial solutions or under-value prospective intermediate steps, thus resulting in the premature pruning of promising intermediate steps. To overcome these limitations, we propose token-supervised value models (TVMs) - a new class of verifiers that assign each token a probability that reflects the likelihood of reaching the correct final answer. This new token-level supervision enables TVMs to directly and explicitly evaluate partial solutions, effectively distinguishing between promising and incorrect intermediate steps during tree search at test time. Experimental results demonstrate that combining tree-search-based inference strategies with TVMs significantly improves the accuracy of LLMs in mathematical problem-solving tasks, surpassing the performance of existing verifiers.
• Abstract（参考訳）: 大規模言語モデル(LLM)の数学的問題解決能力を改善するためのテスト時間計算探索戦略の急速な進歩により、堅牢な検証器の構築の必要性が高まっている。 しかし、これらの推論戦略は、もともとBest-of-N検索用に設計された既存の検証手法に依存しており、テスト時に木探索技術に準最適である。 木探索の際、既存の検証器は部分解の間接的および暗黙的な評価や、低い値の予測中間ステップしか提供できないため、有望な中間ステップが早期に切断される。 これらの制限を克服するために,トークン管理値モデル (TVM) を提案する。 この新しいトークンレベルの監視により、TVMは部分解を直接的かつ明示的に評価することができ、テスト時のツリー探索における有望な中間ステップと不正な中間ステップを効果的に区別することができる。 実験結果から,木探索に基づく推論戦略とTVMを組み合わせることで,数学的な問題解決タスクにおけるLCMの精度が向上し,既存の検証器の性能を上回っていることが示された。

関連論文リスト

• Uncertainty-Aware Step-wise Verification with Generative Reward Models [42.17917357636397]
  生成報酬モデルを用いたステップワイド検証の信頼性を高めるために,不確実性定量化(UQ)を活用することを提案する。 ステップワイド検証におけるPRMの不確実性を定量化するための既存手法よりも優れた新しいUQ手法であるCoT Entropyを導入する。
  論文  参考訳（メタデータ） (2025-02-16T20:00:56Z)
• Critical-Questions-of-Thought: Steering LLM reasoning with Argumentative Querying [0.3659498819753633]
  State-of-the-art Large Language Model (LLM) は論理的および数学的推論を行う際にも苦戦している。 本稿では、議論論に関する文献からの批判的質問の概念を利用し、特にトゥールミンの議論モデルに焦点を当てる。 これらの重要な質問を取り入れることで,LLMの推論能力が向上することを示す。
  論文  参考訳（メタデータ） (2024-12-19T18:51:30Z)
• Critical Tokens Matter: Token-Level Contrastive Estimation Enhances LLM's Reasoning Capability [53.51560766150442]
  臨界トークンは推論軌道内の要素であり、誤った結果に大きな影響を及ぼす。 本稿では,これらのトークンをロールアウトサンプリングによって識別する新しいフレームワークを提案する。 クリティカルトークンの識別と置換がモデル精度を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2024-11-29T18:58:22Z)
• LLM Critics Help Catch Bugs in Mathematics: Towards a Better Mathematical Verifier with Natural Language Feedback [71.95402654982095]
  本研究では,自然言語フィードバック型検証器Math-Minosを提案する。 実験の結果,少量の自然言語フィードバックが検証器の性能を大幅に向上させることがわかった。
  論文  参考訳（メタデータ） (2024-06-20T06:42:27Z)
• Understanding Reasoning Ability of Language Models From the Perspective of Reasoning Paths Aggregation [110.71955853831707]
  我々は、LMを、事前学習時に見られる間接的推論経路を集約することで、新たな結論を導出すると考えている。 我々は、推論経路を知識/推論グラフ上のランダムウォークパスとして定式化する。 複数のKGおよびCoTデータセットの実験と分析により、ランダムウォークパスに対するトレーニングの効果が明らかにされた。
  論文  参考訳（メタデータ） (2024-02-05T18:25:51Z)
• OVM, Outcome-supervised Value Models for Planning in Mathematical Reasoning [15.59540726867483]
  我々は、ガイド付き復号法では、ステップごとの正当性を保証するよりも、不完全推論経路の可能性を評価する方が有利であると主張している。 誘導復号化のための$textitoutcomeの監督が本質的に価値モデルとして機能するという発見に触発されて、アウトカム管理価値モデル(OVM)を提案する。 GSM8KとGame of 24の2つの多段階数学的推論データセットに対する実験により,OVMモデルの優れた性能が示された。
  論文  参考訳（メタデータ） (2023-11-16T09:56:28Z)
• A Closer Look at the Self-Verification Abilities of Large Language Models in Logical Reasoning [73.77088902676306]
  論理的推論の文脈において,大規模言語モデル(LLM)の自己検証能力について詳しく検討する。 本研究の主目的は,既存のLCMが誤った推論手順を正確に識別するのに苦労し,自己検証法の有効性を保証できないことにある。
  論文  参考訳（メタデータ） (2023-11-14T07:13:10Z)
• Enhancing Chain-of-Thoughts Prompting with Iterative Bootstrapping in Large Language Models [81.01397924280612]
  大規模言語モデル (LLM) は、ステップ・バイ・ステップ・チェーン・オブ・シークレット (CoT) をデモンストレーションとして組み込むことで、様々な推論タスクにおいて高い効果的な性能を達成することができる。 本稿では,イターCoT (Iterative bootstrapping in Chain-of-Thoughts Prompting) を導入する。
  論文  参考訳（メタデータ） (2023-04-23T13:54:39Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。