論文の概要: Guided by Gut: Efficient Test-Time Scaling with Reinforced Intrinsic Confidence

• arxiv url: http://arxiv.org/abs/2505.20325v1
• Date: Fri, 23 May 2025 18:19:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-28 17:05:58.172868
• Title: Guided by Gut: Efficient Test-Time Scaling with Reinforced Intrinsic Confidence
• Title（参考訳）: Gut氏のガイド: 本質的な信頼性を強化した効率的なテスト時間スケーリング
• Authors: Amirhosein Ghasemabadi, Keith G. Mills, Baochun Li, Di Niu,
• Abstract要約: 大規模言語モデル(LLM)推論を強化するためのTTS(Test-Time Scaling)手法は、しばしばかなりの計算コストを発生させる。 本稿では,外部検証モデルに代えてPRMレベルの性能を実現する,効率的な自己誘導型TTSフレームワークである Guided by Gut (GG) を紹介する。
• 参考スコア（独自算出の注目度）: 38.30075427255948
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Test-Time Scaling (TTS) methods for enhancing Large Language Model (LLM) reasoning often incur substantial computational costs, primarily due to extensive reliance on external Process Reward Models (PRMs) or sampling methods like Best-of-N (BoN). This paper introduces Guided by Gut (GG), an efficient self-guided TTS framework that achieves PRM-level performance without costly external verifier models. Our method employs a lightweight tree search guided solely by intrinsic LLM signals, token-level confidence and step novelty. One critical innovation is improving the reliability of internal confidence estimates via a targeted reinforcement learning fine-tuning phase. Empirical evaluations on challenging mathematical reasoning benchmarks demonstrate that GG enables smaller models (e.g., 1.5B parameters) to achieve accuracy matching or surpassing significantly larger models (e.g., 32B-70B parameters), while reducing GPU memory usage by up to 10x. Compared to PRM-based methods, GG achieves comparable accuracy with 8x faster inference speeds and 4-5x lower memory usage. Additionally, GG reduces KV cache memory usage by approximately 50% compared to the BoN strategy, facilitating more efficient and practical deployment of TTS techniques.
• Abstract（参考訳）: 大規模言語モデル(LLM)推論を強化するTTS(Test-Time Scaling)手法は、主に外部プロセスリワードモデル(PRM)やBest-of-N(BoN)のようなサンプリング手法に大きく依存しているため、かなりの計算コストがかかることが多い。 本稿では,外部検証モデルに代えてPRMレベルの性能を実現する,効率的な自己誘導型TTSフレームワークである Guided by Gut (GG) を紹介する。 本手法では,固有のLCM信号,トークンレベルの信頼度,ステップの新規性のみを用いて,軽量な木探索を行う。 1つの重要な革新は、目標とする強化学習微調整フェーズを通じて内部信頼度推定の信頼性を改善することである。 挑戦的な数学的推論ベンチマークに関する実証的な評価によると、GGにより、より小さなモデル(例えば1.5Bパラメータ)で精度のマッチングや、はるかに大きなモデル(例えば32B-70Bパラメータ)を達成でき、GPUメモリ使用量を最大10倍に削減できる。 PRMベースの手法と比較して、GGは8倍高速な推論速度と4～5倍低いメモリ使用率で同等の精度を達成する。 さらに、GGはBoN戦略と比較してKVキャッシュメモリ使用量を約50%削減し、TTS技術のより効率的で実用的なデプロイを容易にする。

関連論文リスト

• Making Small Language Models Efficient Reasoners: Intervention, Supervision, Reinforcement [22.801244105119025]
  精度と計算を効果的にトレードオフすることで、小型モデルによるトークン効率の推論を改善する新しいアルゴリズムを提案する。 まず、SFT後のモデルが推論過程の最適停止点を決定するのに失敗し、冗長かつ反復的な出力が得られることを示す。 MATH500、AMC、AIME24、OlympiadBenchの4つの推論ベンチマークの実験は、TSがs1の予算強制アプローチと比較して非常に効果的であることを示した。
  論文  参考訳（メタデータ） (2025-05-12T18:04:39Z)
• Optimizing Deep Neural Networks using Safety-Guided Self Compression [0.0]
  本研究では,ニューラルネットワークの重み付けと定量化を行う新しい安全性駆動量子化フレームワークを提案する。 提案手法は、畳み込みニューラルネットワーク(CNN)とアテンションベース言語モデルの両方で厳格に評価される。 実験結果から,本フレームワークは,従来の未定量モデルと比較して,テスト精度を最大2.5%向上することがわかった。
  論文  参考訳（メタデータ） (2025-05-01T06:50:30Z)
• START: Self-taught Reasoner with Tools [51.38785489790888]
  ツール統合長チェーン・オブ・シークレット(CoT)推論LSMであるSTART(Self-Taught Reasoner with Tools)を紹介する。 STARTは複雑な計算、自己チェック、多様な方法の探索、そして自己老化を行うことができる。 基礎となるQwQ-32Bを著しく上回り、最先端のオープンウェイトモデルR1-Distill-Qwen-32Bに匹敵する性能を達成する。
  論文  参考訳（メタデータ） (2025-03-06T17:11:51Z)
• Reward-Guided Speculative Decoding for Efficient LLM Reasoning [80.55186052123196]
  Reward-Guided Speculative Decoding (RSD)は,大規模言語モデル(LLM)における推論の効率向上を目的とした新しいフレームワークである。 RSDは、厳密な偏りを強制する既存の投機的復号法とは対照的に、制御されたバイアスをハイリワード出力の優先順位付けに取り入れている。 RSDは,対象モデルのみでの復号化に対して,高い効率向上を実現し,並列復号法よりも高い精度を実現している。
  論文  参考訳（メタデータ） (2025-01-31T17:19:57Z)
• The Efficiency vs. Accuracy Trade-off: Optimizing RAG-Enhanced LLM Recommender Systems Using Multi-Head Early Exit [46.37267466656765]
  本稿では,Retrieval-Augmented Generation(RAG)と革新的なマルチヘッドアーリーエグジットアーキテクチャを組み合わせた最適化フレームワークを提案する。 我々の実験は、信頼性の高いレコメンデーション配信に必要な精度を犠牲にすることなく、このアーキテクチャがいかに効果的に時間を削減するかを実証している。
  論文  参考訳（メタデータ） (2025-01-04T03:26:46Z)
• LoRAPrune: Structured Pruning Meets Low-Rank Parameter-Efficient Fine-Tuning [56.88751562302793]
  低ランク適応 (LoRA) が大型言語モデル (LLM) に登場した。 LoRAPruneは、高度にメモリ効率の良い正確な構造化プルーンドモデルを提供する新しいフレームワークである。 LoRAPruneはWikiText2では4.81、TBでは3.46、メモリ使用量は52.6%減少している。
  論文  参考訳（メタデータ） (2023-05-28T15:15:48Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。