論文の概要: Compute-Accuracy Pareto Frontiers for Open-Source Reasoning Large Language Models

• arxiv url: http://arxiv.org/abs/2512.24776v1
• Date: Wed, 31 Dec 2025 10:51:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-01 23:27:28.626374
• Title: Compute-Accuracy Pareto Frontiers for Open-Source Reasoning Large Language Models
• Title（参考訳）: 大規模言語モデルのオープンソース推論のための計算精度パレートフロンティア
• Authors: Ákos Prucs, Márton Csutora, Mátyás Antal, Márk Marosi,
• Abstract要約: 大規模言語モデル(LLM)は複雑な推論ベンチマークで急速に改善されている。 産業アプリケーションの場合、モデルの選択は生の精度だけでなく、リソースの制約や推論コストにも依存する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) are demonstrating rapid improvements on complex reasoning benchmarks, particularly when allowed to utilize intermediate reasoning steps before converging on a final solution. However, current literature often overlooks the significant computational burden associated with generating long reasoning sequences. For industrial applications, model selection depends not only on raw accuracy but also on resource constraints and inference costs. In this work, we conduct a test-time-compute aware evaluation of both contemporary and older open-source LLMs, mapping their Pareto frontiers across math- and reasoning-intensive benchmarks. Our findings identify the Mixture of Experts (MoE) architecture as a strong candidate to balance performance and efficiency in our evaluation setting. Furthermore, we trace the trajectory of Pareto efficiency over time to derive an emergent trend regarding accuracy gain per unit of compute. Finally, we demonstrate that there is a saturation point for inference-time compute. Beyond a certain threshold, accuracy gains diminish, indicating that while extended reasoning capabilities are beneficial, they cannot overcome intrinsic model limitations regarding specific complexities.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、特に最終ソリューションに収束する前に中間推論ステップを利用することができる場合に、複雑な推論ベンチマークを急速に改善している。 しかし、現在の文献は、長い推論列を生成することに伴う計算上の重荷をしばしば見落としている。 産業アプリケーションの場合、モデルの選択は生の精度だけでなく、リソースの制約や推論コストにも依存する。 本研究では,同時代のオープンソース LLM と旧来のオープンソース LLM の試験時間計算による評価を行い,Pareto のフロンティアを数学および推論集約ベンチマーク間でマッピングする。 本研究は,Mixture of Experts (MoE) アーキテクチャを,評価環境における性能と効率のバランスをとるための強力な候補とみなす。 さらに、時間とともにパレート効率の軌跡を辿り、計算単位当たりの精度向上に関する突発的な傾向を導出する。 最後に,推測時間計算には飽和点が存在することを示す。 あるしきい値を超えた精度の上昇は減少し、拡張された推論能力は有益であるが、特定の複雑さに関する本質的なモデル制限を克服することはできないことを示している。

関連論文リスト

• Accelerating LLM Reasoning via Early Rejection with Partial Reward Modeling [12.835376812101323]
  PRMも部分的リワードモデルであるという仮説を導入する。 これにより、中間トークンレベル信号に基づく原理的な早期拒絶が可能となる。 算数推論のベンチマークでは、最終的な性能を劣化させることなく、最大1.4$times$-9$times$の推論FLOPを削減できる。
  論文  参考訳（メタデータ） (2025-08-04T00:58:56Z)
• PixelThink: Towards Efficient Chain-of-Pixel Reasoning [70.32510083790069]
  PixelThinkは、外部から推定されるタスクの難しさと内部で測定されたモデルの不確実性を統合する、シンプルで効果的なスキームである。 シーンの複雑さと予測信頼度に応じて推論の長さを圧縮することを学ぶ。 実験により,提案手法は推論効率と全体セグメンテーション性能の両方を改善した。
  論文  参考訳（メタデータ） (2025-05-29T17:55:49Z)
• LIMOPro: Reasoning Refinement for Efficient and Effective Test-time Scaling [39.61818305829112]
  PIR(Perplexity-based Importance Refinement)は,各推論ステップの重要性を定量的に評価するフレームワークである。 PIRは、プログレッシブ推論コンポーネントを保持しながら、低重要機能ステップのみを特定し、選択的にプーンする。 我々のアプローチは、異なるモデルサイズ、データソース、トークン予算にまたがる強力な一般化可能性を示す。
  論文  参考訳（メタデータ） (2025-05-25T15:17:57Z)
• Fractured Chain-of-Thought Reasoning [61.647243580650446]
  完全CoTと解のみのサンプリングを補間する統合推論時間戦略であるフラクチャードサンプリングを導入する。 フラクチャードサンプリングは、Pass@kとトークンの予算に対して、急激なログ線形スケーリングゲインをもたらすため、優れた精度とコストのトレードオフを一貫して達成できることを示す。
  論文  参考訳（メタデータ） (2025-05-19T11:30:41Z)
• Learning to Reason Over Time: Timeline Self-Reflection for Improved Temporal Reasoning in Language Models [21.579319926212296]
  大規模言語モデル(LLM)は、一貫性のあるテキストを生成し、コンテキストを理解し、推論タスクを実行するための強力なツールとして登場した。 彼らは時間的推論に苦しむが、それはイベントシーケンシングや時間的関係、時間的関係などの時間的関連情報を処理する必要がある。 我々は,タイムライン構築と反復的自己回帰を組み合わせた多段階プロセスを通じて,LLMの時間的推論能力を高める新しいフレームワークであるTISERを紹介する。
  論文  参考訳（メタデータ） (2025-04-07T16:51:45Z)
• Towards Thinking-Optimal Scaling of Test-Time Compute for LLM Reasoning [108.07030347318624]
  より長い思考の連鎖(CoTs)によるスケーリングは、特定の領域におけるLarge Language Models(LLMs)の推論性能を損なう可能性があることを示す。 深層思考に異なる推論手法を採用するためのモデルを教えるための思考-最適スケーリング戦略を提案する。 我々のQwen2.5-32B-Instructに基づく自己改善モデルは、様々なベンチマークで他の蒸留ベースの32B o1-likeモデルより優れています。
  論文  参考訳（メタデータ） (2025-02-25T10:48:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。