論文の概要: More Accurate or More Efficient? Evaluating Locally Deployed Compact Open-Weight Language Models for Mathematical Reasoning

• arxiv url: http://arxiv.org/abs/2608.22048v1
• Date: Sat, 22 Aug 2026 17:24:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-25 13:29:43.575265
• Title: More Accurate or More Efficient? Evaluating Locally Deployed Compact Open-Weight Language Models for Mathematical Reasoning
• Title（参考訳）: より正確なか、より効率的なか? 数学的推論のための局所展開されたコンパクトなオープンウェイト言語モデルの評価
• Abstract要約: 本稿では,ローカルにホストされたLCMを数学的推論に基づいて評価するための制御された文書化手法を提案する。 固定推論設定、階層的な回答抽出と検証、明示的な失敗モード分類、要求毎のリソース測定を組み合わせる。 予備的な知見は、精度だけでは局所モデルを選択するのに不十分な基礎であることを示している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large language models are increasingly deployed on local hardware for privacy, cost, and accessibility reasons. Yet many evaluations emphasize accuracy while fewer quantify local runtime and energy, characterize failure modes, or apply paired statistical comparisons under controlled conditions. This paper presents a controlled, documented procedure for evaluating locally hosted LLMs on mathematical reasoning. It combines fixed inference settings, hierarchical answer extraction and verification, explicit failure-mode classification, and per-question resource measurement, and reports accuracy with paired significance tests and effect sizes. We demonstrate it in a preliminary study of three compact open-weight models under five billion parameters, Gemma3:4b (Google), Phi3:3.8b (Microsoft), and Qwen3:4b (Alibaba), across datasets spanning Grade 8 Math, Calculus I, and Advanced Probability and Statistics. All models ran through the same local inference server on one workstation, using a shared prompt template, controlled settings, and a matched question set per dataset. No single model dominates. Qwen3:4b is most accurate on two datasets and Gemma3:4b on Calculus I, yet Gemma3:4b returns roughly three times more correct answers per watt-hour than Qwen3:4b on every dataset while generating far fewer output tokens; Qwen3:4b requires substantially more generation time, energy, and output per question. Phi3:3.8b is substantially less accurate on all three datasets; its low extraction-failure rate indicates incorrect answers rather than unparsed output, though we caveat possible prompt-format effects. These preliminary findings indicate that accuracy alone is an insufficient basis for selecting a local model.
• Abstract（参考訳）: 大規模な言語モデルは、プライバシー、コスト、アクセシビリティの理由から、ますますローカルハードウェアにデプロイされている。 しかし、多くの評価は、局所的なランタイムとエネルギーの定量化を減らし、障害モードを特徴づけたり、制御条件下でのペア統計比較を適用したりしながら、精度を強調している。 本稿では,ローカルにホストされたLCMを数学的推論に基づいて評価するための制御された文書化手法を提案する。 固定された推論設定、階層的な回答抽出と検証、明示的な失敗モード分類、クエリごとのリソース測定を組み合わせることで、ペアの重要度テストと効果サイズで精度を報告する。 我々は、50億のパラメータ、Gemma3:4b(Google)、Phi3:3.8b(Microsoft)、Qwen3:4b(Alibaba)の3つのコンパクトオープンウェイトモデルを、グレード8 Math、Calculus I、Advanced Probability and Statisticsにまたがるデータセットで予備的な研究を行った。 すべてのモデルは、ひとつのワークステーション上の同じローカル推論サーバを介して実行され、共有プロンプトテンプレート、コントロールされた設定、データセット毎の一致した質問セットを使用していた。 単一のモデルが支配的ではない。 Qwen3:4bは2つのデータセットで最も正確であり、Gemma3:4bはCalculus Iでもっとも正確であるが、Gemma3:4bは各データセットでQwen3:4bよりも約3倍正確な答えを返す。 Phi3:3.8bは3つのデータセットではかなり正確ではない。 これらの予備的な結果は,精度だけでは局所モデルを選択するには不十分な基礎であることを示している。

関連論文リスト

• Beam Search, Self-Consistency, and the Limits of Inference-Time Scaling for Grammar-Constrained Text-to-SQL in Small Language Models [0.0]
  大規模言語モデルにおける共通のトレードオフは、推論時に計算量を増やしながら、モデルのサイズを減らすことである。 制約のないトレードオフは、制約のないトレードオフとは異なる振る舞いを示す。
  論文  参考訳（メタデータ） (2026-08-26T13:07:06Z)
• ClosureBench: A Constructive Benchmark for Compositional Graph Reasoning [1.827510863075184]
  ClosureBenchはグラフ関係推論のための構築的なベンチマークである。 証明済みの真実だ 1.5Bのオープンウェイトからフロンティアシステムへのモデルの評価を行った。
  論文  参考訳（メタデータ） (2026-08-18T18:36:21Z)
• Decoupling Perception from Description: Computation-Grounded Representation Alignment between Multivariate Time Series and Language [16.343638992747533]
  時系列を言語に合わせるためのマルチモーダルモデルのトレーニングは、セルフスーパービジョントラップに実行される。 データは、ラベル付け者が既に知っている以上のものを教えることはできない。 我々は認識を記述から切り離すことでこれを解決する。
  論文  参考訳（メタデータ） (2026-08-05T13:57:08Z)
• A Proprioceptive-Only Benchmark for Quadruped State Estimation: ATE, RPE, and Runtime Trade-offs Between Filters and Smoothers [3.926021278968717]
  MUSE, Invariant Extended Kalman Filter (IEKF), Invariant Smoother (IS) の3つの状態受容状態推定器を比較した。 本稿では,長期精度(ATE),短期精度(Translational and rotational Relative Pose metrics RPE),および固定ハードウェア/ソフトウェアスタック上での更新時間について報告する。 全体として、本研究では正確さとコストのスナップショットを提供し、読者がアプリケーション制約に適合する推定器を選択するのに役立つ。
  論文  参考訳（メタデータ） (2026-05-12T07:31:57Z)
• Erasing Without Remembering: Implicit Knowledge Forgetting in Large Language Models [81.62767292169225]
  我々は,その一般化に着目して,大規模言語モデルにおける知識の忘れについて検討する。 確率摂動に基づく新しいアンラーニングパラダイムであるPerMUを提案する。 TOFU、Harry Potter、ZsRE、WMDP、MUSEなど、さまざまなデータセットで実験が行われている。
  論文  参考訳（メタデータ） (2025-02-27T11:03:33Z)
• Large Language Monkeys: Scaling Inference Compute with Repeated Sampling [81.34900892130929]
  モデルから候補解を繰り返しサンプリングする簡単な手法を用いて、推論計算をスケーリングのための別の軸として検討する。 複数のタスクやモデルにまたがって、カバレッジは4桁以上のサンプル数でスケールする。 コードや形式的証明のようなドメインでは、回答が自動的に検証されるので、カバレッジの増加は直接的にパフォーマンスの向上につながります。
  論文  参考訳（メタデータ） (2024-07-31T17:57:25Z)
• Model Editing with Canonical Examples [75.33218320106585]
  標準例を用いたモデル編集について紹介する。 例えば、モーリシャスの首都はポートルイである。 本稿では,各標準例に対して数個の感覚ベクトルを選択し,微調整するセンスファインタニングを提案する。
  論文  参考訳（メタデータ） (2024-02-09T03:08:12Z)
• A contextual analysis of multi-layer perceptron models in classifying hand-written digits and letters: limited resources [0.0]
  我々は,前処理や特徴抽出を行わずに,終端から終端までのバニラニューラルネットワーク(MLP)アプローチを純粋に検証した。 基礎的なデータマイニング操作は,計算時間の観点からモデルの性能を著しく向上させることができることを示す。
  論文  参考訳（メタデータ） (2021-07-05T04:30:37Z)
• Examining and Combating Spurious Features under Distribution Shift [94.31956965507085]
  我々は、最小限の統計量という情報理論の概念を用いて、ロバストで刺激的な表現を定義し、分析する。 入力分布のバイアスしか持たない場合でも、モデルはトレーニングデータから急激な特徴を拾い上げることができることを証明しています。 分析から着想を得た結果,グループDROは,グループ同士の相関関係を直接考慮しない場合に失敗する可能性が示唆された。
  論文  参考訳（メタデータ） (2021-06-14T05:39:09Z)
• How Can We Know When Language Models Know? On the Calibration of Language Models for Question Answering [80.82194311274694]
  言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか? 我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。 次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
  論文  参考訳（メタデータ） (2020-12-02T03:53:13Z)
• Query Training: Learning a Worse Model to Infer Better Marginals in Undirected Graphical Models with Hidden Variables [11.985433487639403]
  確率的グラフィカルモデル(PGM)は、柔軟な方法でクエリできる知識のコンパクトな表現を提供する。 我々は,PGMを学習するメカニズムであるクエリトレーニング(QT)を導入し,それと組み合わせる近似推論アルゴリズムに最適化する。 実験により,QTを用いて隠れ変数を持つ8連結グリッドマルコフランダム場を学習できることが実証された。
  論文  参考訳（メタデータ） (2020-06-11T20:34:32Z)
• The Right Tool for the Job: Matching Model and Instance Complexities [62.95183777679024]
  NLPモデルが大きくなればなるほど、訓練されたモデルを実行するには、金銭的・環境的なコストを発生させる重要な計算資源が必要である。 我々は、推論中、早期(かつ高速)の"exit"を可能にする文脈表現微調整の修正を提案する。 3つのテキスト分類データセットと2つの自然言語推論ベンチマークの2つのタスクで、5つの異なるデータセットに対して提案した修正を検証した。
  論文  参考訳（メタデータ） (2020-04-16T04:28:08Z)
• Parameter Space Factorization for Zero-Shot Learning across Tasks and Languages [112.65994041398481]
  本稿では,ニューラルパラメータの空間に対するベイズ生成モデルを提案する。 タスク言語の組み合わせから得られたデータに基づいて、そのような潜伏変数よりも後部を推測する。 我々のモデルは、最先端のゼロショットの言語間転送手法よりも、同等か良い結果が得られる。
  論文  参考訳（メタデータ） (2020-01-30T16:58:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。