論文の概要: Can a Lightweight Multimodal Model Estimate LLM Reasoning Performance? A Study for Compute-Optimal Document Inference

• arxiv url: http://arxiv.org/abs/2608.18591v1
• Date: Wed, 19 Aug 2026 06:33:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-20 20:13:55.308106
• Title: Can a Lightweight Multimodal Model Estimate LLM Reasoning Performance? A Study for Compute-Optimal Document Inference
• Title（参考訳）: 軽量マルチモーダルモデルによるLLM推論性能の推定は可能か?
• Abstract要約: BudgetDocは、モデル予算パフォーマンストレードオフの明確な監視を提供する最初のマルチモーダルベンチマークである。 DRB(Document-Reasoning Balancer)は、予算レベルでの順序モデルのパフォーマンスを予測し、0.753重み付きF1を達成する。 予備評価は、DRBがクロスモデル選択に一般化する可能性を示している。
• 参考スコア（独自算出の注目度）: 1.7194419006128259
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Uniformly allocating inference reasoning budgets to LLMs is expensive and prone to over-thinking penalties; especially in document tasks where visual layouts drive complexity. To address this, we introduce BudgetDoc, the first multimodal benchmark providing explicit supervision for model-budget-performance trade-offs across three document tasks. Using BudgetDoc, we train DRB (Document-Reasoning Balancer), an approx. 1B-parameter pre-flight estimator (SigLIP-2 + Qwen3-0.6B) that predicts ordinal model performance across budget levels, achieving a 0.753 weighted F1. When dynamically allocating reasoning budgets across five frontier models and three datasets, DRB matches or improves F1 scores compared to always-maximum-budget baselines in 9 of 15 configurations while drastically reducing cost. Finally, preliminary evaluations demonstrate DRB's potential to generalize to cross-model selection.
• Abstract（参考訳）: 推論推論の予算をLLMに均一に割り当てることは高価であり、特に視覚的なレイアウトが複雑さを増すドキュメントタスクでは、過度な罰則を考慮しがちである。 この問題を解決するために,3つの文書タスクにわたるモデル予算パフォーマンストレードオフを明示的に監視する,最初のマルチモーダルベンチマークであるBudgetDocを紹介した。 BudgetDocを使って、近似であるDBB(Document-Reasoning Balancer)をトレーニングします。 1Bパラメータ事前飛行推定器(SigLIP-2 + Qwen3-0.6B)は、予算レベルでの順序モデルの性能を予測し、0.753重み付きF1を達成する。 5つのフロンティアモデルと3つのデータセットで推論予算を動的に割り当てる場合、DRBはF1スコアを15構成中9構成で最大予算ベースラインと一致させるか改善すると同時に、コストを大幅に削減する。 最後に、予備評価は、DRBがクロスモデル選択に一般化する可能性を示す。

関連論文リスト

• Who Thinks Best Depends on How Long You Let Them: Budget-Dependent Rankings in LLM Evaluation [0.0]
  Oracleの分析によると、モデルの相補性は最大$+27.8$ppで、最も顕著なのは制約付き予算である。 予算対応ルータは、オラクルギャップの14.1%のクロスドメインをキャプチャする。
  論文  参考訳（メタデータ） (2026-08-12T15:11:35Z)
• RouteLMT: Learned Sample Routing for Hybrid LLM Translation Deployment [57.588738943463646]
  大規模言語モデル(LLM)は機械翻訳(MT)において顕著な性能を発揮した 大規模に展開するのは 違法に高価です モデル内ルータである textbfRouteLMT を提案する。
  論文  参考訳（メタデータ） (2026-04-24T13:02:45Z)
• Benchmarking Multi-Agent LLM Architectures for Financial Document Processing: A Comparative Study of Orchestration Patterns, Cost-Accuracy Tradeoffs and Production Scaling Strategies [0.0]
  財務文書から構造化情報を抽出するための4つのマルチエージェントオーケストレーションアーキテクチャを比較した。 反射的アーキテクチャは、最高フィールドレベルF1(0.943)を達成するが、シーケンシャルベースラインのコストは2.3倍である。 本稿では, セマンティックキャッシング, モデルルーティング, 適応再試行戦略に関するアブレーション研究を行い, ハイブリッド構成により, 反射型アーキテクチャの精度の89%を1.15倍のコストで回収できることを実証した。
  論文  参考訳（メタデータ） (2026-03-24T00:02:47Z)
• CDRRM: Contrast-Driven Rubric Generation for Reliable and Interpretable Reward Modeling [61.75914342638658]
  CDRRM(Contrast-Driven Reward Model)は、高品質なルーリック生成と優先判断のためのフレームワークである。 この作業は、報酬モデリングのためのスケーラブルで解釈可能で、データ効率のよいパスを提供する。
  論文  参考訳（メタデータ） (2026-03-09T07:15:23Z)
• Learning Query-Aware Budget-Tier Routing for Runtime Agent Memory [56.0946692457838]
  BudgetMemは、明示的でクエリ対応のパフォーマンスコスト管理のためのランタイムエージェントメモリフレームワークである。 軽量ルータは、タスク性能とメモリ構築コストのバランスをとるために、モジュール間の予算層ルーティングを実行する。 LoCoMo、LongMemEval、HotpotQAの他、BudgetMemはパフォーマンスが優先されるときに、強力なベースラインを超える。
  論文  参考訳（メタデータ） (2026-02-05T18:57:09Z)
• Budget-Aware Anytime Reasoning with LLM-Synthesized Preference Data [57.996437077411315]
  計算予算に制限のある大規模言語モデル(LLM)の推論挙動について検討する。 我々は、任意の推論フレームワークとAnytime Indexを導入し、推論トークンが増加するにつれて、ソリューションの品質がいかに効果的に向上するかを定量化します。 NaturalPlan(Trip)、AIME、GPQAデータセットの実験では、Grok-3、GPT-oss、GPT-4.1/4o、LLaMAモデル間で一貫した利得を示している。
  論文  参考訳（メタデータ） (2026-01-16T07:09:30Z)
• How to Set the Learning Rate for Large-Scale Pre-training? [73.03133634525635]
  我々はこの調査を2つの異なる研究パラダイムであるフィッティングとトランスファーに定式化する。 フィッティングパラダイムでは,探索係数のスケーリング法則を導入し,O(n3) から O(n*C_D*C_) への探索複雑性を予測モデルにより効果的に低減する。 我々は、$Transferの原則をMixture of Experts (MoE)アーキテクチャに拡張し、モデル深さ、重量減衰、トークン水平線を含む適用範囲を広げる。
  論文  参考訳（メタデータ） (2026-01-08T15:55:13Z)
• RADAR: Reasoning-Ability and Difficulty-Aware Routing for Reasoning LLMs [51.88834210085435]
  本稿では、軽量で解釈可能でスケーラブルなルーティングフレームワークRADAR(Reasoning-Ability and Difficulty-Aware Routing)を提案する。 心理測定にインスパイアされたRADARは、さまざまな予算を持つモデル応答から異なるクエリへのアイテム応答モデルを学ぶ。 我々は8つの広く使われている推論ベンチマークについて広範な実験を行い、最先端のルーティング手法と比較してRADARの優れた性能を実証した。
  論文  参考訳（メタデータ） (2025-09-29T19:33:44Z)
• Plan and Budget: Effective and Efficient Test-Time Scaling on Large Language Model Reasoning [19.258292534503887]
  Plan-and-Budgetは、複雑なクエリをサブクエストに分解し、適応スケジューリングを使用して推定複雑性に基づいてトークン予算を割り当てる、モデルに依存しないテストタイムフレームワークである。 Plan-and-Budgetは、様々なタスクやモデルにわたる推論効率を改善し、最大で70%の精度向上、39%のトークン削減、および$E3$の+187.5%の改善を実現している。
  論文  参考訳（メタデータ） (2025-05-22T01:56:29Z)
• When Reasoning Beats Scale: A 1.5B Reasoning Model Outranks 13B LLMs as Discriminator [0.0]
  1.5B の蒸留パラメータ推論モデル (DeepSeek-R1) を, 最先端の非推論 LLM と比較した。 我々の中心的な仮説は、推論モデルは非共振LDMよりも効果的に識別できるというものである。
  論文  参考訳（メタデータ） (2025-04-30T17:27:13Z)
• Balancing the Budget: Understanding Trade-offs Between Supervised and Preference-Based Finetuning [18.381178799923514]
  大規模言語モデルの訓練後、しばしば監視ファインタニング(SFT)のパイプラインと、優先度ファインタニング(PFT)が伴う。 本研究では,2段階間のトレーニングデータ予算を最適に割り当てる方法について検討する。
  論文  参考訳（メタデータ） (2025-02-16T21:57:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。