論文の概要: Beyond Leaderboards: Tokenomics of Agentic Small Language Model Ensembles
- arxiv url: http://arxiv.org/abs/2610.00954v1
- Date: Thu, 01 Oct 2026 02:37:56 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-03 01:19:23.853032
- Title: Beyond Leaderboards: Tokenomics of Agentic Small Language Model Ensembles
- Title（参考訳）: リーダーボードを超えて - エージェント型小言語モデルのトケノミクス
- Abstract要約: 本研究では,SLM-judge によるフィードバックループを用いた小型言語モデル (SLM) のエージェントアンサンブル(エージェントアンサンブル)を,超越型評価のケーススタディとして用いた。
541-prompt IFEvalベンチマークでは、最高のアンサンブルは97.34%の厳密な迅速な精度を達成した。
この結果から,エージェントSLMアンサンブルが追加のテスト時間トークンとオーケストレーションオーバヘッドを交換し,命令追従性の向上を図っている。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: As large language models (LLMs) move from standalone assistants into agentic workflows, evaluation must extend beyond scalar leaderboard accuracy to account for operational reliability, cost, latency, and token efficiency. We use an agentic ensemble of small language models (SLMs) with an SLM-judge-mediated feedback loop as a case study for such beyond-leaderboard evaluation. On the 541-prompt IFEval benchmark, the best ensemble achieves 97.34% strict prompt accuracy, exceeding the strongest standalone LLM baseline, gpt-5.4, by 5.81 percentage points while operating in a lower-cost regime. We then analyze the tokenomics and operational behavior behind this gain, including cost per sample, token composition, useful-output goodput, feedback-loop recovery, latency decomposition, and performance across instruction categories and constraint counts. Our results show that agentic SLM ensembles can trade additional test-time tokens and orchestration overhead for improved instruction-following fidelity, motivating multi-dimensional evaluation protocols for future agentic AI systems.
- Abstract（参考訳）: 大規模言語モデル(LLM)がスタンドアロンのアシスタントからエージェントワークフローへと移行するにつれて、運用上の信頼性、コスト、レイテンシ、トークン効率を考慮するために、評価はスカラーのリーダボードの正確性を越えて拡張されなければならない。
本研究では,SLM-judge によるフィードバックループを用いた小型言語モデル (SLM) のエージェントアンサンブル(エージェントアンサンブル)を,超越型評価のケーススタディとして用いた。
541-prompt IFEvalベンチマークでは、最高のアンサンブルは97.34%の厳密な迅速な精度を達成し、低コストで運用されている間、最強のスタンドアローンのLCMベースラインであるgpt-5.4を5.81ポイント上回っている。
次に、サンプル当たりのコスト、トークン構成、有用出力出力出力、フィードバックループ回復、遅延分解、命令カテゴリと制約数間のパフォーマンスなど、この利得の背後にあるトケノミクスと運用動作を分析します。
この結果から,エージェントSLMアンサンブルは,今後のエージェントAIシステムのための多次元評価プロトコルを動機付け,命令追従の忠実性を改善するために,追加のテスト時間トークンとオーケストレーションオーバーヘッドを交換できることがわかった。
関連論文リスト
- Business Utility of Large Language Models as Exploratory Data Analysis Agents [0.0]
大規模言語モデル (LLM) は分析にますます使われているが、ビジネス環境での探索的データ分析 (EDA) エージェントとしての利用性は依然として不確実である。
実際には、デプロイ可能なEDAエージェントは、有用な平均的なパフォーマンスだけでなく、その出力に対する信頼をサポートするのに十分な反復性も提供しなければなりません。
我々はエージェントベースのサプライチェーンシミュレーションに基づいて,この要件を制御されたビジネス関連ベンチマークで評価する。
論文 参考訳（メタデータ） (2026-05-08T08:23:10Z) - LLM4Cov: Execution-Aware Agentic Learning for High-coverage Testbench Generation [14.930725734080356]
実行対応のLLMエージェントは、ツールフィードバックから学ぶための有望なパラダイムを提供するが、そのようなフィードバックは高価で入手が遅いことが多い。
決定論的評価器によって導かれるメモリレス状態遷移として検証をモデル化するオフラインエージェント学習フレームワークを提案する。
論文 参考訳（メタデータ） (2026-02-18T23:36:46Z) - SCRIBE: Structured Mid-Level Supervision for Tool-Using Language Models [10.04930078540686]
SCRIBEは、新しい中間レベルの抽象化に介入する強化学習フレームワークである。
さまざまな推論とツール使用ベンチマークで最先端のパフォーマンスを実現している。
論文 参考訳（メタデータ） (2026-01-07T03:49:48Z) - One Model to Critique Them All: Rewarding Agentic Tool-Use via Efficient Reasoning [54.580646706013965]
リワードモデル(RM)は、大きな言語モデルと人間の嗜好の整合において重要な役割を果たす。
一般的なツール使用シナリオに適した軽量な生成型RMのファミリーであるToolRMを紹介する。
これらのモデルを構築するために,ルールベースのスコアリングと多次元サンプリングを用いたペアワイズ選好データを構築するパイプラインを提案する。
論文 参考訳（メタデータ） (2025-10-30T06:08:27Z) - TrajSelector: Harnessing Latent Representations for Efficient and Effective Best-of-N in Large Reasoning Model [21.82904448561646]
大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著な進歩を示している。
Best-of-N選択パラダイムは、複数の独立に生成された推論軌道から選択することで、スケーラブルなパフォーマンス改善をもたらす。
プロセスレベルのスコアリングのために,サンプルLLMの隠れ状態を利用する,効率的かつ効果的なBest-of-NフレームワークであるTrajSelectorを紹介した。
論文 参考訳（メタデータ） (2025-10-18T11:01:39Z) - How can we assess human-agent interactions? Case studies in software agent design [52.953425368394306]
我々は,人間とエージェントの相互作用の厳密な評価に向けて,二つの大きな一歩を踏み出した。
エージェント設計のより効率的な人間中心評価のためのフレームワークであるPULSEを提案する。
私たちは、オープンソースのソフトウェアエージェントOpenHandsを中心に構築された大規模なWebプラットフォームにフレームワークをデプロイします。
論文 参考訳（メタデータ） (2025-10-10T19:04:28Z) - IDA-Bench: Evaluating LLMs on Interactive Guided Data Analysis [60.32962597618861]
IDA-Benchは、多ラウンドの対話シナリオで大規模言語モデルを評価する新しいベンチマークである。
エージェント性能は、最終的な数値出力と人間由来のベースラインを比較して判断する。
最先端のコーディングエージェント(Claude-3.7-thinkingなど)でさえ50%のタスクを成功させ、シングルターンテストでは明らかでない制限を強調している。
論文 参考訳（メタデータ） (2025-05-23T09:37:52Z) - Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。
我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。
提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
論文 参考訳（メタデータ） (2024-05-01T11:10:24Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。