論文の概要: Beyond Fluent Generation: A CPU Reliability Benchmark for MCP-Style Tool Calling in Sub-2B Small Language Models for Edge Deployment

• arxiv url: http://arxiv.org/abs/2609.07370v1
• Date: Mon, 07 Sep 2026 11:44:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-12 00:41:22.322899
• Title: Beyond Fluent Generation: A CPU Reliability Benchmark for MCP-Style Tool Calling in Sub-2B Small Language Models for Edge Deployment
• Title（参考訳）: フルエント生成を超えて: エッジデプロイメントのためのSub-2B小言語モデルにおけるMPPスタイルツール呼び出しのためのCPU信頼性ベンチマーク
• Abstract要約: Raspberry Pi、NVIDIA Jetson Nano、Arduino UNO Q、Orange Pi、LattePandaなどのリソース制約のあるシングルボードコンピュータは、デバイス上の小さな言語モデル(SLM)エージェントを動機付けている。 Model Context Protocol (MCP) スタイルのツール呼び出しは、フロートジェネレーション以上の要求がある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Resource constrained single-board computers including Raspberry Pi, NVIDIA Jetson Nano, Arduino UNO Q, Orange Pi, and LattePanda motivate on-device small language model (SLM) agents that reduce cloud dependence, improve data locality, and tolerate intermittent connectivity. Model Context Protocol (MCP)-style tool invocation demands more than fluent generation: an agent must emit machine-readable JSON, select the correct tool, supply all required arguments, and avoid unintended actions. We establish a platform-agnostic CPU baseline by evaluating five open-weight models below two billion parameters Phi-1.5, Pythia-1.4B, TinyLlama-1.1B-Chat, Qwen2.5-0.5B, and Qwen2.5-1.5B on 100 prompts spanning weather retrieval, web search, calculation, email composition, and task creation, under greedy decoding and nucleus sampling. A recovery parser strips Markdown fences, extracts brace-delimited substrings, and scores parseability, tool-name correctness, argument completeness, and value agreement. Under this criterion, Qwen2.5-1.5B achieves 75% (greedy) and 79% (sampling); Qwen2.5-0.5B achieves 72% (greedy) but drops to 32% under sampling. Phi-1.5 scores 0%; Pythia and TinyLlama reach at most 7%. A strict post-hoc audit finds only 5 of 1,000 raw responses directly parseable as JSON, exposing near-total dependence on output recovery. A CPU resource probe shows Qwen2.5-1.5B requires 7,960 MiB and 30.782 s mean latency; Qwen2.5-0.5B uses 3,637 MiB and 10.627 s, revealing a reliability-resource trade-off for edge deployment. These results do not cover the named boards directly or a full MCP implementation. Safe deployment requires schema validation, constrained generation, least-privilege execution, and human escalation for consequential actions.
• Abstract（参考訳）: Raspberry Pi、NVIDIA Jetson Nano、Arduino UNO Q、Orange Pi、LattePandaといったリソース制約のあるシングルボードコンピュータは、クラウド依存を低減し、データの局所性を改善し、断続的な接続を許容するデバイス上の小さな言語モデル(SLM)エージェントを動機付けている。 Model Context Protocol(MCP)スタイルのツール呼び出しは、流動的な生成以上のものを要求する: エージェントはマシン可読なJSONを出力し、正しいツールを選択し、必要な引数をすべて供給し、意図しないアクションを避ける。 Phi-1.5, Pythia-1.4B, TinyLlama-1.1B-Chat, Qwen2.5-0.5B, Qwen2.5-1.5Bの5つのオープンウェイトモデルから, 気象検索, Webサーチ, メール合成, タスク生成を, グリージー復号および核サンプリングにより評価することにより, プラットフォームに依存しないCPUベースラインを確立する。 リカバリパーザはマークダウンフェンスを剥ぎ取り、ブラス切れのサブストリングを抽出し、パース可能性、ツール名の正確性、引数の完全性、値の一致をスコアする。 この基準の下では、Qwen2.5-1.5Bは75%(グリード)と79%(サンプリング)、Qwen2.5-0.5Bは72%(グリード)となるが、サンプリングでは32%に低下する。 Phi-1.5は0%、PythiaとTinyLlamaは7%である。 厳格なポストホック監査では、JSONとして直接パース可能な生のレスポンスのうち5つしか見つからず、出力回復にほぼ完全に依存している。 CPUリソースプローブによると、Qwen2.5-1.5Bは7,960 MiBと30.782 sの平均レイテンシを必要とし、Qwen2.5-0.5Bは3,637 MiBと10.627 sを使用し、エッジデプロイメントの信頼性とリソースのトレードオフを明らかにしている。 これらの結果は、名前付きボードや完全なMPP実装を直接カバーしていない。 安全なデプロイメントには、スキーマ検証、制約付き生成、最小限のプライベート実行、連続的なアクションのための人間のエスカレーションが必要です。

関連論文リスト

• ReDraft, Don't Just Distill: Reference-Driven Revision for Continual VLLM Post-Training [66.72708893922605]
  大規模なマルチモーダルモデルのポストトレーニングは、事前トレーニングから保護しながら、新しい機能を追加する必要がある。 SFTは、タスクをほぼゼロの精度から学習する明確なターゲット監視を提供するが、そのオフポリティックターゲットはモデルを十分に移動させ、忘れる原因となる。 モデル自身の失敗から両方を得るReDraftを紹介します。
  論文  参考訳（メタデータ） (2026-09-15T04:59:03Z)
• Large Models for Small Devices: Recent Advances and Empirical Analysis of Edge AI Deployment [4.582004238093247]
  リソース制約のあるエッジデバイス上で大規模なAIモデルを実行するには、モデルサイズと計算量を削減するためにモデル圧縮が必要である。 質問応答とイメージセグメンテーションにまたがって、GPU、CPU、Raspberry Piプラットフォームにコンパクトな言語とイメージモデルをデプロイします。 ニューラルネットワークグラフ解析とプリフィル・デコードレベルの遅延分解により,これらの効果を説明する。
  論文  参考訳（メタデータ） (2026-08-16T11:52:13Z)
• Two Calls Beat Five Agents: Evaluating Multi-Agent Pipelines Against Self-Refinement for Local Language Models [0.0]
  Qwen2.5-7B-Instructに配置することで,5つの役割を含む構造化マルチエージェントシステムであるParishadについて検討する。 その結果,コミュニケーションの形式や実装の詳細が,アーキテクチャ上の複雑さ以上の結果を決定することがわかった。
  論文  参考訳（メタデータ） (2026-07-29T13:53:02Z)
• When the Tool Decides: LLM Agents Defer Blindly to Graph Neural Network Tools, and Stronger Backbones Defer More [10.283803346813047]
  大規模言語モデル(LLM)エージェントにグラフニューラルネットワーク(GNN)をコール可能なツールとして装備する作業が増えている。 凍結したGNNをReActスタイルのLLMエージェントに明示的なツールとして公開し、テキスト分散グラフ上のノード分類で測定する。 その予測は生のGNNの97.6-99.2%の時間(5種)と一致している。 性能が向上し、代替手段が出現する場所で成長するにつれて、推論のコストは低下しない。
  論文  参考訳（メタデータ） (2026-06-12T14:13:19Z)
• Off-the-Shelf LLMs as Process Scorers: Training-Free Alternative to PRMs for Mathematical Reasoning [51.88950852117154]
  Chunk-Level Guided Generationは、既製の大規模言語モデルをプロセススコアラとして使用する、トレーニング不要の代替手段である。 本研究では,系統的な長さバイアスのため,大モデル確率の可変長推論ステップが信頼できないことを示す。 Chunk-Level Guided Generation は PRM guided search よりもかなり短い推論トレースを生成する。
  論文  参考訳（メタデータ） (2026-06-01T04:43:36Z)
• The Constraint Tax: Measuring Validity-Correctness Tradeoffs in Structured Outputs for Small Language Models [0.5482532589225553]
  本稿では、デバイス上および低コストのSLM(Small Language Model)デプロイメントを対象としている。 出力制約が根底にある答えを変えることなく信頼性を向上させることを示す。 我々は,回答と実行可能精度損失を分離するための測定プロトコルであるEmphconstraint Taxを導入する。
  論文  参考訳（メタデータ） (2026-05-20T07:11:32Z)
• Speculative Interaction Agents: Building Real-Time Agents with Asynchronous I/O and Speculative Tool Calling [64.40340291543971]
  我々は,小さなエッジスケールモデルとのリアルタイムインタラクションを実現するための投機的インタラクションエージェントを提案する。 また、ストリーミング入力と非同期応答を処理するためにモデルを適応させるクロックベースのトレーニング手法を提案する。 このアプローチは、Qwen2.5-3B-InstructとLlama-3.2-3B-Instructモデルを複数のツール呼び出しベンチマークで1.6-2.2$times$ Speedupを提供する。
  論文  参考訳（メタデータ） (2026-05-13T11:20:52Z)
• LLM Agents Already Know When to Call Tools -- Even Without Reasoning [25.40369702634587]
  LLMエージェントは、たとえモデルが直接答えられるとしても、ツールを無差別に呼び出す傾向がある。 ツールコールが実際に必要になった場合、既存のベンチマークは体系的に研究されない。 ツールの必要性の3つのカテゴリにまたがる18の環境のベンチマークである When2Tool を提案する。
  論文  参考訳（メタデータ） (2026-05-10T01:37:40Z)
• MobileLLM-R1: Exploring the Limits of Sub-Billion Language Model Reasoners with Open Training Recipes [60.57770396565211]
  強い推論能力は、はるかに少ないデータで実現可能であることを示す。 MobileLLM-R50MのAIMEスコアは15.5であり、OLMo-2-1.48Bは0.6、SmolLM-2-1.7Bは0.3である。
  論文  参考訳（メタデータ） (2025-09-29T15:43:59Z)
• MonkeyOCR: Document Parsing with a Structure-Recognition-Relation Triplet Paradigm [60.14048367611333]
  MonkeyOCRはドキュメント解析のためのビジョン言語モデルである。 SRR(Structure-Recognition-Relation)三重項パラダイムを活用することで、最先端の技術の進歩を図っている。
  論文  参考訳（メタデータ） (2025-06-05T16:34:57Z)
• s1: Simple test-time scaling [148.4204982041058]
  テスト時間スケーリングは、パフォーマンスを改善するために余分なテスト時間計算を使用する言語モデリングに対する、有望な新しいアプローチである。 テストタイムのスケーリングと強力な推論性能を実現するための最もシンプルなアプローチを探します。
  論文  参考訳（メタデータ） (2025-01-31T18:48:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。