論文の概要: Do I Need the Cloud? Uncertainty-Aware Step-Level Handoff for Small Language Model Agents
- arxiv url: http://arxiv.org/abs/2610.07816v1
- Date: Tue, 06 Oct 2026 06:09:31 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-08 02:58:29.838068
- Title: Do I Need the Cloud? Uncertainty-Aware Step-Level Handoff for Small Language Model Agents
- Title(参考訳): クラウドは必要か? 小言語モデルエージェントのための不確かさを意識したステップレベルハンドオフ
- Abstract要約: 小言語モデル(SLM)は、リモート推論、レイテンシ、デプロイメントのフットプリントを減らすため、ローカルエージェントコントローラとして魅力的である。
STEPGATEは、各ローカルSLMアクションをスコアし、より強力なモデルに挑戦するステップを選択的にエスカレートする不確実性対応ハンドオフフレームワークである。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Small language models (SLMs) are attractive as local agent controllers because they reduce remote inference, latency, and deployment footprint, yet structured tool errors can cause an agent step to fail. Existing routers typically select a model once per query. However, agents expose sequential decision points whose difficulty dynamically changes based on intermediate observations. We propose STEPGATE, an uncertainty-aware handoff framework that scores each local SLM action and selectively escalates challenging steps to a stronger model. On a 52-task held-out single-step BFCL-derived test split, the Qwen2.5-1.5B/7B pair attains 82.7% task success with 30.8% escalation, versus 67.3% local-only and 75.4% random escalation (which uses 33.8% escalation). In a separate multi-turn evaluation, STEPGATE achieves 69.0% trajectory success and 84.0% action success using only 30.0% cloud actions, compared with 48.0%/70.5% local-only, 60.0%/78.2% random escalation, and 57.0%/77.1% query-level routing (strong-only achieves 82.0% trajectory success at 100% cloud actions). These results suggest that step-level escalation recovers a large share of the performance gap to the stronger Qwen2.5-7B backend at a matched cloud-action rate while transmitting fewer tokens remotely. However, our evaluation is limited to one model family, a single stronger backend, and scripted tasks. Furthermore, the test sets are small, multi-turn comparisons rely on paired intervals and statistical tests, and our risk tiers serve as research annotations rather than formal safety guarantees.
- Abstract(参考訳): 小言語モデル(SLM)は、リモート推論、レイテンシ、デプロイメントのフットプリントを削減するため、ローカルエージェントコントローラとして魅力的だが、構造化されたツールエラーによってエージェントステップが失敗する可能性がある。
既存のルータは通常、クエリ毎にモデルを選択する。
しかしエージェントは、中間観測に基づいて、困難が動的に変化するシーケンシャルな決定点を露呈する。
STEPGATEは、各ローカルSLMアクションをスコアし、より強力なモデルに挑戦するステップを選択的にエスカレートする不確実性対応ハンドオフフレームワークである。
Qwen2.5-1.5B/7Bは52タスクの単段BFCL由来のテスト分割で、30.8%のエスカレーションで82.7%のタスク成功、67.3%のローカルオンリー、75.4%のランダムエスカレーション(33.8%のエスカレーション)を達成した。
個別のマルチターン評価では、STEPGATEはわずか30.0%のクラウドアクションを使用して69.0%のトラジェクトリ成功と84.0%のアクション成功を達成し、48.0%/70.5%のローカルオンリー、60.0%/78.2%のランダムエスカレーション、57.0%/77.1%のクエリレベルのルーティング(強みのみ100%のクラウドアクションで82.0%のトラジェクトリ成功)を達成している。
これらの結果から,Qwen2.5-7Bバックエンドのパフォーマンスギャップの大部分をクラウド対応率で回復し,遠隔でトークンを送信しやすくなったことが示唆された。
しかし、評価は1つのモデルファミリ、単一の強力なバックエンド、スクリプトタスクに限られています。
さらに、テストセットは小さく、複数ターン比較はペア間隔と統計的テストに依存しており、我々のリスク層は正式な安全保証ではなく研究アノテーションとして機能する。
関連論文リスト
- DexPolicy: Scheduled Exploration for Trajectory-Guided Dexterous Manipulation [59.77542456468077]
器用な操作のための強化学習(RL)は、指と物体の接触を発見し、その物体を正確に制御する必要がある。
我々のベースラインPPOは、5Mステップ後に最初の動作ノイズの近くで終了し、探索スケールの明示的な制御を動機付けます。
PPO, 批判のないGRPO継続, フローフリーなPPOの3つのポリシー最適化設定について検討した。
論文 参考訳(メタデータ) (2026-09-30T04:19:47Z) - TACIT-Switch: Cost-Aware Model Escalation for LLM Agents from Censored Supervision [2.681967953218225]
より小さな言語モデルバックボーンを持つエージェントは永続的な障害モードにドリフトできるが、より大きなバックボーンを持つエージェントは一般的により信頼性が高いがよりコストがかかる。
この信頼性の高いトレードオフは、より大きなバックボーンを持つエージェントをいつ呼び出すかを決定するルーティングメソッドを動機付けます。
提案手法であるTACIT-SWITCHは,蓄積された軌跡の証拠から永久的ハンドオフポリシーを学習する。
論文 参考訳(メタデータ) (2026-08-28T04:33:11Z) - MetaRoute-Bench: Evaluating Meta-Decision Policies for Agentic Workflow Routing [0.0]
共有実行モデルの下でメタ決定ポリシーを比較するためのオープンで検査可能なフレームワークであるMetaRoute-Benchを提案する。
タスク対応のコンポジションポリシは79.4%が成功し、強いワークロード固有の静的ポリシでは76.7%が成功している。
静的ポリシーとは対照的に、これは2.7パーセントの改善であり、ペアの95%CIプラスまたはマイナス2.0ポイント、平均コストが4.7%、レイテンシが6.4%向上している。
論文 参考訳(メタデータ) (2026-07-31T07:01:21Z) - Determinants and Limits of LLM Security-Tool Orchestration: A Study with HexStrike-AI [2.2616066835313253]
7つのカテゴリと3つの難易度で86のPicoCTF課題を実行し、3つのツールアクセスレジームと3つのモデル/クライアント構成で実行します。
既存のツール,エージェント・ビヘイビアの変更,11の新たな機能ツールに修正を適用し,これまで未経験だったトライアルを再実行します。
全体の解決率は55.4%から72.0%に上昇し、全ての構成が大幅に改善される。
論文 参考訳(メタデータ) (2026-07-03T02:20:04Z) - Orchard: An Open-Source Agentic Modeling Framework [124.68499958175111]
スケーラブルなエージェントモデリングのためのオープンソースのフレームワークOrchardを紹介します。
Orchard Envは、サンドボックスライフサイクル管理のための再利用可能なプリミティブを提供する軽量環境サービスである。
Orchard Envの上に、3つのエージェントモデリングレシピを構築します。
論文 参考訳(メタデータ) (2026-05-14T16:35:12Z) - Towards Optimal Agentic Architectures for Offensive Security Tasks [3.93181912653522]
20のインタラクティブなターゲット(Web/API10とバイナリ10)のベンチマークを導入する。
それぞれ、ホワイトボックスとブラックボックスモードで評価された、ワンリーチ可能な地上真実の脆弱性を露呈する。
MAS-Indepは最も高い検出率(64.2%)を獲得し、SASは最も高い効率のベースラインである0.058ドルである。
論文 参考訳(メタデータ) (2026-04-20T18:17:51Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳(メタデータ) (2025-12-09T06:52:21Z) - Patch-Level Contrasting without Patch Correspondence for Accurate and
Dense Contrastive Representation Learning [79.43940012723539]
ADCLRは、正確で高密度な視覚表現を学習するための自己教師型学習フレームワークである。
提案手法は, コントラッシブな手法のための新しい最先端性能を実現する。
論文 参考訳(メタデータ) (2023-06-23T07:38:09Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。