論文の概要: EdgeWise: Bringing Long-Horizon Agents to the Edge via Selective Cloud Delegation
- arxiv url: http://arxiv.org/abs/2610.17560v1
- Date: Tue, 13 Oct 2026 01:32:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 18:27:11.415373
- Title: EdgeWise: Bringing Long-Horizon Agents to the Edge via Selective Cloud Delegation
- Title（参考訳）: EdgeWise: 選択的なクラウドデリゲーションを通じて、エッジにロングホライズンエージェントをもたらす
- Abstract要約: EdgeWiseは、ローカルデバイスにSLMをデプロイする、エッジクラウドコラボレーションフレームワークである。
EdgeWiseはSWE-Rebenchで最大62%、 Terminal-Bench 2.1で最大34%の推論コストを削減しながら、純粋なLLM実行にマッチまたは性能を向上することを示す。
- 参考スコア（独自算出の注目度）: 42.024752609404864
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Complex and long-horizon agent tasks often rely on frontier models deployed in the cloud to achieve strong performance. However, using these models for every step of a long-horizon trajectory incurs substantial inference cost, even though not all steps may require the same level of model capability. In this paper, we find that allocating the LLM to only a small subset of key steps can achieve performance comparable to full LLM execution while significantly reducing inference cost. Motivated by this observation, we propose EdgeWise, an edge-cloud collaboration framework that deploys an SLM on the local device as the primary solver and selectively delegates critical steps to a cloud LLM when stronger model capacity is needed. To enable autonomous delegation without additional models at inference time, we introduce a step-level RL method that jointly optimizes task solving and delegation, with fine-grained credit assignment for individual delegation decisions. We also introduce an external judge-based delegation strategy and use it to systematically investigate key design choices in edge-cloud collaboration, including when to delegate, how delegation decisions should be made, what context should be shared, and how frequently the cloud LLM should be invoked. Experiments show that EdgeWise matches or outperforms pure-LLM execution while reducing inference cost up to 62% on SWE-Rebench and 34% on Terminal-Bench 2.1. We further deploy EdgeWise on a local workstation, demonstrating comparable cost savings in a practical edge-cloud setting.
- Abstract（参考訳）: 複雑で長期にわたるエージェントタスクは、高いパフォーマンスを達成するために、クラウドにデプロイされたフロンティアモデルに依存することが多い。
しかし、長い水平軌道の全てのステップでこれらのモデルを使用すると、全てのステップが同じレベルのモデル能力を必要とするわけではないにもかかわらず、かなりの推論コストが発生する。
本稿では,LLMを最小限のキーステップに割り当てることによって,LLMの完全な実行に匹敵する性能を実現するとともに,推論コストを大幅に削減できることを見出した。
この観測から得られたエッジクラウドコラボレーションフレームワークであるEdgeWiseを提案する。これはローカルデバイスにSLMをデプロイし,より強力なモデルキャパシティが必要な場合には,重要なステップをクラウドLLMに選択的に委譲する。
推論時に追加モデルなしで自律的なデリゲーションを可能にするために、個別デリゲーション決定のためのきめ細かいクレジット代入とともに、タスク解決とデリゲーションを協調的に最適化するステップレベルRL手法を導入する。
また、外部の判断に基づく委任戦略を導入し、エッジクラウドのコラボレーションにおける重要な設計選択を体系的に調査する。
実験の結果、EdgeWiseは純粋なLLM実行にマッチまたは性能が向上し、SWE-Rebenchでは62%、Terminal-Bench 2.1では34%の推論コストが削減された。
さらに、EdgeWiseをローカルワークステーションにデプロイし、実用的なエッジクラウド設定で、同等のコスト削減を実証しています。
関連論文リスト
- Sibyl: An Efficient Small-large Model Collaboration Framework for Long-horizon Tasks [35.706267319916755]
小型言語モデル(SLM)は、低レイテンシ、リソース効率の推論を通じてデバイス上のエージェントに有望な基盤を提供する。
SLMとより大きなクラウドホストモデルの間のステップレベルのコラボレーションは、このギャップを埋めることができますが、クラウドアシストの保証は依然として難しい状態です。
我々はSLMエージェントにステップレベルでクラウドモデルを選択的に参照し、その後の意思決定のためのガイダンスを内部化するアルゴリズムであるSibylを提案する。
論文 参考訳（メタデータ） (2026-10-04T17:14:41Z) - Unleashing MLLMs on the Edge: A Unified Framework for Cross-Modal ReID via Adaptive SVD Distillation [48.88299242238335]
CM-ReID(Cross-Modal Re-identification)は、特別なクラウドモデルの断片化されたエコシステムを維持するため、課題に直面している。
我々は,強力なクラウドエッジアーキテクチャに基づく統一フレームワークであるMLLMEmbed-ReIDを提案する。
論文 参考訳（メタデータ） (2026-02-13T13:48:08Z) - Reasoning with Confidence: Efficient Verification of LLM Reasoning Steps via Uncertainty Heads [104.9566359759396]
データ駆動の不確実性スコアに基づくステップレベルの推論検証の軽量な代替案を提案する。
本研究は, LLMの内部状態が不確実性を符号化し, 信頼性の高い検証信号として機能することが示唆された。
論文 参考訳（メタデータ） (2025-11-09T03:38:29Z) - Collaborative Device-Cloud LLM Inference through Reinforcement Learning [17.71514700623717]
デバイスとクラウドのコラボレーションは、大きな言語モデル(LLM)をデプロイするための有望なパラダイムとして登場した。
本稿では,デバイス上でのLCMが問題解決プロセスの最後にルーティング決定を行うフレームワークを提案する。
特に、効果的な問題解決とクラウドへの司法的オフロードを促進するために、慎重に設計された報酬で報酬問題を定式化する。
論文 参考訳（メタデータ） (2025-09-28T19:48:56Z) - Cluster Topology-Driven Placement of Experts Reduces Network Traffic in MoE Inference [49.141930185079325]
提案する整数線形プログラム(ILP)は,期待される送信数を最小限に抑え,専門家の最適な配置を決定する。
ILPベースの配置戦略は,小型モデル(DeepSeekMoE16B)や大規模モデル(DeepSeek-R1671B)と比較してネットワークトラフィックが低いことを示す。
論文 参考訳（メタデータ） (2025-08-12T07:08:48Z) - Edge-First Language Model Inference: Models, Metrics, and Tradeoffs [0.7980273012483663]
本研究は、単一エッジデバイス上でのSLM機能の詳細なベンチマークから始まる、エッジとクラウドのデプロイメント間の相互作用について検討する。
エッジ推論が低コストで同等のパフォーマンスを提供するシナリオや、スケーラビリティやモデルキャパシティの制限によりクラウドのフォールバックが不可欠になるシナリオを特定します。
プラットフォームレベルの比較と設計の洞察を,一様かつ適応的なLM推論システム構築のために提案する。
論文 参考訳（メタデータ） (2025-05-22T10:43:00Z) - Opportunistic Collaborative Planning with Large Vision Model Guided Control and Joint Query-Service Optimization [74.92515821144484]
オープンなシナリオで自動運転車をナビゲートすることは、目に見えない物体を扱うのが難しいため、課題である。
既存のソリューションは、一般化に苦しむ小さなモデルか、リソース集約的な大きなモデルに依存している。
本稿では,効率的なローカルモデルと強力なクラウドモデルをシームレスに統合するオポチュニティ協調計画(OCP)を提案する。
論文 参考訳（メタデータ） (2025-04-25T04:07:21Z) - CE-CoLLM: Efficient and Adaptive Large Language Models Through Cloud-Edge Collaboration [1.6021932740447968]
大型言語モデル(LLM)は、人間のような優れた予測能力を示す。
LLMをデプロイして、エッジで効率的かつ適応的な推論サービスを提供するのは難しい。
本稿では,これらの課題に対処するために,LLM(CE-CoLLM)のための新しいクラウドエッジコラボレーションフレームワークを提案する。
論文 参考訳（メタデータ） (2024-11-05T06:00:27Z) - MobiLlama: Towards Accurate and Lightweight Fully Transparent GPT [87.4910758026772]
近年のLarge Language Models (LLM) 開発において,"Bigger the Better" が主流となっている。
本稿では、リソース制約のあるデバイスに対して、正確かつ効率的なSLM(Small Language Models)を設計する上での課題に対処し、"less is more"パラダイムについて考察する。
論文 参考訳（メタデータ） (2024-02-26T18:59:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。