論文の概要: HybridInfer: Thermal-Aware Reinforcement-Learning Tier Routing for On-Device, Edge, and Cloud LLM Inference

• arxiv url: http://arxiv.org/abs/2609.30270v1
• Date: Tue, 14 Jul 2026 20:01:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-05 14:48:16.111707
• Title: HybridInfer: Thermal-Aware Reinforcement-Learning Tier Routing for On-Device, Edge, and Cloud LLM Inference
• Title（参考訳）: HybridInfer: オンデバイス、エッジ、クラウドLLM推論のためのサーマルアウェア強化学習ティアルーティング
• Abstract要約: 3層階層のサーマルアウェアラーニングルータであるHybridInferについて紹介する。 その報酬は、レイテンシ、コスト、サーマルペナルティに対する品質と、デバイス上での実行をクレジットするローカリティボーナスとを交換する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: On-device inference with small language models keeps user data local, works offline, and incurs no per-query cost, so the on-device tier is preferred when it is adequate. It is thermally constrained, however, and I find the constraint is sharper than a slowdown: on a flagship Snapdragon device, sustained on-device generation destabilizes the GPU inference runtime, which crashes or silently wedges after a few consecutive queries. The failure lies in the current toolchain (OpenCL kernel compilation and long-prompt prefill on the mobile GPU), recurs even when the device is cool, and is worst for long generations. Multi-tier routers across on-device, edge, and cloud models can relieve this pressure, but existing routers are thermal-blind and typically evaluated in simulation or on non-mobile hardware. I present HybridInfer, a thermal-aware reinforcement-learning router for a three-tier hierarchy (on-device Llama 3.2 3B, edge Llama 3.1 8B with retrieval, cloud GPT-4o) that uses the phone's thermal headroom and a query-complexity estimate as state and selects a tier by an offline-trained Q-learning policy. Its reward trades quality against latency, cost, and a thermal penalty, plus a locality bonus crediting on-device execution. I show this bonus is a precondition for thermal-aware routing: without it the optimal policy offloads every query. On a real Android benchmark of 210 prompts, the learned router attains significantly higher quality than two hand-tuned heuristics (paired Wilcoxon, p < 0.02) at the lowest cost of any adaptive condition. Always-on-device conditions match per-query quality on servable queries but are three to six times slower and fail on long queries, so routing wins on latency, reliability, and coverage rather than quality. To my knowledge this is the first use of on-device thermal headroom to select among LLM inference tiers of differing capability on real hardware.
• Abstract（参考訳）: 小さな言語モデルによるオンデバイス推論は、ユーザデータをローカルに保持し、オフラインで動作し、クエリ毎のコストを発生させないため、オンデバイス層が適切であれば好まれる。 フラッグシップのSnapdragonデバイスでは、デバイス上で持続する生成がGPU推論ランタイムを不安定にします。 この障害は現在のツールチェーン(OpenCLカーネルのコンパイルとモバイルGPUの長時間のプリフィル)にある。 デバイス、エッジ、クラウドモデルにまたがる多層ルータは、この圧力を和らげることができるが、既存のルータは熱盲であり、シミュレーションや非モバイルハードウェアでは通常評価される。 そこで,HybridInferは3層階層(オンデバイスLlama 3.2 3B,エッジLlama 3.1 8B,クラウドGPT-4o)のためのサーマルアウェア強化学習ルータである。 その報酬は、レイテンシ、コスト、サーマルペナルティに対する品質と、デバイス上での実行をクレジットするローカリティボーナスとを交換する。 このボーナスはサーマルアウェアルーティングの前提条件で、最適なポリシがなければ、すべてのクエリをオフロードします。 210プロンプトの実際のAndroidベンチマークでは、学習ルータは、任意の適応条件の最低コストで、2つの手動ヒューリスティック(Wilcoxon, p < 0.02)よりも大幅に高い品質が得られる。 常にデバイス上の条件は、サーブレットクエリのクエリごとの品質にマッチするが、3倍から6倍遅く、長いクエリで失敗するため、ルーティングは品質よりもレイテンシ、信頼性、カバレッジに勝る。 私の知る限り、実際のハードウェアで異なる能力のLSM推論層を選択するために、オンデバイスサーマルヘッドルームを使ったのはこれが初めてです。

関連論文リスト

• CR^2: Cost-Aware Risk-Controlled Routing for Wireless Device-Edge LLM Inference [52.849509991178884]
  大規模言語モデル(LLM)は集中型クラウドからモバイルエッジ環境に移行する。 軽量オンデバイスモデルとより強力なエッジモデルの間のクエリレベルのルーティングは、このトレードオフをナビゲートするための柔軟なメカニズムを提供する。 既存のルータは、集中クラウド設定とトークンレベルのコストの最適化のために設計されており、無線エッジデプロイメントにおける動的レイテンシとエネルギーオーバーヘッドをキャプチャできない。
  論文  参考訳（メタデータ） (2026-05-12T11:50:15Z)
• HALO: Semantic-Aware Distributed LLM Inference in Lossy Edge Network [50.33808558714122]
  エッジでの大規模言語モデル(LLM)推論は、ユーザのプライバシを保護すると同時に、サービスの応答性を促進する。 損失エッジネットワークにおける分散LLM推論を向上する新しいフレームワークであるHALOを提案する。 Raspberry Piクラスタによる実験の結果、HALOは信頼性の低いネットワーク条件下でLLaMAシリーズLLMの3.41倍のエンドツーエンドのスピードアップを達成した。
  論文  参考訳（メタデータ） (2026-01-16T07:37:23Z)
• Video Object Recognition in Mobile Edge Networks: Local Tracking or Edge Detection? [57.000348519630286]
  モバイルエッジコンピューティングの最近の進歩により、高精度ニューラルネットワークを備えたエッジサーバに集約的なオブジェクト検出をオフロードすることが可能になった。 このハイブリッドアプローチは有望なソリューションを提供するが、新たな課題として、エッジ検出とローカルトラッキングのタイミングを決定する。 局所的なトラッキングとエッジ検出を適応的に選択する深層強化学習に基づくアルゴリズムである単一デバイス環境での LTED-Ada を提案する。
  論文  参考訳（メタデータ） (2025-11-25T04:54:51Z)
• Efficient Asynchronous Federated Learning with Sparsification and Quantization [55.6801207905772]
  フェデレートラーニング(FL)は、生データを転送することなく、機械学習モデルを協調的にトレーニングするために、ますます注目を集めている。 FLは一般的に、モデルトレーニングの全プロセス中にパラメータサーバーと多数のエッジデバイスを利用する。 TEASQ-Fedは、エッジデバイスを利用して、タスクに積極的に適用することで、トレーニングプロセスに非同期に参加する。
  論文  参考訳（メタデータ） (2023-12-23T07:47:07Z)
• Async-HFL: Efficient and Robust Asynchronous Federated Learning in Hierarchical IoT Networks [23.40318417905886]
  我々は,共通3層IoTネットワークアーキテクチャでフェデレートラーニング(FL)を実行するための非同期かつ階層的なフレームワーク(Async-HFL)を提案する。 Async-HFLは壁面時間で1.08-1.31倍の速度で収束し、最先端の非同期FLアルゴリズムと比較して通信コストを最大21.6%削減することを示す。
  論文  参考訳（メタデータ） (2023-01-17T00:43:34Z)
• RT3D: Achieving Real-Time Execution of 3D Convolutional Neural Networks on Mobile Devices [57.877112704841366]
  本稿では3次元CNNのためのモデル圧縮およびモバイルアクセラレーションフレームワークRT3Dを提案する。 3D CNNのリアルタイム実行は、市販のモバイル上で初めて実現された。
  論文  参考訳（メタデータ） (2020-07-20T02:05:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。