論文の概要: Covariance-Guided Resource Adaptive Learning for Efficient Edge Inference
- arxiv url: http://arxiv.org/abs/2603.14577v1
- Date: Sun, 15 Mar 2026 19:54:08 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-17 16:19:35.894479
- Title: Covariance-Guided Resource Adaptive Learning for Efficient Edge Inference
- Title(参考訳): Covariance-Guided Resource Adaptive Learning for Efficient Edge Inference (特集:情報ネットワーク)
- Authors: Ahmad N. L. Nabhaan, Zaki Sukma, Rakandhiya D. Rachmanto, Muhammad Husni Santriaji, Byungjin Cho, Arief Setyanto, In Kee Kim,
- Abstract要約: 同じスループットを達成するディープラーニングデバイスは、消費電力の2倍の違いがある。
オペレータは、徹底的なプロファイリングなしで効率的なものを見つけるのに苦労することが多い。
私たちは、最小限の探索で適切な設定をオンラインで見つけるオンライン推論であるCORALを紹介します。
- 参考スコア(独自算出の注目度): 0.697035236821602
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: For deep learning inference on edge devices, hardware configurations achieving the same throughput can differ by 2$\times$ in power consumption, yet operators often struggle to find the efficient ones without exhaustive profiling. Existing approaches often rely on inefficient static presets or require expensive offline profiling that must be repeated for each new model or device. To address this problem, we present CORAL, an online optimization method that discovers near-optimal configurations without offline profiling. CORAL leverages distance covariance to statistically capture the non-linear dependencies between hardware settings, e.g., DVFS and concurrency levels, and performance metrics. Unlike prior work, we explicitly formulate the challenge as a throughput-power co-optimization problem to satisfy power budgets and throughput targets simultaneously. We evaluate CORAL on two NVIDIA Jetson devices across three object detection models ranging from lightweight to heavyweight. In single-target scenarios, CORAL achieves 96% $\unicode{x2013}$ 100% of the optimal performance found by exhaustive search. In strict dual-constraint scenarios where baselines fail or exceed power budgets, CORAL consistently finds proper configurations online with minimal exploration.
- Abstract(参考訳): エッジデバイス上でのディープラーニング推論では、同じスループットを達成するハードウェア構成が消費電力の2$\times$で異なる場合があるが、オペレータは徹底的なプロファイリングなしで効率的なものを見つけるのに苦労することが多い。
既存のアプローチは、しばしば非効率な静的プリセットに依存するか、新しいモデルやデバイスごとに繰り返しなければならない高価なオフラインプロファイリングを必要とする。
この問題に対処するため,オフラインのプロファイリングを使わずに最適に近い構成を検出するオンライン最適化手法であるCORALを提案する。
CoRALは距離共分散を利用して、ハードウェア設定、例えばDVFSと並行処理レベル、パフォーマンスメトリクスの間の非線形依存関係を統計的にキャプチャする。
従来の作業とは異なり、スループットとスループットの目標を同時に満たすために、スループットとスループットの同時最適化問題として、この課題を明示的に定式化します。
我々は2つのNVIDIA Jetsonデバイス上で、軽量から重厚までの3つの物体検出モデル上でCORALを評価した。
単一ターゲットのシナリオでは、CORALは徹底的な探索によって見つかる最適な性能の96%の$\unicode{x2013}を達成している。
ベースラインが故障したり、電力予算を超えるような厳格な二重制約シナリオでは、Coralは最小限の探索で、オンラインの適切な構成を常に見つける。
関連論文リスト
- Neural Nonmyopic Bayesian Optimization in Dynamic Cost Settings [73.44599934855067]
LookaHESは、動的で履歴に依存したコスト環境のために設計された非心筋BOフレームワークである。
LookaHESは、$H$-Entropy Searchのマルチステップ版と、パスワイズサンプリングとニューラルポリシー最適化を組み合わせたものだ。
私たちの革新は、構造化されたドメイン固有のアクションスペースを効果的にナビゲートするために、大きな言語モデルを含むニューラルポリシーの統合です。
論文 参考訳(メタデータ) (2026-01-10T09:49:45Z) - Agreement-Based Cascading for Efficient Inference [29.378710032811227]
Agreement-Based Cascading (ABC) は単純で効果的な適応推論手法である。
ABCは、サイズ/複雑さの増大したモデルのカスケードを構築し、データ依存ルーティングの基盤として、カスケードの各レベルにおけるモデルのアンサンブル間の合意を使用する。
ABCは既存のモデルの代替品として確実に機能し、効率と精度の両面で、最高のシングルモデルを上回ることを示しています。
論文 参考訳(メタデータ) (2024-07-02T15:14:12Z) - Sparsity-Constraint Optimization via Splicing Iteration [1.3622424109977902]
我々は sPlicing itEration (SCOPE) を用いたスペーサリティ制約最適化アルゴリズムを開発した。
SCOPEはパラメータをチューニングせずに効率的に収束する。
SCOPEを用いて2次最適化を解き、スパース分類器を学習し、バイナリ変数のスパースマルコフネットワークを復元する。
C++実装に基づいたオープンソースのPythonパッケージskscopeがGitHubで公開されている。
論文 参考訳(メタデータ) (2024-06-17T18:34:51Z) - Distributed Extra-gradient with Optimal Complexity and Communication
Guarantees [60.571030754252824]
複数のプロセッサ/ワーカー/クライアントがローカルなデュアルベクトルにアクセス可能なマルチGPU設定において、モノトン変分不等式(VI)問題を考察する。
モノトーンVI問題に対するデファクトアルゴリズムであるExtra-gradientは、通信効率が良くないように設計されている。
そこで本稿では,VI の解法に適した非バイアスで適応的な圧縮手法である量子化一般化外部勾配 (Q-GenX) を提案する。
論文 参考訳(メタデータ) (2023-08-17T21:15:04Z) - Maximize to Explore: One Objective Function Fusing Estimation, Planning,
and Exploration [87.53543137162488]
我々はtextttMEX というオンライン強化学習(オンラインRL)フレームワークを提案する。
textttMEXは、自動的に探索エクスプロイトのバランスをとりながら、見積もりと計画コンポーネントを統合する。
様々な MuJoCo 環境では,ベースラインを安定的なマージンで上回り,十分な報酬を得られる。
論文 参考訳(メタデータ) (2023-05-29T17:25:26Z) - AdaStereo: An Efficient Domain-Adaptive Stereo Matching Approach [50.855679274530615]
本稿では,AdaStereoというドメイン適応型アプローチを提案する。
我々のモデルは、KITTI、Middlebury、ETH3D、DrivingStereoなど、複数のベンチマークで最先端のクロスドメイン性能を実現している。
提案手法は,様々なドメイン適応設定に対して堅牢であり,迅速な適応アプリケーションシナリオや実環境展開に容易に組み込むことができる。
論文 参考訳(メタデータ) (2021-12-09T15:10:47Z) - Robust Optimal Transport with Applications in Generative Modeling and
Domain Adaptation [120.69747175899421]
ワッサーシュタインのような最適輸送(OT)距離は、GANやドメイン適応のようないくつかの領域で使用されている。
本稿では,現代のディープラーニングアプリケーションに適用可能な,ロバストなOT最適化の計算効率のよい2つの形式を提案する。
提案手法では, ノイズの多いデータセット上で, 外部分布で劣化したGANモデルをトレーニングすることができる。
論文 参考訳(メタデータ) (2020-10-12T17:13:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。