論文の概要: Device-First Feedback: Toward Mobile-Native LLM-Driven Neural Architecture Search
- arxiv url: http://arxiv.org/abs/2608.00078v1
- Date: Wed, 29 Jul 2026 14:36:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-04 15:07:24.389387
- Title: Device-First Feedback: Toward Mobile-Native LLM-Driven Neural Architecture Search
- Title(参考訳): デバイスファーストフィードバック:モバイルNative LLM駆動型ニューラルネットワーク探索に向けて
- Abstract要約: アーキテクチャ生成LLMのQLoRA微調整からループを閉じる自動モバイルデプロイメントパイプラインを提案する。
我々はSamsung SM-P613タブレット上で,CIFAR-10とCIFAR-100の2つのベンチマークで同じ凍結プロトコルを評価した。
- 参考スコア(独自算出の注目度): 44.70501115891534
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Deploying convolutional neural networks generated by large language models (LLMs) on real mobile hardware requires more than GPU validation accuracy: INT8 TensorFlow Lite export, delegate selection, and on-device latency jointly determine whether a model is usable. We present an automated mobile deployment pipeline that closes the loop from QLoRA fine-tuning of an architecture-generating LLM through GPU evaluation, INT8 export, and physical-device benchmarking to gated augmentation of the training corpus. The pipeline is fully scripted and runs cycle-by-cycle without manual intervention, with resume support after interruptions. We evaluate the same frozen protocol on two benchmarks, CIFAR-10 and CIFAR-100, on a Samsung SM-P613 tablet (seed 42, 20 models per cycle, cycles 0-6). On CIFAR-10, cycle 1 is gate-accepted and improves the mobile deployment score approximately 25.6x over the baseline with a mean quantized accuracy of 46.9%; later cycles raise GPU accuracy but fail the non-decreasing mobile gate. On CIFAR-100, the pre-QLoRA baseline retains the best mobile score; iterative rounds improve GPU accuracy (up to 26.2%) yet cannot surpass cycle 0 on-device, and the training pool stalls at 19 examples after the first accepted round. Together, the two studies show that closed-loop GPU fine-tuning does not guarantee monotonic mobile gains, especially on harder classification tasks, and that multi-dataset, on-device measurement is needed to stress-test deployment objectives. We release per-cycle metrics with 95% confidence intervals, all figures, and complete reproduction commands.
- Abstract(参考訳): 大規模な言語モデル(LLM)によって生成された畳み込みニューラルネットワークを実際のモバイルハードウェアにデプロイするには、GPUの検証以上の精度が必要である。
本稿では、GPU評価、INT8エクスポート、物理デバイスベンチマークにより、QLoRAによるアーキテクチャ生成LLMの微調整から、トレーニングコーパスの拡張を促進するためのループを閉じる自動モバイルデプロイメントパイプラインを提案する。
パイプラインは完全にスクリプト化され、手作業による介入なしにサイクルバイサイクルで実行され、中断後のサポートを再開する。
また,Samsung SM-P613タブレット(サイクルあたり42,20モデル,サイクル0-6)上で,CIFAR-10とCIFAR-100の2つのベンチマークで同じフリーズプロトコルを評価した。
CIFAR-10では、サイクル1がゲート受入され、平均量子化精度46.9%でベースライン上の移動配置スコアを約25.6倍改善する。
CIFAR-100では、前QLoRAベースラインが最高のモバイルスコアを維持しており、反復ラウンドはGPUの精度(最大26.2%)が向上するが、デバイス上でのサイクル0を超えない。
2つの研究により、クローズループGPUの微調整は、特に難しい分類タスクにおいて、単調なモバイルゲインを保証せず、マルチデータセットオンデバイス計測は、デプロイの目的をストレステストするために必要であることが示された。
95%の信頼区間、すべての数字、完全な再現コマンドを備えたサイクル単位のメトリクスをリリースします。
関連論文リスト
- TriCalRAG: A Three-Strategy, Retrieval-Augmented Benchmark for On-Premise LLM-Based Root Cause Analysis in AIOps [1.8136615181861766]
クラウドホスト型大規模言語モデル(LLM)は、AIOpsパイプラインの根本原因分析(RCA)にますます使用されている。
データプライバシのリスク、ネットワークレイテンシ、および運用ログボリュームの低いクエリ単位のコストを導入している。
我々は,従来のLSTMを用いたログ異常検出器に対して,vLLMを介して局所的に提供されるオープンウェイトの評価ベンチマークであるRAGを提示する。
論文 参考訳(メタデータ) (2026-09-13T19:52:46Z) - From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。
我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。
このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
論文 参考訳(メタデータ) (2026-09-01T17:39:26Z) - Do Newer Lightweight CNNs Perform Better Under Resource Constraints? A Controlled Multigenerational Study of Architecture, Initialization, Training Budget, and Efficiency [0.0]
本研究では,CIFAR-10,CIFAR-100,Tiny ImageNetの9つの軽量CNNモデルパッケージを比較した。
NVIDIA L4およびAMD 5500U CPU上で,トップ1精度,マクロF1,トップ5精度,パラメータカウント,FP32ストレージ,GMAC,バッチサイズ-1レイテンシを報告した。
論文 参考訳(メタデータ) (2026-07-02T10:14:07Z) - KernelSight-LM: A Kernel-Level LLM Inference Simulator [27.54401355597591]
本稿では,トークンレベルの実行をモデル化し,カーネルレベルの遅延分解を生成する,詳細な推論シミュレータであるKernelSight-LMを提案する。
それぞれのサービスステップを学習された効率項、通信モデル、ホストオーバーヘッドモデルでカーネルモデルに分解する。
カーネルレベルのボトルネックはハードウェア/ソフトウェアの共同設計とキャパシティプランニングをサポートする。
論文 参考訳(メタデータ) (2026-06-26T19:43:38Z) - Resource-Efficient Iterative LLM-Based NAS with Feedback Memory [49.44875022114861]
ニューラルアーキテクチャサーチ(NAS)はネットワーク設計を自動化するが、従来の手法ではかなりの計算資源を必要とする。
本稿では,大規模言語モデル(LLM)を活用して,畳み込みニューラルネットワークアーキテクチャを反復的に生成し,評価し,洗練するクローズドループパイプラインを提案する。
論文 参考訳(メタデータ) (2026-03-12T16:00:22Z) - StrikeWatch: Wrist-worn Gait Recognition with Compact Time-series Models on Low-power FPGAs [10.946464973530214]
歩行パターンが良くなると、特に専門家のフィードバックなしに怪我につながることがある。
Wrist-wornウェアラブルは、実用的で非侵襲的な代替手段を提供する。
本稿では,デバイス上でリアルタイム歩行認識を行う小型手首輪システムであるStrikeWatchを紹介する。
論文 参考訳(メタデータ) (2025-10-14T20:28:31Z) - GPU-Accelerated Interpretable Generalization for Rapid Cyberattack Detection and Forensics [0.0]
IGメカニズムは最近IEEE Transactions on Information Forensics and Securityで公開され、最先端のエビデンスベースの侵入検知を提供する。
我々は、PyTorchの再設計であるIG-GPUを紹介し、すべてのペアの交叉とサブセット評価をコモディティGPUにオフロードする。
15kレコードのNSL-KDDデータセットでは、IG-GPUはIGのマルチコアCPU実装よりも116倍のスピードアップを示している。
論文 参考訳(メタデータ) (2025-07-16T12:38:19Z) - PRISM: Distributed Inference for Foundation Models at Edge [73.54372283220444]
PRISMは、エッジデバイス上での分散トランスフォーマー推論のための通信効率と計算アウェア戦略である。
ViT,BERT,GPT-2のPRISMを多種多様なデータセットで評価した。
論文 参考訳(メタデータ) (2025-07-16T11:25:03Z) - Accelerating Training and Inference of Graph Neural Networks with Fast
Sampling and Pipelining [58.10436813430554]
グラフニューラルネットワーク(GNN)のミニバッチトレーニングには、多くの計算とデータ移動が必要である。
我々は,分散マルチGPU環境において,近傍サンプリングを用いたミニバッチトレーニングを行うことを支持する。
本稿では,これらのボトルネックを緩和する一連の改良点について述べる。
また,サンプリングによる推論を支援する実験分析を行い,試験精度が実質的に損なわれていないことを示す。
論文 参考訳(メタデータ) (2021-10-16T02:41:35Z) - Real-Time Execution of Large-scale Language Models on Mobile [49.32610509282623]
BERTの最良のモデル構造は,特定のデバイスに適合する計算サイズである。
我々のフレームワークは、モバイルデバイスのリソース仕様とリアルタイム仕様の両方を満たすための特定モデルを保証することができる。
具体的には、当社のモデルはCPUでは5.2倍、GPUでは4.1倍、BERTベースでは0.5-2%の精度損失がある。
論文 参考訳(メタデータ) (2020-09-15T01:59:17Z) - AQD: Towards Accurate Fully-Quantized Object Detection [94.06347866374927]
本稿では,浮動小数点演算を除去するために,AQDと呼ばれる高精度な量子化オブジェクト検出ソリューションを提案する。
我々のAQDは、非常に低ビットのスキームの下での完全精度と比較して、同等またはそれ以上の性能を実現しています。
論文 参考訳(メタデータ) (2020-07-14T09:07:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。