論文の概要: SelectInfer: Selective Neuron Loading and Computation for On-Device LLMs

• arxiv url: http://arxiv.org/abs/2607.18081v1
• Date: Mon, 20 Jul 2026 15:48:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.691283
• Title: SelectInfer: Selective Neuron Loading and Computation for On-Device LLMs
• Title（参考訳）: SelectInfer: オンデバイスLDMのための選択的ニューロンローディングと計算
• Abstract要約: 大規模言語モデル(LLM)は、自然言語処理(NLP)タスクにまたがる顕著な機能を示している。 高い計算量とメモリ要求は、リソース制約のあるエッジデバイスへの展開に重大な課題をもたらす。 我々は、エッジデバイス上で効率的なLLM推論を可能にするニューロンレベルの最適化フレームワークであるSelectInferを紹介する。
• 参考スコア（独自算出の注目度）: 2.7921261962314237
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large Language Models (LLMs) have demonstrated remarkable capabilities across a range of Natural Language Processing (NLP) tasks, but their high computational and memory demands pose significant challenges for deployment on resource-constrained edge devices. Existing approaches to model compression and optimization often rely on coarse-grained pruning or quantization, which can compromise accuracy or require re-training and fine-tuning. In this work, we introduce SelectInfer, a neuron-level optimization framework that enables efficient LLM inference on edge devices through selective neuron loading and computation. By profiling and identifying both task-specific and general-purpose neurons using an offline LLM profiler, SelectInfer implements two key optimizations: selective loading, which reduces memory footprint by selectively loading a subset of neurons that were identified to be most important during the offline stage, and selective computation, which dynamically computes only the most relevant neurons at runtime. Evaluation across multiple datasets shows that SelectInfer achieves significant reductions in memory footprint and computation while preserving task performance, making it a practical step towards enabling LLM deployment on edge devices
• Abstract（参考訳）: 大規模言語モデル(LLM)は、さまざまな自然言語処理(NLP)タスクで顕著な機能を示しているが、その高い計算能力とメモリ要求は、リソースに制約のあるエッジデバイスへのデプロイに重大な課題をもたらす。 モデル圧縮と最適化への既存のアプローチは、しばしば粗粒のプルーニングや量子化に依存しており、精度を損なうか、再訓練と微調整を必要とする。 本研究では,選択的ニューロンのロードと計算により,エッジデバイス上での効率的なLLM推論を可能にする,ニューロンレベルの最適化フレームワークであるSelectInferを紹介する。 オフラインのLLMプロファイラを使用してタスク固有ニューロンと汎用ニューロンの両方をプロファイリングし識別することにより、SelectInferは、オフライン段階で最も重要とされているニューロンのサブセットを選択的にロードすることで、メモリフットプリントを削減する選択的ロードと、実行時に最も関連性の高いニューロンのみを動的に計算する選択的計算の2つの重要な最適化を実装した。 複数のデータセットを評価することで、SelectInferはタスクパフォーマンスを維持しながらメモリフットプリントと計算の大幅な削減を実現し、エッジデバイスでのLLMデプロイメントを実現するための実践的なステップとなる。

関連論文リスト

• Reparameterized LLM Training via Orthogonal Equivalence Transformation [54.80172809738605]
  直交同値変換を用いてニューロンを最適化する新しいトレーニングアルゴリズムPOETを提案する。 POETは、目的関数を安定して最適化し、一般化を改善する。 我々は、大規模ニューラルネットワークのトレーニングにおいて、POETを柔軟かつスケーラブルにするための効率的な近似を開発する。
  論文  参考訳（メタデータ） (2025-06-09T17:59:34Z)
• Optuna vs Code Llama: Are LLMs a New Paradigm for Hyperparameter Tuning? [45.58422897857411]
  この研究は、LoRAを用いてパラメータ効率の良いCode Llamaを微調整することで、ハイパーパラメータ最適化のための大規模言語モデル(LLM)の使用について検討する。 提案手法は,計算オーバーヘッドを大幅に削減しつつ,競合的あるいは優れたRoot Mean Square Error(RMSE)を実現する。 その結果,LLMに基づく最適化によって,木構造型パーゼンエミュレータ (TPE) のようなベイズ的手法が確立されただけでなく,知覚品質と低レイテンシ処理を必要とする実世界のアプリケーションへのチューニングが高速化された。
  論文  参考訳（メタデータ） (2025-04-08T13:15:47Z)
• LLS: Local Learning Rule for Deep Neural Networks Inspired by Neural Activity Synchronization [6.738409533239947]
  従来のバックプロパゲーション(BP)を用いたディープニューラルネットワーク(DNN)のトレーニングは、計算複雑性とエネルギー消費の観点からの課題を提示している。 脳内で観察される神経活動同期現象(LLS)にインスパイアされた新しい局所学習規則を提案する。 LLSは、最大300倍の乗算累積(MAC)演算を減らし、BPのメモリ要求の半分で同等のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-05-24T18:24:24Z)
• Switchable Decision: Dynamic Neural Generation Networks [98.61113699324429]
  本稿では,各データインスタンスのリソースを動的に割り当てることで,推論を高速化するスイッチブルな決定を提案する。 提案手法は, 同一の精度を維持しながら, 推論時のコスト低減に有効である。
  論文  参考訳（メタデータ） (2024-05-07T17:44:54Z)
• Dissecting Language Models: Machine Unlearning via Selective Pruning [0.7373617024876725]
  本稿では,大規模言語モデル(LLM)に特化して設計された機械学習手法を提案する。 我々は,LLMの選択的プルーニング法を導入し,ネットワーク全体の性能と比較して,標的能力に対するニューロンの重要性から神経細胞を除去する。 LLMのフィードフォワードニューロンとアテンションニューロンはどちらも専門的であり、特定のタスクにおいては、特定のニューロンは他のニューロンよりも重要である。
  論文  参考訳（メタデータ） (2024-03-02T17:10:44Z)
• A Multi-Head Ensemble Multi-Task Learning Approach for Dynamical Computation Offloading [62.34538208323411]
  共有バックボーンと複数の予測ヘッド(PH)を組み合わせたマルチヘッドマルチタスク学習(MEMTL)手法を提案する。 MEMTLは、追加のトレーニングデータを必要とせず、推測精度と平均平方誤差の両方でベンチマーク手法より優れている。
  論文  参考訳（メタデータ） (2023-09-02T11:01:16Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Intelligence Processing Units Accelerate Neuromorphic Learning [52.952192990802345]
  スパイキングニューラルネットワーク(SNN)は、エネルギー消費と遅延の観点から、桁違いに改善されている。 我々は、カスタムSNN PythonパッケージsnnTorchのIPU最適化リリースを提示する。
  論文  参考訳（メタデータ） (2022-11-19T15:44:08Z)
• Towards Optimal VPU Compiler Cost Modeling by using Neural Networks to Infer Hardware Performances [58.720142291102135]
  VPUNN"は低レベルのタスクプロファイリングに基づいてトレーニングされたニューラルネットワークベースのコストモデルである。 これは、IntelのVPUプロセッサのラインにおける最先端のコストモデリングよりも一貫して優れている。
  論文  参考訳（メタデータ） (2022-05-09T22:48:39Z)
• Quick and Robust Feature Selection: the Strength of Energy-efficient Sparse Training for Autoencoders [4.561081324313315]
  データセットの最も重要な属性を識別する機能選択は、この問題の解決策として導入されている。 既存の特徴選択法のほとんどは、計算的に非効率である。 本稿では,教師なし特徴選択のための新しいフレキシブルな手法を提案する。
  論文  参考訳（メタデータ） (2020-12-01T15:05:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。