論文の概要: Principled Approximation Methods for Efficient and Scalable Deep Learning

• arxiv url: http://arxiv.org/abs/2509.00174v1
• Date: Fri, 29 Aug 2025 18:17:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-04 15:17:03.109425
• Title: Principled Approximation Methods for Efficient and Scalable Deep Learning
• Title（参考訳）: 効率的かつスケーラブルなディープラーニングのための原理近似法
• Authors: Pedro Savarese,
• Abstract要約: 本論文は,ディープラーニングシステムの効率向上のための原理的近似法について考察する。 アーキテクチャ設計,モデル圧縮,最適化という,効率向上のための3つの主要なアプローチについて検討する。 私たちのコントリビューションは、スケーラブルで原則化された近似を通じて、計算的に難しい問題に取り組むことに集中しています。
• 参考スコア（独自算出の注目度）: 4.082286997378594
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent progress in deep learning has been driven by increasingly larger models. However, their computational and energy demands have grown proportionally, creating significant barriers to their deployment and to a wider adoption of deep learning technologies. This thesis investigates principled approximation methods for improving the efficiency of deep learning systems, with a particular focus on settings that involve discrete constraints and non-differentiability. We study three main approaches toward improved efficiency: architecture design, model compression, and optimization. For model compression, we propose novel approximations for pruning and quantization that frame the underlying discrete problem as continuous and differentiable, enabling gradient-based training of compression schemes alongside the model's parameters. These approximations allow for fine-grained sparsity and precision configurations, leading to highly compact models without significant fine-tuning. In the context of architecture design, we design an algorithm for neural architecture search that leverages parameter sharing across layers to efficiently explore implicitly recurrent architectures. Finally, we study adaptive optimization, revisiting theoretical properties of widely used methods and proposing an adaptive optimizer that allows for quick hyperparameter tuning. Our contributions center on tackling computationally hard problems via scalable and principled approximations. Experimental results on image classification, language modeling, and generative modeling tasks show that the proposed methods provide significant improvements in terms of training and inference efficiency while maintaining, or even improving, the model's performance.
• Abstract（参考訳）: ディープラーニングの最近の進歩は、ますます大きなモデルによって推進されている。 しかし、彼らの計算とエネルギーの需要は比例的に増加し、その展開とディープラーニング技術の普及に大きな障壁を生み出している。 この論文は、離散的な制約と非微分可能性を含む設定に特に焦点をあて、ディープラーニングシステムの効率を改善するための原理的な近似法を考察する。 アーキテクチャ設計,モデル圧縮,最適化という,効率向上のための3つの主要なアプローチについて検討する。 モデル圧縮のために,モデルパラメータとともに圧縮スキームの勾配に基づく訓練を可能にするために,基本となる離散的問題を連続的かつ微分可能とするプルーニングと量子化の新しい近似法を提案する。 これらの近似により、細粒度と精密な構成が可能となり、非常にコンパクトなモデルが重要な微調整を伴わない。 アーキテクチャ設計の文脈では、階層間のパラメータ共有を利用して暗黙的に反復するアーキテクチャを効率的に探索するニューラルネットワーク探索のアルゴリズムを設計する。 最後に、適応最適化、広く使われている手法の理論的特性の再検討、高速なハイパーパラメータチューニングを可能にする適応最適化器を提案する。 私たちのコントリビューションは、スケーラブルで原則化された近似を通じて、計算的に難しい問題に取り組むことに集中しています。 画像分類,言語モデリング,生成モデルタスクに関する実験結果から,提案手法は,モデルの性能を維持したり,改善したりしながら,トレーニングや推論効率を大幅に向上することを示した。

関連論文リスト

• A Survey on Inference Optimization Techniques for Mixture of Experts Models [50.40325411764262]
  大規模Mixture of Experts(MoE)モデルは、条件計算によるモデル容量と計算効率の向上を提供する。 これらのモデル上で推論をデプロイし実行することは、計算資源、レイテンシ、エネルギー効率において大きな課題を示す。 本調査では,システムスタック全体にわたるMoEモデルの最適化手法について分析する。
  論文  参考訳（メタデータ） (2024-12-18T14:11:15Z)
• Integrating Optimization Theory with Deep Learning for Wireless Network Design [38.257335693563554]
  従来の無線ネットワーク設計は、ドメイン固有の数学的モデルから派生した最適化アルゴリズムに依存している。 ディープラーニングは、複雑さと適応性の懸念を克服する、有望な代替手段として登場した。 本稿では,これらの問題に対処するために,最適化理論とディープラーニング手法を統合する新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2024-12-11T20:27:48Z)
• See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
  パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。 分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。 本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
  論文  参考訳（メタデータ） (2024-07-07T15:44:42Z)
• Efficiency optimization of large-scale language models based on deep learning in natural language processing tasks [6.596361762662328]
  大規模言語モデルの内部構造と操作機構を理論的に解析する。 我々は、適応最適化アルゴリズム(AdamWなど)、大規模並列計算技術、混合精度訓練戦略の寄与を評価した。
  論文  参考訳（メタデータ） (2024-05-20T00:10:00Z)
• Edge-Efficient Deep Learning Models for Automatic Modulation Classification: A Performance Analysis [0.7428236410246183]
  無線信号の自動変調分類(AMC)のための最適化畳み込みニューラルネットワーク(CNN)について検討した。 本稿では,これらの手法を組み合わせて最適化モデルを提案する。 実験結果から,提案手法と組み合わせ最適化手法は,複雑度が著しく低いモデルの開発に極めて有効であることが示唆された。
  論文  参考訳（メタデータ） (2024-04-11T06:08:23Z)
• Ensemble Kalman Filtering Meets Gaussian Process SSM for Non-Mean-Field and Online Inference [47.460898983429374]
  我々は,非平均場(NMF)変動推定フレームワークにアンサンブルカルマンフィルタ(EnKF)を導入し,潜在状態の後方分布を近似する。 EnKFとGPSSMのこの新しい結婚は、変分分布の学習における広範なパラメータ化の必要性をなくすだけでなく、エビデンスの下限(ELBO)の解釈可能でクローズドな近似を可能にする。 得られたEnKF支援オンラインアルゴリズムは、データ適合精度を確保しつつ、モデル正規化を組み込んで過度適合を緩和し、目的関数を具現化する。
  論文  参考訳（メタデータ） (2023-12-10T15:22:30Z)
• Aligning Optimization Trajectories with Diffusion Models for Constrained Design Generation [17.164961143132473]
  本稿では,拡散モデルのサンプリング軌跡と従来の物理法に基づく最適化軌跡との整合性を示す学習フレームワークを提案する。 提案手法では,高コストプリプロセッシングや外部サロゲートモデル,ラベル付きデータの追加を必要とせずに,実用的で高性能な設計を2段階で生成することができる。 この結果から, TAは分布内構成における最先端の深層生成モデルより優れ, 推論計算コストを半減することがわかった。
  論文  参考訳（メタデータ） (2023-05-29T09:16:07Z)
• Diffusing the Optimal Topology: A Generative Optimization Approach [6.375982344506753]
  トポロジ最適化は、システム性能を最大化しながら制約セットを満たす最良の設計を見つけようとしている。 SIMPのような従来の反復最適化手法は計算コストがかかり、ローカルのミニマに留まることがある。 本研究では、SIMPのような古典最適化を深い生成モデルによって生成されるトポロジの精製機構として統合する生成最適化手法を提案する。
  論文  参考訳（メタデータ） (2023-03-17T03:47:10Z)
• Automatically Learning Compact Quality-aware Surrogates for Optimization Problems [55.94450542785096]
  未知パラメータで最適化問題を解くには、未知パラメータの値を予測し、これらの値を用いて問題を解くための予測モデルを学ぶ必要がある。 最近の研究によると、複雑なトレーニングモデルパイプラインのレイヤーとして最適化の問題を含めると、観測されていない意思決定の繰り返しを予測することになる。 我々は,大規模最適化問題の低次元サロゲートモデルを学習することにより,解の質を向上させることができることを示す。
  論文  参考訳（メタデータ） (2020-06-18T19:11:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。