論文の概要: Teleportation With Null Space Gradient Projection for Optimization Acceleration

• arxiv url: http://arxiv.org/abs/2502.11362v1
• Date: Mon, 17 Feb 2025 02:27:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:09:48.232184
• Title: Teleportation With Null Space Gradient Projection for Optimization Acceleration
• Title（参考訳）: 最適化高速化のためのNull空間勾配投影を用いたテレポーテーション
• Authors: Zihao Wu, Juncheng Dong, Ahmed Aloui, Vahid Tarokh,
• Abstract要約: 本稿では,テレポーテーション対象関数の勾配を入力ヌル空間に投影するアルゴリズムを提案する。 我々のアプローチは、容易にCNNからトランスフォーマー、そして潜在的に他の高度なアーキテクチャへ一般化できる。
• 参考スコア（独自算出の注目度）: 31.641252776379957
• License:
• Abstract: Optimization techniques have become increasingly critical due to the ever-growing model complexity and data scale. In particular, teleportation has emerged as a promising approach, which accelerates convergence of gradient descent-based methods by navigating within the loss invariant level set to identify parameters with advantageous geometric properties. Existing teleportation algorithms have primarily demonstrated their effectiveness in optimizing Multi-Layer Perceptrons (MLPs), but their extension to more advanced architectures, such as Convolutional Neural Networks (CNNs) and Transformers, remains challenging. Moreover, they often impose significant computational demands, limiting their applicability to complex architectures. To this end, we introduce an algorithm that projects the gradient of the teleportation objective function onto the input null space, effectively preserving the teleportation within the loss invariant level set and reducing computational cost. Our approach is readily generalizable from MLPs to CNNs, transformers, and potentially other advanced architectures. We validate the effectiveness of our algorithm across various benchmark datasets and optimizers, demonstrating its broad applicability.
• Abstract（参考訳）: モデル複雑性とデータスケールの増大により、最適化技術はますます重要になっている。 特に、テレポーテーションは、有利な幾何学的性質を持つパラメータを識別するために、損失不変度セット内でナビゲートすることで、勾配降下に基づく手法の収束を加速する有望なアプローチとして現れてきた。 既存のテレポーテーションアルゴリズムは、主にMLP(Multi-Layer Perceptrons)の最適化の有効性を示したが、畳み込みニューラルネットワーク(CNN)やトランスフォーマー(Transformers)といった、より高度なアーキテクチャへの拡張は依然として困難である。 さらに、それらはしばしば重要な計算要求を課し、複雑なアーキテクチャに適用性を制限する。 そこで本研究では,テレポーテーション対象関数の勾配を入力ヌル空間に投影し,損失不変レベルセット内のテレポーテーションを効果的に保存し,計算コストを削減するアルゴリズムを提案する。 我々のアプローチは、MPPからCNN、トランスフォーマー、そして潜在的に先進的なアーキテクチャへ容易に一般化できる。 様々なベンチマークデータセットとオプティマイザにまたがるアルゴリズムの有効性を検証する。

関連論文リスト

• Implementing transferable annealing protocols for combinatorial optimisation on neutral atom quantum processors: a case study on smart-charging of electric vehicles [1.53934570513443]
  本稿では,類似した局所構造を持つ問題インスタンス間のパラメータ転送可能性の有望性に基づいて構築する。 本研究は,共有ジオメトリを持つグラフ族上の最大独立集合問題に対して,最適パラメータが自然に集中していることを明らかにする。 本手法を用いて,実データセット上でのスマートチャージ最適化問題に対処する。
  論文  参考訳（メタデータ） (2024-11-25T18:41:02Z)
• Generalizable Spacecraft Trajectory Generation via Multimodal Learning with Transformers [14.176630393074149]
  本稿では,様々な問題構成にまたがって一般化する新しいトラジェクトリ生成フレームワークを提案する。 我々は、データソースから学習できる高容量トランスフォーマーニューラルネットワークを活用している。 このフレームワークはフリーフライアプラットフォームでのシミュレーションと実験を通じて検証されている。
  論文  参考訳（メタデータ） (2024-10-15T15:55:42Z)
• Deep-Unfolding for Next-Generation Transceivers [49.338084953253755]
  次世代マルチインプット・マルチアウトプット(MIMO)トランシーバの定義に関する研究が進められている。 無線通信における先進トランシーバーの設計において、しばしば反復アルゴリズムにつながる最適化アプローチは大きな成功を収めた。 ディープニューラルネットワーク(DNN)で反復アルゴリズムを近似するディープラーニングは、計算時間を著しく短縮することができる。 ディープラーニングと反復アルゴリズムの両方の利点を取り入れたディープアンフォールディングが登場し、反復アルゴリズムを階層的な構造に展開している。
  論文  参考訳（メタデータ） (2023-05-15T02:13:41Z)
• Energy-efficient Task Adaptation for NLP Edge Inference Leveraging Heterogeneous Memory Architectures [68.91874045918112]
  Adapter-ALBERTは、様々なタスクにわたる最大データ再利用のための効率的なモデル最適化である。 検証されたNLPエッジアクセラレータ上でシミュレーションを行うことにより、モデルを不均一なオンチップメモリアーキテクチャにマッピングする利点を実証する。
  論文  参考訳（メタデータ） (2023-03-25T14:40:59Z)
• Full Stack Optimization of Transformer Inference: a Survey [58.55475772110702]
  トランスフォーマーモデルは広範囲のアプリケーションにまたがって優れた精度を実現する。 最近のTransformerモデルの推測に必要な計算量と帯域幅は、かなり増加しています。 Transformerモデルをより効率的にすることに注力している。
  論文  参考訳（メタデータ） (2023-02-27T18:18:13Z)
• A mechanistic-based data-driven approach to accelerate structural topology optimization through finite element convolutional neural network (FE-CNN) [5.469226380238751]
  構造トポロジ最適化を高速化するメカニスティックなデータ駆動手法を提案する。 我々のアプローチは、オフライントレーニングとオンライン最適化の2つの段階に分けられる。 数値的な例は、この手法が計算時間で最大1桁の最適化を加速できることを示している。
  論文  参考訳（メタデータ） (2021-06-25T14:11:45Z)
• Reconfigurable Intelligent Surface Assisted Mobile Edge Computing with Heterogeneous Learning Tasks [53.1636151439562]
  モバイルエッジコンピューティング(MEC)は、AIアプリケーションに自然なプラットフォームを提供します。 再構成可能なインテリジェントサーフェス(RIS)の助けを借りて、MECで機械学習タスクを実行するインフラストラクチャを提示します。 具体的には,モバイルユーザの送信パワー,基地局のビームフォーミングベクトル,risの位相シフト行列を共同で最適化することにより,参加ユーザの学習誤差を最小化する。
  論文  参考訳（メタデータ） (2020-12-25T07:08:50Z)
• Adaptive pruning-based optimization of parameterized quantum circuits [62.997667081978825]
  Variisyハイブリッド量子古典アルゴリズムは、ノイズ中間量子デバイスの使用を最大化する強力なツールである。 我々は、変分量子アルゴリズムで使用されるそのようなアンサーゼを「効率的な回路訓練」(PECT)と呼ぶ戦略を提案する。 すべてのアンサッツパラメータを一度に最適化する代わりに、PECTは一連の変分アルゴリズムを起動する。
  論文  参考訳（メタデータ） (2020-10-01T18:14:11Z)
• Optimization-driven Machine Learning for Intelligent Reflecting Surfaces Assisted Wireless Networks [82.33619654835348]
  インテリジェントサーフェス(IRS)は、個々の散乱素子の位相シフトを制御して無線チャネルを再形成するために用いられる。 散乱素子の規模が大きいため、受動ビームフォーミングは一般に高い計算複雑性によって挑戦される。 本稿では、IRS支援無線ネットワークの性能向上のための機械学習(ML)アプローチに焦点を当てる。
  論文  参考訳（メタデータ） (2020-08-29T08:39:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。