論文の概要: Assessing the Performance of Analog Training for Transfer Learning

• arxiv url: http://arxiv.org/abs/2505.11067v1
• Date: Fri, 16 May 2025 10:02:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-19 14:36:14.577562
• Title: Assessing the Performance of Analog Training for Transfer Learning
• Title（参考訳）: 転帰学習におけるアナログ学習の性能評価
• Authors: Omobayode Fagbohungbe, Corey Lammie, Malte J. Rasch, Takashi Ando, Tayfun Gokmen, Vijay Narayanan,
• Abstract要約: アナログインメモリコンピューティングは、高速、並列、エネルギー効率の高いディープラーニングトレーニングと転送学習を約束する。 上記の課題の多くに対処するために、チョップ技術を活用する新しいアルゴリズムTTv2(c-TTv2)が導入された。 本稿では,CIFAR100データセットのサブセット上でSwin-ViTモデルを用いて,アナログTLのc-TTv2アルゴリズムの性能を評価する。
• 参考スコア（独自算出の注目度）: 0.26388783516590225
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Analog in-memory computing is a next-generation computing paradigm that promises fast, parallel, and energy-efficient deep learning training and transfer learning (TL). However, achieving this promise has remained elusive due to a lack of suitable training algorithms. Analog memory devices exhibit asymmetric and non-linear switching behavior in addition to device-to-device variation, meaning that most, if not all, of the current off-the-shelf training algorithms cannot achieve good training outcomes. Also, recently introduced algorithms have enjoyed limited attention, as they require bi-directionally switching devices of unrealistically high symmetry and precision and are highly sensitive. A new algorithm chopped TTv2 (c-TTv2), has been introduced, which leverages the chopped technique to address many of the challenges mentioned above. In this paper, we assess the performance of the c-TTv2 algorithm for analog TL using a Swin-ViT model on a subset of the CIFAR100 dataset. We also investigate the robustness of our algorithm to changes in some device specifications, including weight transfer noise, symmetry point skew, and symmetry point variability
• Abstract（参考訳）: アナログインメモリコンピューティング(Analog in-Memory computing)は、高速、並列、エネルギー効率の高いディープラーニングトレーニングと転送学習(TL)を約束する次世代コンピューティングパラダイムである。 しかし、この約束を達成することは、適切なトレーニングアルゴリズムが欠如していることから、いまだ解明されていない。 アナログメモリ装置は、デバイスからデバイスへのバリエーションに加えて、非対称かつ非線形なスイッチング動作を示すため、現在のオフザシェルフトレーニングアルゴリズムのほとんどは、すべてではないとしても、優れたトレーニング結果が得られない。 また、最近導入されたアルゴリズムは、非現実的に高い対称性と精度を持つ双方向スイッチングデバイスを必要としており、非常に感度が高いため、限られた注意を払っている。 TTv2 (c-TTv2) と呼ばれる新しいアルゴリズムが導入された。 本稿では,CIFAR100データセットのサブセット上でSwin-ViTモデルを用いて,アナログTLのc-TTv2アルゴリズムの性能を評価する。 また、重み伝達ノイズ、対称性点スキュー、対称性点可変性などのデバイス仕様の変更に対するアルゴリズムの堅牢性についても検討する。

関連論文リスト

• Towards Exact Gradient-based Training on Analog In-memory Computing [28.38387901763604]
  アナログ加速器に関する推論は近年研究されているが、トレーニングの観点は過小評価されている。 近年の研究では、非理想デバイスでのモデルトレーニングに適用した場合、勾配降下(SGD)アルゴリズムの「ワークホース」が不正確に収束することが示されている。 本稿では,アナログデバイス上での勾配に基づくトレーニングの理論的基礎について述べる。
  論文  参考訳（メタデータ） (2024-06-18T16:43:59Z)
• Energy-based learning algorithms for analog computing: a comparative study [2.0937431058291933]
  エネルギーベースの学習アルゴリズムは、最近アナログハードウェアとの互換性のため、関心が高まっている。 我々は、コントラスト学習(CL)、平衡伝播(EP)、結合学習(CpL)の7つの学習アルゴリズムを比較した。 負の摂動は正の摂動よりも優れており,その中心となるEPの変形を最良性能のアルゴリズムとして強調する。
  論文  参考訳（メタデータ） (2023-12-22T22:49:58Z)
• In-Context Convergence of Transformers [63.04956160537308]
  勾配降下法により訓練したソフトマックスアテンションを有する一層変圧器の学習力学について検討した。 不均衡な特徴を持つデータに対しては、学習力学が段階的に収束する過程をとることを示す。
  論文  参考訳（メタデータ） (2023-10-08T17:55:33Z)
• Sub-linear Regret in Adaptive Model Predictive Control [56.705978425244496]
  本稿では,STT-MPC (Self-Tuning tube-based Model Predictive Control) について述べる。 システム力学を最初に認識したアルゴリズムと比較して,アルゴリズムの後悔を解析する。
  論文  参考訳（メタデータ） (2023-10-07T15:07:10Z)
• Transformers as Statisticians: Provable In-Context Learning with In-Context Algorithm Selection [88.23337313766353]
  この研究はまず、変換器がICLを実行するための包括的な統計理論を提供する。 コンテクストにおいて、トランスフォーマーは、幅広い種類の標準機械学習アルゴリズムを実装可能であることを示す。 エンフィングル変換器は、異なるベースICLアルゴリズムを適応的に選択することができる。
  論文  参考訳（メタデータ） (2023-06-07T17:59:31Z)
• Fast offset corrected in-memory training [0.0]
  インメモリコンピューティングのための新しいアルゴリズムと改良アルゴリズムを2つ提案する。 Chopped-TTv2 (c-TTv2) と Analog Gradient Accumulation with Dynamic Reference (AGAD) は同じランタイムの複雑さを維持しているが、チョッパーを使用した残りのオフセットに対して正しい。
  論文  参考訳（メタデータ） (2023-03-08T17:07:09Z)
• Improved Algorithms for Neural Active Learning [74.89097665112621]
  非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。 本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
  論文  参考訳（メタデータ） (2022-10-02T05:03:38Z)
• TETRIS-ADAPT-VQE: An adaptive algorithm that yields shallower, denser circuit ans\"atze [0.0]
  TETRIS-ADAPT-VQEと呼ばれるアルゴリズムを導入する。 その結果、CNOTゲートの数や変動パラメータを増大させることなく、より密度が高く、より浅い回路が得られる。 これらの改善により、量子ハードウェアに実用的な量子優位性を示すという目標に近づきます。
  論文  参考訳（メタデータ） (2022-09-21T18:00:02Z)
• Task-Oriented Sensing, Computation, and Communication Integration for Multi-Device Edge AI [108.08079323459822]
  本稿では,AIモデルの分割推論と統合センシング通信(ISAC)を併用した,新しいマルチインテリジェントエッジ人工レイテンシ(AI)システムについて検討する。 推定精度は近似的だが抽出可能な計量、すなわち判別利得を用いて測定する。
  論文  参考訳（メタデータ） (2022-07-03T06:57:07Z)
• Neural Network Training with Asymmetric Crosspoint Elements [1.0773924713784704]
  実用的な抵抗装置の非対称コンダクタンス変調は、従来のアルゴリズムで訓練されたネットワークの分類を著しく劣化させる。 ここでは、ハミルトニアン Descent という代替の完全並列トレーニングアルゴリズムを記述し、実験的に示す。 我々は、なぜデバイス非対称性が従来のトレーニングアルゴリズムと根本的に相容れないのか、新しいアプローチがどのようにそれを有用な機能として利用するのか、という批判的な直感を提供する。
  論文  参考訳（メタデータ） (2022-01-31T17:41:36Z)
• Single-Timescale Stochastic Nonconvex-Concave Optimization for Smooth Nonlinear TD Learning [145.54544979467872]
  本稿では,各ステップごとに1つのデータポイントしか必要としない2つの単一スケールシングルループアルゴリズムを提案する。 本研究の結果は, 同時一次および二重側収束の形で表される。
  論文  参考訳（メタデータ） (2020-08-23T20:36:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。