論文の概要: ReRAM-aware Model Finetuning addressing I-V Non-linearity and Retention Errors

• arxiv url: http://arxiv.org/abs/2606.17471v1
• Date: Tue, 16 Jun 2026 03:29:51 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-17 17:15:32.248928
• Title: ReRAM-aware Model Finetuning addressing I-V Non-linearity and Retention Errors
• Title（参考訳）: I-V非直線性および保持誤差に対処したReRAM対応モデルファインタニング
• Authors: Ching-Yi Lin, Shamik Kundu, Arnab Raha, Sahil Shah,
• Abstract要約: ReRAMアレイを用いたインメモリコンピューティング(IMC)は、高密度でエネルギー効率の良い代替手段を提供する。 既存のハードウェア対応のトレーニングフレームワークは、しばしばスクラッチからのトレーニングを必要とし、現代の大規模モデルでは計算が禁止されている。 トレーニングオーバーヘッドを最小限に抑えつつ,ReRAM上にロバストな展開を可能にする,ファインタニングベースのハードウェア・アウェア・トレーニングアルゴリズムを提案する。
• 参考スコア（独自算出の注目度）: 2.8907262844892134
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Traditional CPU, GPU, and NPU architectures are increasingly limited by the von Neumann bottleneck. While In-Memory Computing (IMC) using ReRAM crossbar arrays offers a high-density, energy-efficient alternative, its practical deployment is constrained through their non-idealities. Existing hardware-aware training frameworks often require training from scratch, which is computationally prohibitive for modern large-scale models. In this work, we propose a finetuning-based hardware-aware training algorithm that enables robust DNN deployment on ReRAM with minimal training overhead. Our approach mitigates I-V non-linearity by applying a range-shrunk sinh transformation and incorporates retention errors directly into a regularization loss during the finetuning process. We evaluate our framework across models and tasks such as image classification and question-answering (QA). Experimental results demonstrate that our method achieves similar accuracy on large-scale models like ResNet18 and DeiT-Tiny as the base model. In-case of ImageNet for MobileNetV3 families the technique has only less than 2% accuracy degradation. Further, applying the technique on the SQuAD v2 dataset results in only 1 point degradation of F-1 score.
• Abstract（参考訳）: 従来のCPU、GPU、NPUアーキテクチャは、フォン・ノイマンのボトルネックによってますます制限されている。 ReRAMクロスバーアレイを用いたインメモリコンピューティング(IMC)は、高密度でエネルギー効率の良い代替手段を提供するが、実用的デプロイメントは非理想性によって制限される。 既存のハードウェア対応のトレーニングフレームワークは、しばしばスクラッチからのトレーニングを必要とし、現代の大規模モデルでは計算が禁止されている。 そこで本研究では,ReRAM上でのDNNのロバストな展開を最小限のトレーニングオーバーヘッドで実現可能な,ファインタニングベースのハードウェア・アウェア・トレーニングアルゴリズムを提案する。 提案手法は,レンジスレンクシンフ変換を適用してI-V非線型性を緩和し,微調整過程において保持誤差を直接正規化損失に組み込む。 我々は,画像分類や質問応答 (QA) など,モデルやタスクにまたがるフレームワークを評価する。 実験により,ResNet18 や DeiT-Tiny などの大規模モデルに対して,ベースモデルとして同様な精度が得られた。 ImageNet for MobileNetV3ファミリのケースでは、このテクニックは2%未満の精度の劣化しか発生しない。 さらに、SQuAD v2データセットにこの手法を適用すると、F-1スコアの1ポイントしか劣化しない。

関連論文リスト

• Elastic ViTs from Pretrained Models without Retraining [74.5386166956142]
  ビジョンファウンデーションモデルは優れたパフォーマンスを達成するが、事前決定されたサイズの限られたセットでしか利用できない。 本稿では, プルーニングされた視覚変換器のためのシングルショットネットワーク近似であるSnapViTを紹介する。 提案手法は,進化的アルゴリズムを用いて近似した勾配情報とクロスネットワーク構造相関を効率的に結合する。
  論文  参考訳（メタデータ） (2025-10-20T16:15:03Z)
• FastDINOv2: Frequency Based Curriculum Learning Improves Robustness and Training Speed [14.677270805094311]
  DINOv2のような大規模ビジョンファウンデーションモデルは、大規模なアーキテクチャとトレーニングデータセットを活用することで、素晴らしいパフォーマンスを誇っている。 本稿では, コンバージェンスを同時に促進し, 副産物としての一般的な汚職に対する堅牢性を高めるDINOv2の事前学習戦略を提案する。
  論文  参考訳（メタデータ） (2025-07-04T18:56:04Z)
• Task-Oriented Real-time Visual Inference for IoVT Systems: A Co-design Framework of Neural Networks and Edge Deployment [61.20689382879937]
  タスク指向エッジコンピューティングは、データ分析をエッジにシフトすることで、この問題に対処する。 既存の手法は、高いモデル性能と低いリソース消費のバランスをとるのに苦労している。 ニューラルネットワークアーキテクチャを最適化する新しい協調設計フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-10-29T19:02:54Z)
• A domain decomposition-based autoregressive deep learning model for unsteady and nonlinear partial differential equations [2.7755345520127936]
  非定常・非線形偏微分方程式(PDE)を正確にモデル化するためのドメイン分割型ディープラーニング(DL)フレームワークCoMLSimを提案する。 このフレームワークは、(a)畳み込みニューラルネットワーク(CNN)ベースのオートエンコーダアーキテクチャと(b)完全に接続された層で構成される自己回帰モデルという、2つの重要なコンポーネントで構成されている。
  論文  参考訳（メタデータ） (2024-08-26T17:50:47Z)
• Auto-Train-Once: Controller Network Guided Automatic Network Pruning from Scratch [72.26822499434446]
  オートトレインオース (Auto-Train-Once, ATO) は、DNNの計算コストと記憶コストを自動的に削減するために設計された、革新的なネットワークプルーニングアルゴリズムである。 総合的な収束解析と広範な実験を行い,本手法が様々なモデルアーキテクチャにおける最先端性能を実現することを示す。
  論文  参考訳（メタデータ） (2024-03-21T02:33:37Z)
• Iterative Soft Shrinkage Learning for Efficient Image Super-Resolution [91.3781512926942]
  画像超解像(SR)は、CNNからトランスフォーマーアーキテクチャへの広範なニューラルネットワーク設計を目撃している。 本研究は,市販のネットワーク設計を生かし,基礎となる計算オーバーヘッドを低減するため,超高解像度イテレーションにおけるネットワークプルーニングの可能性について検討する。 本研究では, ランダムネットワークのスパース構造を最適化し, 重要でない重みを小さめに微調整することにより, 反復型軟収縮率(ISS-P)法を提案する。
  論文  参考訳（メタデータ） (2023-03-16T21:06:13Z)
• Extrapolation for Large-batch Training in Deep Learning [72.61259487233214]
  我々は、バリエーションのホストが、我々が提案する統一されたフレームワークでカバー可能であることを示す。 本稿では,この手法の収束性を証明し,ResNet,LSTM,Transformer上での経験的性能を厳格に評価する。
  論文  参考訳（メタデータ） (2020-06-10T08:22:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。