論文の概要: Training Memory in Deep Neural Networks: Mechanisms, Evidence, and Measurement Gaps

• arxiv url: http://arxiv.org/abs/2601.21624v1
• Date: Thu, 29 Jan 2026 12:26:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-30 16:22:49.806325
• Title: Training Memory in Deep Neural Networks: Mechanisms, Evidence, and Measurement Gaps
• Title（参考訳）: ディープニューラルネットワークにおける学習記憶:メカニズム、エビデンス、測定ギャップ
• Authors: Vasileios Sevetlidis, George Pavlidis,
• Abstract要約: これは、モデル、データキュー、監査アーティファクト間でのトレーニング履歴がどれほど重要かを示す、ポータブルで因果的、不確実性を考慮した測定のためのプロトコルである。
• 参考スコア（独自算出の注目度）: 1.078600700827543
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Modern deep-learning training is not memoryless. Updates depend on optimizer moments and averaging, data-order policies (random reshuffling vs with-replacement, staged augmentations and replay), the nonconvex path, and auxiliary state (teacher EMA/SWA, contrastive queues, BatchNorm statistics). This survey organizes mechanisms by source, lifetime, and visibility. It introduces seed-paired, function-space causal estimands; portable perturbation primitives (carry/reset of momentum/Adam/EMA/BN, order-window swaps, queue/teacher tweaks); and a reporting checklist with audit artifacts (order hashes, buffer/BN checksums, RNG contracts). The conclusion is a protocol for portable, causal, uncertainty-aware measurement that attributes how much training history matters across models, data, and regimes.
• Abstract（参考訳）: 現代のディープラーニングトレーニングはメモリレスではありません。 更新は、オプティマイザのモーメントと平均化、データ順序ポリシー(リシャッフル対リプレース、ステージ化とリプレイ)、非凸パス、補助状態(教師EMA/SWA、コントラストキュー、BatchNorm統計)に依存する。 この調査は、ソース、寿命、可視性によってメカニズムを整理する。 シードペア付き関数空間の因果推定器、ポータブルな摂動プリミティブ(運動量/Adam/EMA/BNのキャリア/リセット、順序ウィンドウスワップ、キュー/Teacherの微調整)、監査アーティファクト(注文ハッシュ、バッファ/BNチェックサム、RNGコントラクト)を備えたレポートチェックリストが導入されている。 結論は、移植性、因果性、不確実性を考慮した測定のためのプロトコルであり、モデル、データ、レギュラー間でのトレーニング履歴がどれほど重要かに起因している。

関連論文リスト

• FaLW: A Forgetting-aware Loss Reweighting for Long-tailed Unlearning [24.734154431191538]
  FaLWはプラグアンドプレイの動的損失再重み付け方式である。 各サンプルの未学習状態を、その予測確率と同一クラスからの未学習データの分布を比較して評価する。 実験により、FaLWは優れた性能を発揮することが示された。
  論文  参考訳（メタデータ） (2026-01-26T16:21:01Z)
• Memory in Large Language Models: Mechanisms, Evaluation and Evolution [8.158439933515131]
  我々は,4つの分類法(パラメトリック,文脈,外部,手続き/エピソード)とメモリ四倍法(ロケーション,永続性,書き込み/アクセスパス,制御性)を提案する。 DMM Gov: DAPT/TAPT, PEFT, モデル編集(ROME, MEND, MEMIT, SERAC)、RAGをコーディネートして監査可能なループを形成する。 これにより、再現可能で、同等で、統制可能な、研究と展開のための座標系が得られる。
  論文  参考訳（メタデータ） (2025-09-23T10:06:58Z)
• Adaptive Retention & Correction: Test-Time Training for Continual Learning [114.5656325514408]
  連続学習における一般的な問題は、最新のタスクに対する分類層のバイアスである。 アダプティブ・リテンション・アンド・コレクション (ARC) のアプローチを例に挙げる。 ARCはCIFAR-100とImagenet-Rのデータセットで平均2.7%と2.6%のパフォーマンス向上を達成した。
  論文  参考訳（メタデータ） (2024-05-23T08:43:09Z)
• Enhancing Consistency and Mitigating Bias: A Data Replay Approach for Incremental Learning [93.90047628101155]
  ディープラーニングシステムは、一連のタスクから学ぶとき、破滅的な忘れがちだ。 これを解決するために、新しいタスク学習中に過去のタスクからのデータを再生する手法を提案する。 しかし、メモリの制約やデータプライバシーの問題により、実際には期待できない。
  論文  参考訳（メタデータ） (2024-01-12T12:51:12Z)
• Robust Machine Learning by Transforming and Augmenting Imperfect Training Data [6.928276018602774]
  この論文は、現代の機械学習のいくつかのデータ感度を探求する。 まず、トレーニングデータで測定された事前の人間の識別をMLが符号化するのを防ぐ方法について論じる。 次に、トレーニング中に予測忠実度を提供するが、デプロイ時に信頼性が低い突発的特徴を含むデータから学習する問題について論じる。
  論文  参考訳（メタデータ） (2023-12-19T20:49:28Z)
• Task-Aware Machine Unlearning and Its Application in Load Forecasting [4.00606516946677]
  本稿では、すでに訓練済みの予測器に対するデータセットの一部の影響を除去するために特別に設計された機械学習の概念を紹介する。 局所モデルパラメータ変化の感度を影響関数とサンプル再重み付けを用いて評価することにより,性能認識アルゴリズムを提案する。 リアルな負荷データセットを用いて,線形,CNN,Mixerベースの負荷予測器上で,未学習アルゴリズムを検証した。
  論文  参考訳（メタデータ） (2023-08-28T08:50:12Z)
• Fast Machine Unlearning Without Retraining Through Selective Synaptic Dampening [51.34904967046097]
  Selective Synaptic Dampening (SSD)は高速で、訓練データの長期保存を必要としない。 高速で性能が高く,トレーニングデータの長期保存を必要としない,新しい2段階のポストホック,リトレーニングフリーなマシンアンラーニング手法を提案する。
  論文  参考訳（メタデータ） (2023-08-15T11:30:45Z)
• Automatic Recall Machines: Internal Replay, Continual Learning and the Brain [104.38824285741248]
  ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。 本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。 代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
  論文  参考訳（メタデータ） (2020-06-22T15:07:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。