論文の概要: Local Redundancy: An Information-Theoretic Measure of Plasticity from Synthetic Memorization

• arxiv url: http://arxiv.org/abs/2607.13432v1
• Date: Wed, 15 Jul 2026 04:31:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-16 16:39:12.63799
• Title: Local Redundancy: An Information-Theoretic Measure of Plasticity from Synthetic Memorization
• Title（参考訳）: 局所冗長性:合成記憶からの塑性情報理論計測
• Authors: Jiaxuan Cheng,
• Abstract要約: 可塑性は、ニューラルネットワークが新しいタスクに適応する能力である。 効果ランク、死んだニューロンの分数、体重ノルムといった既存の尺度は理論的な根拠を欠いている。 普遍圧縮理論から導かれる情報理論である局所冗長性を導入する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Plasticity -- a neural network's ability to adapt to new tasks -- is critical for continual and transfer learning. Existing measures, such as effective rank, dead neuron fraction, and weight norm, lack theoretical grounding and correlate poorly with performance on new tasks. We introduce local redundancy, an information-theoretic measure derived from universal compression theory. We define local redundancy as the worst-case redundancy of a local model family -- parameters in an infinitesimal neighborhood along gradient directions -- and show this is a principled measure of plasticity. Although local redundancy is intractable to compute exactly, we prove that the expected squared gradient norm on a synthetic memorization task provides an efficiently computable lower bound. Experiments on continual image classification and time series transfer learning demonstrate that local redundancy predicts downstream performance better than existing measures and enables pretraining checkpoint selection where validation loss plateaus.
• Abstract（参考訳）: 新しいタスクに適応するニューラルネットワークの能力である塑性は、継続的な学習と伝達学習に不可欠である。 効果ランク、デッドニューロン分数、ウェイトノルムといった既存の尺度では、理論的な根拠が欠如しており、新しいタスクのパフォーマンスと相関が低い。 普遍圧縮理論から導かれる情報理論である局所冗長性を導入する。 局所的冗長性は, 局所モデル系の最悪の冗長性 - 勾配方向に沿った無限小近傍のパラメータ - として定義し, 可塑性の原理的尺度であることを示す。 局所冗長性は正確に計算できるが、合成記憶タスクにおける期待される2乗勾配ノルムが効率的に計算可能な下界を与えることを証明している。 連続画像分類と時系列転送学習の実験により、局所冗長性は、既存の測定値よりも下流のパフォーマンスを予測し、バリデーション損失高原でのチェックポイント選択の事前訓練を可能にすることを示した。

関連論文リスト

• Attribution-Based Neuron Utility for Plasticity Restoration in Deep Networks [0.0]
  継続的な学習研究は、新しい知識獲得と以前に獲得した知識の保存という2つの基本的な能力を保存しようとする。 近年の研究では、ニューロン飽和、ノルム成長、有用な曲率方向の喪失など、この現象の根底にある複数のメカニズムが特定されている。 適応的リセットに基づく介入は、訓練性を取り戻すための実践的な解決策として現れてきた。
  論文  参考訳（メタデータ） (2026-05-07T18:42:22Z)
• Rethinking Plasticity in Deep Reinforcement Learning [3.18807491942654]
  本稿では, 深部強化学習(RL)における塑性損失の基本的なメカニズムについて検討する。 本稿では,従来のタスクの最適点が,新しいタスクの局所的最適度に乏しいため,可塑性損失が発生することを示唆する最適化・中心塑性(OCP)仮説を提案する。 複雑なドメインにおけるネットワーク可塑性の理解と復元のための厳密な最適化に基づくフレームワークを提供する。
  論文  参考訳（メタデータ） (2026-03-22T11:27:16Z)
• Shift Before You Learn: Enabling Low-Rank Representations in Reinforcement Learning [56.87989363424]
  シフトした後継尺度において,低ランク構造が自然に現れることを示す。 有効な低ランク近似と推定に必要なシフトの量を定量化する。
  論文  参考訳（メタデータ） (2025-09-05T15:48:20Z)
• Doubly Robust Causal Effect Estimation under Networked Interference via Targeted Learning [24.63284452991301]
  ネットワーク干渉下での2つの頑健な因果効果推定器を提案する。 具体的には,対象とする学習手法をネットワーク干渉設定に一般化する。 我々は、同定された理論条件を目標損失に変換することによって、エンドツーエンドの因果効果推定器を考案する。
  論文  参考訳（メタデータ） (2024-05-06T10:49:51Z)
• Decentralized Learning Strategies for Estimation Error Minimization with Graph Neural Networks [86.99017195607077]
  統計的に同一性を持つ無線ネットワークにおける自己回帰的マルコフ過程のサンプリングとリモート推定の課題に対処する。 我々のゴールは、分散化されたスケーラブルサンプリングおよび送信ポリシーを用いて、時間平均推定誤差と/または情報の年齢を最小化することである。
  論文  参考訳（メタデータ） (2024-04-04T06:24:11Z)
• On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
  我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。 アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
  論文  参考訳（メタデータ） (2023-12-13T02:11:07Z)
• Gradient Starvation: A Learning Proclivity in Neural Networks [97.02382916372594]
  グラディエント・スターベーションは、タスクに関連する機能のサブセットのみをキャプチャすることで、クロスエントロピー損失を最小化するときに発生する。 この研究は、ニューラルネットワークにおけるそのような特徴不均衡の出現に関する理論的説明を提供する。
  論文  参考訳（メタデータ） (2020-11-18T18:52:08Z)
• Two Routes to Scalable Credit Assignment without Weight Symmetry [25.485770386464186]
  本稿では,最近提案された局所学習規則について考察する。 この局所ルールとバックプロパゲーションの間には,モデル深度の増加に伴う性能と安定性のギャップがある。 次に, 即時重量輸送の必要性を緩和する非局所学習規則を, 生物学的に証明可能な「重み推定」プロセスに導入する。
  論文  参考訳（メタデータ） (2020-02-28T18:39:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。