論文の概要: Learning from Oblivion: Predicting Knowledge Overflowed Weights via Retrodiction of Forgetting

• arxiv url: http://arxiv.org/abs/2508.05059v1
• Date: Thu, 07 Aug 2025 06:23:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-08 18:59:39.722628
• Title: Learning from Oblivion: Predicting Knowledge Overflowed Weights via Retrodiction of Forgetting
• Title（参考訳）: Oblivionから学ぶ: 知識の過剰な重みの予測
• Authors: Jinhyeok Jang, Jaehong Kim, Jung Uk Kim,
• Abstract要約: 我々は、構造化された忘れ物を利用する新しい戦略であるtextbfKNowledge Overflowed Weights (KNOW) 予測を導入し、その逆転によって知識に富んだ重みを合成する。 我々の研究は、ディープラーニングにおける知識伝達の限界を押し上げるために、ダイナミクスを忘れることを再解釈する新しい視点を提供する。
• 参考スコア（独自算出の注目度）: 8.251428575457288
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained weights have become a cornerstone of modern deep learning, enabling efficient knowledge transfer and improving downstream task performance, especially in data-scarce scenarios. However, a fundamental question remains: how can we obtain better pre-trained weights that encapsulate more knowledge beyond the given dataset? In this work, we introduce \textbf{KNowledge Overflowed Weights (KNOW)} prediction, a novel strategy that leverages structured forgetting and its inversion to synthesize knowledge-enriched weights. Our key insight is that sequential fine-tuning on progressively downsized datasets induces a structured forgetting process, which can be modeled and reversed to recover knowledge as if trained on a larger dataset. We construct a dataset of weight transitions governed by this controlled forgetting and employ meta-learning to model weight prediction effectively. Specifically, our \textbf{KNowledge Overflowed Weights Nowcaster (KNOWN)} acts as a hyper-model that learns the general evolution of weights and predicts enhanced weights with improved generalization. Extensive experiments across diverse datasets and architectures demonstrate that KNOW prediction consistently outperforms Na\"ive fine-tuning and simple weight prediction, leading to superior downstream performance. Our work provides a new perspective on reinterpreting forgetting dynamics to push the limits of knowledge transfer in deep learning.
• Abstract（参考訳）: 事前訓練されたウェイトは現代のディープラーニングの基盤となり、特にデータ共有シナリオにおいて、効率的な知識伝達と下流タスクのパフォーマンスの改善を可能にしている。 しかし、根本的な疑問が残る: 与えられたデータセットを超えてより多くの知識をカプセル化する、より優れた事前訓練された重みを得るにはどうすればいいのか? 本研究は,構造的忘れ込みを利用した知識豊富な重みを合成するための新しい戦略である,KNOW(textbf{KNowledge Overflowed Weights)予測を導入する。 私たちの重要な洞察は、段階的に小さくなったデータセットのシーケンシャルな微調整によって構造化された忘れプロセスが引き起こされるということです。 我々は,この制御された忘れ物によって支配される重み遷移のデータセットを構築し,メタラーニングを用いて重み予測を効果的にモデル化する。 具体的には、我々の \textbf{KNowledge Overflowed Weights Nowcaster (KNOWN) は、重みの一般的な進化を学習し、一般化を改善した強化重みを予測するハイパーモデルとして機能する。 多様なデータセットやアーキテクチャにわたる大規模な実験は、KNOW予測がNa\を一貫して上回ることを示す。 我々の研究は、ディープラーニングにおける知識伝達の限界を押し上げるために、ダイナミクスを忘れることを再解釈する新しい視点を提供する。

関連論文リスト

• A Good Start Matters: Enhancing Continual Learning with Data-Driven Weight Initialization [15.8696301825572]
  連続訓練されたディープニューラルネットワーク(DNN)は、事前の知識を維持し、活用しながら、新しい概念を迅速に学習する必要がある。 新しく遭遇したカテゴリのウェイトは通常ランダムに行われ、初等訓練の損失(スパイク)と不安定性に繋がる。 ニューラル・コラプス(NC)に触発され,CLにおける学習効率向上のための重み付け初期化戦略を提案する。
  論文  参考訳（メタデータ） (2025-03-09T01:44:22Z)
• In-context learning of evolving data streams with tabular foundational models [42.13420474990124]
  この研究は両領域の進歩を橋渡しし、トランスフォーマーの暗黙のメタ学習能力、ドリフトする自然データへの事前トレーニング、動的環境における適応学習のコア課題へのコンテキスト最適化への依存などを強調した。 本研究は,TabPFNが単純なスライディングメモリ戦略と組み合わさって,非定常ベンチマークにおけるHoeffdingツリーのアンサンブルを一貫して上回っていることを示す。
  論文  参考訳（メタデータ） (2025-02-24T04:52:35Z)
• CLASSP: a Biologically-Inspired Approach to Continual Learning through Adjustment Suppression and Sparsity Promotion [0.0]
  本稿では,適応抑制・分散促進(CLASSP)による継続学習という新しい学習手法を提案する。 CLASSPは神経科学、特にシナプス伝達と長期増強の文脈で観察される2つの主要な原理に基づいている。 Elastic Weight Consolidation (EWC)データセットと比較すると、CLASSPは精度とメモリフットプリントの点で優れたパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-04-29T13:31:00Z)
• Diffusion-Based Neural Network Weights Generation [80.89706112736353]
  D2NWGは拡散に基づくニューラルネットワーク重み生成技術であり、転送学習のために高性能な重みを効率よく生成する。 本稿では,ニューラルネットワーク重み生成のための遅延拡散パラダイムを再放送するために,生成的ハイパー表現学習を拡張した。 我々のアプローチは大規模言語モデル(LLM)のような大規模アーキテクチャにスケーラブルであり、現在のパラメータ生成技術の限界を克服しています。
  論文  参考訳（メタデータ） (2024-02-28T08:34:23Z)
• Data Augmentations in Deep Weight Spaces [89.45272760013928]
  そこで本研究では,Mixup法に基づく新しい拡張手法を提案する。 既存のベンチマークと新しいベンチマークでこれらのテクニックのパフォーマンスを評価する。
  論文  参考訳（メタデータ） (2023-11-15T10:43:13Z)
• SPOT: Scalable 3D Pre-training via Occupancy Prediction for Learning Transferable 3D Representations [76.45009891152178]
  トレーニング-ファインタニングアプローチは、さまざまな下流データセットとタスクをまたいだトレーニング済みのバックボーンを微調整することで、ラベル付けの負担を軽減することができる。 本稿では, 一般表現学習が, 占領予測のタスクを通じて達成できることを, 初めて示す。 本研究は,LiDAR 点の理解を促進するとともに,LiDAR の事前訓練における今後の進歩の道を開くことを目的とする。
  論文  参考訳（メタデータ） (2023-09-19T11:13:01Z)
• RPLKG: Robust Prompt Learning with Knowledge Graph [14.531071492983767]
  CLIPのようなマルチモーダル事前トレーニングモデルでは、さまざまな実験でパフォーマンスが大幅に向上した。 既存の手法はしばしば解釈可能性に欠け、高い計算コストを課す。 本稿では,知識グラフを用いたロバスト・プロンプト学習(RPLKG)を提案する。
  論文  参考訳（メタデータ） (2023-04-21T08:22:58Z)
• Instance-Conditional Timescales of Decay for Non-Stationary Learning [11.90763787610444]
  スローコンセプトドリフトは、機械学習システムにおいて、ユビキタスだが未研究の課題である。 大規模トレーニングウィンドウ上でのインスタンスの重要さのバランスをとるための最適化型アプローチを提案する。 9年間にわたる39万枚の写真からなる大規模な実世界のデータセットの実験では、精度が15%まで向上した。
  論文  参考訳（メタデータ） (2022-12-12T14:16:26Z)
• Leveraging Angular Information Between Feature and Classifier for Long-tailed Learning: A Prediction Reformulation Approach [90.77858044524544]
  分類器の重みを再バランスすることなく、包含角度で認識確率を再構成する。 予測形式再構成の性能向上に着想を得て, この角度予測の異なる特性について検討する。 CIFAR10/100-LT と ImageNet-LT を事前学習することなく、ピアメソッド間で最高の性能を得ることができる。
  論文  参考訳（メタデータ） (2022-12-03T07:52:48Z)
• Informed Pre-Training on Prior Knowledge [6.666503127282259]
  トレーニングデータが少ない場合には、追加の事前知識が組み込まれて学習プロセスを支援することができる。 本稿では,新しい情報機械学習手法を提案し,事前知識の事前学習を提案する。
  論文  参考訳（メタデータ） (2022-05-23T16:24:40Z)
• Pre-Train Your Loss: Easy Bayesian Transfer Learning with Informative Priors [59.93972277761501]
  我々は,教師付きあるいは自己指導型アプローチにより,ソースタスクから高い情報的後部を学習できることを実証した。 このシンプルなモジュラーアプローチは、様々な下流の分類とセグメンテーションタスクにおいて、大幅なパフォーマンス向上と、よりデータ効率のよい学習を可能にする。
  論文  参考訳（メタデータ） (2022-05-20T16:19:30Z)
• CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep Learning [55.733193075728096]
  現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。 サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。 本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
  論文  参考訳（メタデータ） (2022-02-11T13:49:51Z)
• Powerpropagation: A sparsity inducing weight reparameterisation [65.85142037667065]
  我々は、本質的にスパースモデルにつながるニューラルネットワークの新しい重みパラメータ化であるPowerpropagationを紹介した。 この方法で訓練されたモデルは同様の性能を示すが、0で明らかに高い密度の分布を持ち、より多くのパラメータを安全に刈り取ることができる。 ここでは、Powerpropagationと従来のウェイトプルーニング技術と、最近の最先端スパース・トゥ・スパースアルゴリズムを組み合わせることで、ImageNetベンチマークで優れたパフォーマンスを示す。
  論文  参考訳（メタデータ） (2021-10-01T10:03:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。