論文の概要: Learning Under Forgetting: Statistical Support-Selective Retention in Stochastic Training Dynamics

• arxiv url: http://arxiv.org/abs/2609.38768v1
• Date: Wed, 30 Sep 2026 01:50:39 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.981479
• Title: Learning Under Forgetting: Statistical Support-Selective Retention in Stochastic Training Dynamics
• Title（参考訳）: 確率的トレーニングダイナミクスにおける統計的支援-選択的保持
• Abstract要約: 本稿では,RPF(Persistent Forgetting)ダイナミクスを用いた繰り返し補強法を提案する。 RPFダイナミクスは、データフィッティングと保存情報のコストの間の暗黙のトレードオフを引き起こす。 その結果、繰り返し強化と持続的忘れは、ニューラルアーキテクチャとスケールを超えた誘導バイアスの制御可能な源となることが示された。
• 参考スコア（独自算出の注目度）: 1.558837258444309
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prior work has shown that neural networks exhibit implicit biases toward low-complexity structure (e.g., spectral bias), memorization dynamics, and compression-like effects during training, but a unified dynamical account of selective retention remains incomplete. We propose Repeated Reinforcement with Persistent Forgetting (RPF) dynamics, a minimal framework in which repeated exposure reinforces patterns and structures that recur in the data, while persistent forgetting attenuates learned information. This view treats forgetting not merely as a failure mode, but as a selection mechanism. We build the theory in three successive layers. First, in an independent-feature model, we derive an exposure-selective survival law and a support-dependent retention boundary characterizing which patterns persist under forgetting. Second, in a shared-parameter model, we show that forgetting induces spectral filtering over covariance modes, preserving strongly supported shared components while suppressing weak ones. Third, under small-step and norm/coding approximations, we show how RPF dynamics induce an implicit trade-off between data fitting and the cost of stored information, yielding Minimum Description Length (MDL)-like compression. Controlled experiments provide evidence for this reinforcement--forgetting selection mechanism in scalar memories and a nonlinear shared network. Joint reinforcement and attenuation interventions shift conditional retention, while matched exposure counts reveal forgetting-dependent effects of reinforcement timing and changes in the composition of the retained set. Together, these results show that repeated reinforcement and persistent forgetting jointly provide a controllable source of inductive bias beyond neural architecture and scale.
• Abstract（参考訳）: 以前の研究で、ニューラルネットワークは低複雑さ構造(例えば、スペクトルバイアス)、記憶力学、トレーニング中の圧縮のような効果に対して暗黙の偏りを示すことが示されているが、選択的保持の統一的な動的説明は不完全である。 本稿では、繰り返し露光がデータに再帰するパターンや構造を補強する最小限のフレームワークであるRPF(Repeated Reinforcement with Persistent Forgetting)ダイナミックスを提案する。 このビューは、リフレクションを単に障害モードとしてではなく、選択メカニズムとして扱う。 我々はその理論を3つの連続した層で構築する。 まず、独立機能モデルにおいて、被曝選択生存法則と、そのパターンが忘れられたまま持続するパターンを特徴付ける支持依存保持境界法を導出する。 第2に,共有パラメータモデルでは,共分散モード上でのスペクトルフィルタリングを忘れることにより,弱い成分を抑えつつ,強く支持された共有成分を保存できることが示されている。 第3に、最小記述長(MDL)のような圧縮をもたらすデータフィッティングと保存情報のコストの間の暗黙的なトレードオフをRPFがいかに引き起こすかを示す。 制御された実験は、スカラーメモリと非線形共有ネットワークにおけるこの強化鍛造選択機構の証拠となる。 連成補強と減衰介入は条件付き保持をシフトさせるが、一致した露光数は、補強タイミングと保持セットの組成の変化の忘れがちな効果を示す。 これらの結果から, 繰り返しの強化と持続的忘れは, ニューラルアーキテクチャやスケールを超えた誘導バイアスの制御可能な源となることが示唆された。

関連論文リスト

• Drift and Dependence: Layer-wise Information-Theoretic Bounds for Replay-Based Continual Learning [41.371439825328544]
  継続的な学習は、古いタスクを消去することなく新しいタスクを吸収し、リプレイ — 過去の例の小さなバッファを現在のトレーニングに混ぜる — 破滅的な忘れ方に対する最も効果的な治療法のひとつです。 我々は、各深さでこれらの効果を分離するレイヤワイド情報理論フレームワークを開発する。 制御およびベンチマーク実験により、予測されたメモリスケーリング、内部ファンネル、およびアライメント信号の忘れへのリンクを確認する。
  論文  参考訳（メタデータ） (2026-08-12T06:01:49Z)
• Factorize to Generalize: Retrieval-Guided Invariant-Dynamic Decomposition for Time Series Forecasting [64.2640656619583]
  時系列基礎モデル (TSFM) は, 大規模事前学習と検索強化予測により, ゼロショット予測性能が向上した。 本稿では時系列予測のための検索誘導不変動的分解フレームワークを提案する。
  論文  参考訳（メタデータ） (2026-05-24T07:31:55Z)
• TopoCurate:Modeling Interaction Topology for Tool-Use Agent Training [53.93696896939915]
  訓練用ツール使用エージェントは一般的に、パスレート選択されたタスクに対して、軌道変更の成功と強化学習(RL)に依存している。 TopoCurateは,同一タスクから多段階的なロールアウトを統一的な意味的商トポロジに投影する対話型フレームワークである。 TopoCurateは最先端のベースラインに対して4.2%(SFT)と6.9%(RL)という一貫したゲインを達成している。
  論文  参考訳（メタデータ） (2026-03-02T10:38:54Z)
• A Backpropagation-Free Feedback-Hebbian Network for Continual Learning Dynamics [0.0]
  局所的な可塑性で訓練されたコンパクトなフィードバック経路は、再生と連続学習-関連するダイナミクスをサポートすることができることを示す。 その結果,局所的可塑性で訓練されたコンパクトなフィードバック経路は,再生と連続学習-関連するダイナミクスをサポートすることが示唆された。
  論文  参考訳（メタデータ） (2026-01-11T03:25:38Z)
• Causal Discovery with Mixed Latent Confounding via Precision Decomposition [0.0]
  微分可能およびスコアベースDAG学習者は、グローバル潜伏効果を因果エッジと誤解釈することができる。 我々は,これらの役割を分離したモジュール型高精度パイプラインであるtextscDCL-DECORを提案する。
  論文  参考訳（メタデータ） (2025-12-31T08:03:41Z)
• Learning Causality for Longitudinal Data [1.2691047660244335]
  この論文は、高次元の時間変化データにおける因果推論と因果表現学習の手法を開発する。 最初のコントリビューションは、個別処理効果(ITE)を推定するモデルであるCDVAE(Causal Dynamic Variational Autoencoder)の導入である。 第2のコントリビューションでは,Contrastive Predictive Coding (CPC) とInfoMaxによって強化された RNN に基づく長期的反事実回帰のための効率的なフレームワークを提案する。 第3のコントリビューションは、潜伏が観察された変数にどのように現れるかに対処することでCRLを前進させる。
  論文  参考訳（メタデータ） (2025-12-04T16:51:49Z)
• Drift No More? Context Equilibria in Multi-Turn LLM Interactions [58.69551510148673]
  コンテキストドリフト(Contexts drift)とは、ターン間のゴール一貫性のある振る舞いからモデルが出力する出力の段階的なばらつきである。 シングルターンエラーとは異なり、ドリフトは時間的に展開し、静的な評価指標では捉えにくい。 マルチターンドリフトは、避けられない崩壊というよりも、制御可能な平衡現象として理解できることを示す。
  論文  参考訳（メタデータ） (2025-10-09T04:48:49Z)
• Unsupervised Online 3D Instance Segmentation with Synthetic Sequences and Dynamic Loss [52.28880405119483]
  教師なしのオンライン3Dインスタンスのセグメンテーションは、基本的だが難しい課題だ。 UNITのような既存の手法はこの方向に進んできたが、訓練の多様性が制限されているままである。 本稿では,合成点雲列生成によるトレーニング分布の強化を目的とした新しいフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-09-27T08:53:27Z)
• Counterfactual Reward Model Training for Bias Mitigation in Multimodal Reinforcement Learning [0.5204229323525671]
  本稿では,マルチモーダル表現学習による因果推論を導入し,非教師付きバイアス耐性報酬信号を提供する。 我々は, フレーミングバイアス, クラス不均衡, 分散ドリフトを示すマルチモーダルフェイク対真のニュースデータセット上で, フレームワークの評価を行った。 その結果、偽ニュースの検出において89.12%の精度を達成し、ベースライン報酬モデルを上回った。
  論文  参考訳（メタデータ） (2025-08-27T04:54:33Z)
• Low-Rank Tensor Recovery via Variational Schatten-p Quasi-Norm and Jacobian Regularization [49.85875869048434]
  暗黙的神経表現のためのニューラルネットワークによりパラメータ化されたCPベースの低ランクテンソル関数を提案する。 本研究では、スペーサーCP分解を実現するために、冗長なランク1成分に変分Schatten-p quasi-normを導入する。 滑らか性のために、ヤコビアンとハッチンソンのトレース推定器のスペクトルノルムに基づく正規化項を提案する。
  論文  参考訳（メタデータ） (2025-06-27T11:23:10Z)
• Towards Robust and Adaptive Motion Forecasting: A Causal Representation Perspective [72.55093886515824]
  本稿では,3つの潜伏変数群からなる動的過程として,運動予測の因果的形式化を導入する。 我々は、因果グラフを近似するために、不変なメカニズムやスタイルの共創者の表現を分解するモジュラーアーキテクチャを考案する。 合成および実データを用いた実験結果から,提案した3つの成分は,学習した動き表現の頑健性と再利用性を大幅に向上することが示された。
  論文  参考訳（メタデータ） (2021-11-29T18:59:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。