論文の概要: Retraining Seeks Stable Signals

• arxiv url: http://arxiv.org/abs/2607.15623v1
• Date: Fri, 17 Jul 2026 04:48:02 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-20 17:56:52.750494
• Title: Retraining Seeks Stable Signals
• Title（参考訳）: Retraining Seeks 安定信号
• Abstract要約: 非ゼロ安定信号が存在する場合、繰り返しリスク最小化はこの安定信号の方向と幾何的に収束することを示す。 これは、モデルが目標に与える影響が安定信号に対して任意に大きいとしても事実である。 正規化は、一般化を促進するのではなく、能動性を制御する力として自然に現れる。
• 参考スコア（独自算出の注目度）: 36.28189225382996
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Predictive models deployed at scale influence future data, a phenomenon called performativity. And there is always one way to cope: Train the model on new data, deploy it again, and repeat. This process, called retraining or repeated risk minimization, creates a feedback loop between model and data that real-world learning systems can't avoid. Results on performative prediction shed light on this dynamic: If the model's influence on the data is small, retraining reaches a fixed point. What remains open is why fixed points should naturally exist, and what governs retraining when the model's influence is strong. In this work we develop a new perspective on retraining -- the stable signal principle -- that addresses these questions. We start from the assumption that the prediction target has at least some small model-independent component, a stable signal, such as the intrinsic quality of an item. We prove that when a nonzero stable signal exists, repeated risk minimization, suitably regularized, converges geometrically to the direction of this stable signal. This is true even if the model's influence on the target is arbitrarily large relative to the stable signal. Regularization emerges naturally as a force to control performativity, rather than to promote generalization, revealing a new facet of an old concept. We extend the analysis to a broad family of affine retraining operators under arbitrary model-induced feature changes, heterogeneous time-varying effects, and nonlinear responses. The stable signal perspective also applies to data feedback loops in language modeling, providing new explanations for the stability of language model training from model-generated data.
• Abstract（参考訳）: 大規模に展開される予測モデルは将来のデータに影響を与える。 新しいデータでモデルをトレーニングし、再デプロイし、繰り返します。 このプロセスは、リトレーニングや繰り返しリスク最小化と呼ばれ、現実の学習システムでは避けられないモデルとデータ間のフィードバックループを生成する。 データに対するモデルの影響が小さい場合、再トレーニングは一定点に達する。 未開点は、なぜ固定点が自然に存在するべきなのか、そしてモデルの影響が強いときに再訓練を支配するものなのかである。 この研究では、これらの問題に対処する、信号の安定原理の再トレーニングに関する新しい視点を構築します。 我々は、予測対象が、アイテムの本質的な品質など、少なくともいくつかの小さなモデル独立成分、安定した信号を持っているという仮定から始める。 非ゼロ安定信号が存在する場合、繰り返しリスク最小化は、適切に正規化され、幾何学的にこの安定信号の向きに収束する。 これは、モデルが目標に与える影響が安定信号に対して任意に大きいとしても事実である。 正規化は、一般化を促進し、古い概念の新たな側面を明らかにするのではなく、実行性を制御する力として自然に現れる。 我々は、任意のモデルによる特徴変化、異種時間変化効果、非線形応答の下で、アフィン再訓練作用素の幅広いファミリーに解析を拡張した。 安定信号パースペクティブは、言語モデリングにおけるデータフィードバックループにも適用され、モデル生成データから言語モデルトレーニングの安定性の新しい説明を提供する。

関連論文リスト

• Symbolic Neural ODEs: Learning interpretable models from time-series data [0.0]
  時系列データから動的システムのスパースで解釈可能なモデルを特定するための機械学習フレームワークを提案する。 本稿では,ニューラルネットワークを用いて基礎となるベクトル場をパラメータ化し,有限地平線上の多段階予測損失を最小限に抑えて学習する。 多段階学習は, 長期統計特性において, 高精度な短期力学と強い一致を持つモデルが得られることを示す。
  論文  参考訳（メタデータ） (2026-08-22T21:31:07Z)
• Joint Model and Data Sparsification via the Marginal Likelihood [53.29070892356214]
  本稿では,個々の特徴とサンプルの相違点を同時学習し,同時にモデルとデータスペーシングを実現することを提案する。 このモデルとデータの対称的なプルーニングは、共役を保存する自然な拡張を提供する。 多様な回帰タスクにわたる経験的結果は、共同ARDアプローチがスパースモデルとロバスト予測モデルの両方を一貫して生成することを確認した。
  論文  参考訳（メタデータ） (2026-05-28T13:26:53Z)
• Self-Improving Tabular Language Models via Iterative Group Alignment [76.43372236405664]
  自動フィードバックによるデータ生成のための,最初の自己改善フレームワークであるTabGRAAを紹介する。 新たに生成されたサンプルを高品質なグループと低品質なグループに分割し、グループ相対的な有利な目標を優先順位付けする。 実験では、TabGRAAは、忠実さ、ユーティリティ、プライバシにおいて、既存のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2026-04-21T01:29:52Z)
• ResAD: Normalized Residual Trajectory Modeling for End-to-End Autonomous Driving [64.42138266293202]
  ResADは正規化された残留軌道モデリングフレームワークである。 学習タスクを再編成し、慣性参照からの残留偏差を予測する。 NAVSIMベンチマークでは、ResADはバニラ拡散ポリシーを用いて最先端のPDMS 88.6を達成している。
  論文  参考訳（メタデータ） (2025-10-09T17:59:36Z)
• A Probabilistic Perspective on Model Collapse [9.087950471621653]
  本研究の目的は,モデル崩壊の発生条件と,その緩和方法である。 軽度条件下では,モデルの崩壊を防止するために,各トレーニングステップにおけるサンプルサイズを徐々に増加させる必要があることを厳格に示す。 また, 合成データを用いた学習が, 実データのみを用いた学習よりも優れるモデルを生み出す可能性についても検討した。
  論文  参考訳（メタデータ） (2025-05-20T05:25:29Z)
• Real-time Adaptation for Condition Monitoring Signal Prediction using Label-aware Neural Processes [3.10770247120758]
  リアルタイム状態監視(CM)信号に迅速に適応する予測モデルの構築は、エンジニアリングシステムやユニットにとって重要である。 現在の手法は、オンライン設定における表現力とアジリティのトレードオフに悩まされている。 このトレードオフに対処するニューラルプロセスベースのアプローチを提案する。
  論文  参考訳（メタデータ） (2024-03-25T02:47:29Z)
• Model Collapse Demystified: The Case of Regression [12.115359951879462]
  大規模言語や画像生成モデルの普及期における「モデル崩壊」現象について検討する。 我々は、この現象を幅広い状況で定量的に概説する分析式を得る。 モデル崩壊を緩和する適応正則化に基づく簡単な戦略を提案する。
  論文  参考訳（メタデータ） (2024-02-12T15:26:01Z)
• Time-series Generation by Contrastive Imitation [87.51882102248395]
  モーメントマッチングの目的によってモチベーションされ、複合的エラーを軽減し、局所的(しかし前方的な)遷移ポリシーを最適化する。 推論において、学習されたポリシーは反復的なサンプリングのジェネレータとして機能し、学習されたエネルギーはサンプルの品質を評価するための軌道レベル尺度として機能する。
  論文  参考訳（メタデータ） (2023-11-02T16:45:25Z)
• Transfer Learning with Uncertainty Quantification: Random Effect Calibration of Source to Target (RECaST) [1.8047694351309207]
  我々はRECaSTと呼ばれる伝達学習に基づくモデル予測のための統計的枠組みを開発する。 線形モデル間の伝達学習におけるRECaST手法の有効性を数学的・実験的に実証した。 シミュレーション研究における本手法の性能と実際の病院データへの適用について検討する。
  論文  参考訳（メタデータ） (2022-11-29T19:39:47Z)
• Data Feedback Loops: Model-driven Amplification of Dataset Biases [9.773315369593876]
  我々は、あるモデルとのインタラクションを履歴として記録し、将来トレーニングデータとしてスクラップ化するシステムを定式化する。 テスト時間偏差統計に対する変化を追跡することによって、その安定性を経時的に分析する。 バイアス増幅の度合いは、モデルの出力がトレーニング分布のサンプルのように振る舞うかどうかと密接に関連していることがわかった。
  論文  参考訳（メタデータ） (2022-09-08T17:35:51Z)
• Probing Model Signal-Awareness via Prediction-Preserving Input Minimization [67.62847721118142]
  モデルが正しい脆弱性信号を捕捉して予測する能力を評価する。 SAR(Signal-Aware Recall)と呼ばれる新しい指標を用いて,モデルの信号認識を計測する。 その結果,90年代以降のリコールから60年代以降のリコールは,新たな指標で大幅に減少した。
  論文  参考訳（メタデータ） (2020-11-25T20:05:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。