論文の概要: Why Does Train-Validation Separation Emerge? Update-Pressure Density Dynamics in Pretrained Backbones

• arxiv url: http://arxiv.org/abs/2610.01425v1
• Date: Thu, 01 Oct 2026 10:25:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-03 01:19:24.05346
• Title: Why Does Train-Validation Separation Emerge? Update-Pressure Density Dynamics in Pretrained Backbones
• Title（参考訳）: 列車電圧分離はなぜ創発するのか : プレトレーニングバックボーンの更新圧力密度ダイナミクス
• Abstract要約: 列車バリデーション分離は、観測されたトレーニング例のパフォーマンスと有限のホールドアウト検証セットとの進化的な違いである。 本稿では,事前学習モデルの適応において,このギャップがどのように発達するかという構造的考察を提案する。
• 参考スコア（独自算出の注目度）: 2.366625762160647
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Train-validation separation is the evolving difference between performance on observed training examples and a finite held-out validation set. We propose a dynamic structural account of how this gap develops during adaptation of pretrained models: continued fitting can shift update demand from broadly reusable support toward narrower support with weaker held-out transfer. A conditional local model links this shift to increasing heterogeneity in gradient allocation and train-validation separation. Fixed training probes make this structural evolution observable without validation examples entering the readouts; held-out performance is used separately to evaluate its relation to the gap. In a constructed hierarchy implemented with a residual multilayer perceptron (ResMLP), increasing the target share of example-private features from $p=.3$ to $.5$ to $.7$, while preserving the relative mixture $1{:}2{:}3{:}4$ among the four shared feature levels, increases the final mean accuracy gap from $.185$ to $.331$ to $.527$ across five runs per condition. Masked-input losses measured separately on training and validation examples expose the corresponding transfer asymmetry. The natural language processing (NLP) analysis uses 10-epoch runs of RoBERTa, DeBERTa, and Qwen on six datasets (90 runs): the training-probe-weighted within-class and overall dispersion readouts each have positive raw and smoothed level correlations with the accuracy gap in all 90 runs. Raw changes paired at approximately one-epoch intervals remain positively associated in 86/90 and 87/90 runs, respectively. A 40-epoch ResNet-18 study tests both readouts on three vision datasets. Together, controlled simulation, NLP, and vision support the dynamic structural account across settings, with real-model evidence testing its observable predictions under the specified monitors.
• Abstract（参考訳）: 列車バリデーション分離は、観測されたトレーニング例のパフォーマンスと有限のホールドアウト検証セットとの進化的な違いである。 本稿では、このギャップが事前訓練されたモデルの適応中にどのように発展するかについて、動的構造的考察を行い、継続的なフィッティングは更新需要を広範囲に再利用可能なサポートからより弱いホールドアウト転送によるより狭いサポートへとシフトさせる。 条件付き局所モデルは、勾配の割り当てと列車価分離における不均一性の増加にこのシフトを関連付ける。 固定されたトレーニングプローブは、この構造的進化を、読み出しに入る検証例なしで観測可能とし、そのギャップとの関係を評価するために、保留性能を別々に使用する。 残留多層パーセプトロン(ResMLP)で実装された構築された階層構造では、サンプルプライベートな機能のターゲットシェアを$p=.3$から$.5$から$.7$に増やし、相対混合の${:}2{:}3{:}4$は4つの共有特徴レベルのうち、最終的な平均精度ギャップを$.185$から$.331$から$.527$に拡大する。 トレーニングと検証の例で別々に測定されたマスケインプット損失は、対応する転送非対称性を明らかにする。 自然言語処理(NLP)分析では,RoBERTa,DeBERTa,Qwenを6つのデータセット(90ラン)で10時間実行している。 約1時間間隔でペアを組んだ生変化は、それぞれ86/90ランと87/90ランに正の相関が保たれた。 40エポックなResNet-18の研究は、3つのビジョンデータセットで両方の読み出しをテストする。 協調して制御されたシミュレーション、NLP、ビジョンは、特定のモニターの下で観測可能な予測をテストする実モデルエビデンスによって、設定間の動的構造アカウントをサポートする。

関連論文リスト

• Intrinsic-Extrinsic Coupling in Learning Dynamics [0.0]
  制約付き学習状態介入の継続条件値を用いて本質的・外生的結合を定式化する。 我々は,地域の許容度,継続条件付き介入値,完全政治性能を区別する。
  論文  参考訳（メタデータ） (2026-09-24T17:30:22Z)
• REER-PT: Reverse-Engineered Reasoning for Perplexity-Guided Pre-training Data Augmentation [64.84437332310516]
  我々は,Reverse-Engineered Reasoning (REER) を生の事前学習データに拡張するスケーラブルなフレームワークである textbfREER-PT を紹介する。 REER-PTは予測が難しいが、それ以前のコンテキストから推論できる継続を識別し、コンテキストと継続の間の欠落した接続を再構築する簡潔な推論アノテーションを挿入する。 このスパース変換は、ソーステキストを保存し、トレーニング前のオンライン推論ロールアウトを避けることで、標準的な次世代の予測と互換性を維持します。
  論文  参考訳（メタデータ） (2026-08-31T11:34:19Z)
• PhaseShift: Topology-Aware Data Harmonization and Model Consolidation Across Signalized Intersections [7.890686084519088]
  PhaseShiftは、異種道路側軌跡を共有アクター中心の表現に調和させるトポロジ対応フレームワークである。 フロリダ州の2地域の5つの交差点を,バランスの取れたフィールドデータ,100kのトレーニングウィンドウ,同規模のテストセットを用いて評価した。
  論文  参考訳（メタデータ） (2026-08-26T01:22:49Z)
• VAIOM: Continuous-Input, Discrete-Output Decoder-Only Financial Sequence Modeling [5.407677397417658]
  直交回帰モデリングのためのベクトル入力自己回帰推論(VAIOM)を提案する。 VAIOMはデコーダのみのトランスフォーマーで、1時間の外国交換バー上での確率的逆戻りモデリングを行う。 連続的な入力は、同じカテゴリーの回帰目標の下で離散的な入力よりも改善されることを示す。
  論文  参考訳（メタデータ） (2026-07-15T15:10:10Z)
• Customer Churn Prediction on Structured Data Using FT-Transformer and Stacking Ensembles [0.0]
  本研究では,特徴量変換器(FT-Transformer)をキャリブレーション積み重ねによる勾配木と統合したハイブリッドアーキテクチャを提案する。 提案手法は, 統計的検証, 確率, キャリブレーションの持続的ギャップに対処し, 先行研究で確認された。 パブリックバンクチャーンデータセットでは、ハイブリッドモデル62.10% F1、0.861 AUC-ROC、0.647 PR-AUCがMulti-Layer Perceptron(MLP)ベースラインを3.37 F1ポイント、0.027 AUCを95%の信頼区間で上回っている。
  論文  参考訳（メタデータ） (2026-05-26T23:02:38Z)
• Unextractable Protocol Models: Collaborative Training and Inference without Weight Materialization [58.14514930760722]
  参加者が協力して大規模なニューラルネットワークを訓練し、提供する分散セットアップを検討する。 このセットアップでは、フルウェイトセットがどの参加者にも利用できないような、非機械的なウェイトの可能性を探る。 我々は、シャードモデルセットアップを利用するトレーニングおよび推論フレームワーク、Unextractable Protocol Models (UPMs)を紹介する。
  論文  参考訳（メタデータ） (2026-05-22T10:24:57Z)
• Shuffle the Context: RoPE-Perturbed Self-Distillation for Long-Context Adaptation [86.62036852878354]
  大規模言語モデル(LLM)は、信頼性の高い長文理解を必要とする設定でますます運用される。 位置ロバスト性を向上させるトレーニングレギュレータであるRoPE-Perturbed Self-Distillationを提案する。 Llama-3-8BとQwen-3-4Bの長文適応実験は、長文ベンチマークにおいて一貫した利得を示す。
  論文  参考訳（メタデータ） (2026-04-15T18:46:35Z)
• Test time training enhances in-context learning of nonlinear functions [51.56484100374058]
  テストタイムトレーニング(TTT)は、各予測に先立って指定されたパラメータを明示的に更新することで、モデル性能を向上させる。 本研究では,TTTとテキスト内学習(ICL)の組み合わせについて検討する。
  論文  参考訳（メタデータ） (2025-09-30T03:56:44Z)
• DreamPRM-1.5: Unlocking the Potential of Each Instance for Multimodal Process Reward Model Training [28.02129783121819]
  DreamPRM-1.5は、インスタンスレベルの再重み付けフレームワークで、双方向の最適化を通じて、トレーニング例毎に適応的な重み付けを割り当てる。 MMMU検証セットで84.6の精度、R-Bench-Vで31.3の精度を実現し、リードバックボーンと組み合わせると、公開マルチモーダル推論リーダーボードで1位の結果が得られる。
  論文  参考訳（メタデータ） (2025-09-05T23:42:01Z)
• SMaRt: Improving GANs with Score Matching Regularity [114.43433222721025]
  生成的敵ネットワーク(GAN)は通常、基礎となる多様体が複雑である非常に多様なデータから学ぶのに苦労する。 スコアマッチングは、生成したデータポイントを実データ多様体へ持続的にプッシュする能力のおかげで、この問題に対する有望な解決策であることがわかった。 提案手法は, 実世界のデータセットにおいて, 近似スコア関数として機能する事前学習拡散モデルを用いて, 最先端のGANの性能を継続的に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-11-30T03:05:14Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。