論文の概要: Decoupled Descent: Exact Test Error Tracking Via Approximate Message Passing

• arxiv url: http://arxiv.org/abs/2604.27883v1
• Date: Thu, 30 Apr 2026 14:01:23 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-01 16:31:54.122493
• Title: Decoupled Descent: Exact Test Error Tracking Via Approximate Message Passing
• Title（参考訳）: Decoupled Descent: 正確なテストエラー追跡と近似メッセージのパッシング
• Authors: Max Lovig,
• Abstract要約: 本稿では,列車テストの同一性を満たす新しいトレーニングアルゴリズムである脱結合降下(DD)を紹介する。 DDはデータの再利用によるバイアスを反復的にキャンセルし、ゼロコスト検証の可能性を明確に示す。 また, CIFAR-10 の雑音的 MNIST と非線形探索を実装し, スタイル化された仮定が緩和されたとしても, DD は GD と比較して一般化ギャップを狭めることを示した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In modern parametric model training, full-batch gradient descent (and its variants) suffers due to progressively stronger biasing towards the exact realization of training data; this drives the systematic ``generalization gap'', where the train error becomes an unreliable proxy for test error. Existing approaches either argue this gap is benign through complex analysis or sacrifice data to a validation set. In contrast, we introduce decoupled descent (DD), a novel theory-based training algorithm that satisfies a train-test identity -- enforcing the train error to asymptotically track the test error for stylized Gaussian mixture models. Within this specific regime, leveraging approximate message passing theory, DD iteratively cancels the biases due to data reuse, rigorously demonstrating the feasibility of zero-cost validation and $100\%$ data utilization. Moreover, DD is governed by a low-dimensional state evolution recursion, rendering the dynamics of the algorithm transparent and tractable. We validate DD on XOR classification, yielding superior performance compared to GD; additionally, we implement noisy MNIST and non-linear probing of CIFAR-10, demonstrating that even when our stylized assumptions are relaxed, DD narrows the generalization gap compared to GD.
• Abstract（参考訳）: 現代のパラメトリックモデルトレーニングでは、フルバッチ勾配降下(およびその変種)は、トレーニングデータの正確な実現に向けて徐々に強く偏りを呈し、系統的な'一般化ギャップ'を駆動し、そこで列車エラーがテストエラーの信頼性の低いプロキシとなる。 既存のアプローチでは、このギャップは複雑な分析を通じて良性であると主張するか、検証セットに犠牲データを与えるかのどちらかである。 これとは対照的に、列車の誤りを漸近的に追跡するために、列車の同一性を満足する新しい理論に基づく訓練アルゴリズムであるデカップリング降下(DD)を導入する。 この特定の体制の中では、近似メッセージパッシング理論を利用して、DDはデータ再利用によるバイアスを反復的にキャンセルし、ゼロコストバリデーションと100\%のデータ利用の可能性を明確に示す。 さらに、DDは低次元状態の進化再帰によって制御され、アルゴリズムのダイナミックスは透明でトラクタブルである。 我々は、XOR分類上のDDを検証し、GDよりも優れた性能を示し、さらに、雑音の多いMNISTとCIFAR-10の非線形プローブを実装し、スタイリングされた仮定が緩和されたとしても、DDはGDと比較して一般化ギャップを狭めることを示した。

関連論文リスト

• Correcting False Alarms from Unseen: Adapting Graph Anomaly Detectors at Test Time [60.341117019125214]
  グラフ異常検出(GAD)における未確認正規pattErnsの修正のための,軽量かつプラグアンドプレイなテスト時間適応フレームワークを提案する。 意味的混乱に対処するために、シフトしたデータと元のデータとをグラフ属性レベルで整合させるグラフ整合器を用いる。 10個の実世界のデータセットに対する大規模な実験により、TUNEは事前学習されたGADモデルの合成パターンと実際の見えない正常パターンの両方への一般化性を著しく向上することが示された。
  論文  参考訳（メタデータ） (2025-11-10T12:10:05Z)
• Towards Real Unsupervised Anomaly Detection Via Confident Meta-Learning [12.690752260618522]
  Confident Meta-learning(CoMet)は、未処理のデータセットから深層異常検出モデルを学ぶことができる新しいトレーニング戦略である。 本手法では,低信頼度サンプルに低重みを割り当てるSoft Confident Learningと,更新を規則化してトレーニングを安定化するMeta-Learningを統合した。
  論文  参考訳（メタデータ） (2025-08-04T11:03:12Z)
• ADT: Tuning Diffusion Models with Adversarial Supervision [16.974169058917443]
  拡散モデルは、真のデータ分布を近似するために前方ノイズ発生過程を反転させることで、優れた画像生成を実現している。 本稿では、最適化中の推論プロセスを刺激し、最終的な出力をトレーニングデータと整合させるために、Adrial Diffusion Tuning (ADT)を提案する。 ADTは、固定されたトレーニング済みのバックボーンと軽量なトレーニング可能なパラメータを備えたシアム-ネットワーク識別器を備えている。
  論文  参考訳（メタデータ） (2025-04-15T17:37:50Z)
• Leveraging Latent Diffusion Models for Training-Free In-Distribution Data Augmentation for Surface Defect Detection [9.784793380119806]
  データ拡張のためのトレーニング不要な拡散型In-Distribution Anomaly GenerationパイプラインであるDIAGを紹介する。 従来の画像生成技術とは異なり、我々は、ドメインの専門家がモデルにマルチモーダルガイダンスを提供する、Human-in-the-loopパイプラインを実装している。 我々は、挑戦的なKSDD2データセットに対する最先端データ拡張アプローチに関して、DIAGの有効性と汎用性を実証する。
  論文  参考訳（メタデータ） (2024-07-04T14:28:52Z)
• SMaRt: Improving GANs with Score Matching Regularity [114.43433222721025]
  生成的敵ネットワーク(GAN)は通常、基礎となる多様体が複雑である非常に多様なデータから学ぶのに苦労する。 スコアマッチングは、生成したデータポイントを実データ多様体へ持続的にプッシュする能力のおかげで、この問題に対する有望な解決策であることがわかった。 提案手法は, 実世界のデータセットにおいて, 近似スコア関数として機能する事前学習拡散モデルを用いて, 最先端のGANの性能を継続的に向上させることができることを示す。
  論文  参考訳（メタデータ） (2023-11-30T03:05:14Z)
• Consistent Diffusion Models: Mitigating Sampling Drift by Learning to be Consistent [97.64313409741614]
  本稿では, モデルが生成したデータ上での予測が時間とともに一定であることを示す, 両立性特性を強制することを提案する。 CIFAR-10の条件および非条件生成とAFHQとFFHQのベースライン改良について,本研究の新たな訓練目標が得られた。
  論文  参考訳（メタデータ） (2023-02-17T18:45:04Z)
• GibbsDDRM: A Partially Collapsed Gibbs Sampler for Solving Blind Inverse Problems with Denoising Diffusion Restoration [64.8770356696056]
  本稿では,DDRM(Denoising Diffusion Restoration Models)の拡張であるGibbsDDRMを提案する。 提案手法は問題に依存しないため,様々な逆問題に対して事前学習した拡散モデルを適用することができる。
  論文  参考訳（メタデータ） (2023-01-30T06:27:48Z)
• Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
  本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。 我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
  論文  参考訳（メタデータ） (2020-03-04T12:27:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。