論文の概要: Comparing SGLD and a fixed-noise Predictor-Corrector adaptation in canonical Joint Energy-Based Models on CIFAR-10
- arxiv url: http://arxiv.org/abs/2608.05025v2
- Date: Tue, 11 Aug 2026 09:27:21 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-12 16:08:30.369997
- Title: Comparing SGLD and a fixed-noise Predictor-Corrector adaptation in canonical Joint Energy-Based Models on CIFAR-10
- Title(参考訳): CIFAR-10を用いた標準結合エネルギーモデルにおけるSGLDと固定雑音予測器の適応の比較
- Abstract要約: 我々は、WideResNet-28-10上の標準合同エネルギーベースモデル(JEM)を、2つの独立したランで正規化レイヤなしで再現する。
我々は3つのプロトコルで固定ノイズPC適応(退化ノイズ予測器を決定論的ステップに置き換える)をテストする。
復元精度92.88%、バッファFID44.46(標準:92.9%、38.40)
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Joint Energy-Based Models (JEM) unify classification and generation within a single network and support out-of-distribution (OOD) detection. Canonical JEM training relies on stochastic gradient Langevin dynamics (SGLD); a theoretically motivated alternative, the Predictor-Corrector (PC) sampler, has not previously undergone a systematic replication test on the canonical model. We reproduce canonical JEM on WideResNet-28-10 without normalisation layers on two independent runs and test a fixed-noise PC adaptation - with the degenerate annealed-noise predictor replaced by a deterministic gradient step - across three protocols: the adapted sampler replacing SGLD throughout the full training trajectories (115-132 epochs); cold-start generation (FID); and refinement-style multi-OOD detection (AUROC). The reconstruction reaches 92.88% test accuracy and buffer-FID 44.46 (canonical: 92.9% and 38.40). We document two failure modes: catastrophic late-training divergence with the signature of the canonical outlier-buffer mechanism (all four runs), and run-dependent SVHN OOD-discrimination dynamics. No consistent method-level advantage of the adaptation over SGLD is observed on any protocol: refinement AUROC differences stay below 0.007 across ten checkpoint-OOD pairs; seeded cold-start generation favours SGLD by about five FID points; on the training protocol a hierarchical seed-by-image bootstrap gives a 95% confidence interval on the macro-averaged AUROC difference that contains zero, while a seed-level equivalence test with two runs per method cannot establish formal equivalence. The training-protocol data are consistent both with equivalence and with a small directional effect. This outcome is consistent with theory: the guarantees of the annealed-noise PC framework do not transfer to the constant-noise regime of canonical JEM.
- Abstract(参考訳): 統合エネルギーベースモデル(JEM)は、単一ネットワーク内の分類と生成を統一し、アウト・オブ・ディストリビューション(OOD)検出をサポートする。
カノニカルJEMトレーニングは、理論上動機づけられたPredictor-Corrector(PC)サンプル装置である確率勾配ランゲヴィンダイナミクス(SGLD)に依存しており、これまでは標準モデルの体系的な複製テストを行っていなかった。
我々は,WideResNet-28-10の標準的JEMを2つの独立ランで正規化せずに再現し,定性的なPC適応性 - 縮退した焼鈍ノイズ予測器を決定論的勾配ステップに置き換える - を3つのプロトコルに分けて再現する: 完全な訓練軌道(115-132 epochs)全体にわたってSGLDを置き換える適応サンプル器,冷間開始生成(FID)、改良型マルチOOD検出(AUROC)。
再現率は92.88%、バッファFID44.46(標準:92.9%、38.40)に達する。
障害モードは2つあり,カノニカルなアウトリアバッファ機構(全4ラン)と,実行依存型SVHN OOD識別ダイナミクスの2つがある。
改良 AUROC 差は 10 個のチェックポイント-OOD 対で 0.007 未満にとどまる; シードドコールトスタート生成は、約 5 個の FID ポイントで SGLD を優先する; トレーニングプロトコルでは、階層的なシード・バイ・イメージブートストラップは、ゼロを含むマクロ平均 AUROC 差に対して95% の信頼区間を与えるが、1 つのメソッドが 2 回ずつのシードレベルの同値テストは、正式な等価性を確立することはできない。
トレーニング・プロトコールデータは、等価性と小さな方向効果の両方に一致している。
この結果は理論と一致しており、アニールノイズPCフレームワークの保証は標準JEMの定ノイズ状態に移行しない。
関連論文リスト
- Topological State-Aware Simulation Framework for Inter-Satellite Twin-Field QKD Networks [1.7259898169307613]
衛星間リンク(ISL)は、グローバル量子ネットワークにとって必須のバックボーンである。
TF-QKDは、動的で非IID軌道環境に対して非常に脆弱である。
参照のみのトポロジカル・ポストセレクション・オラクルを導入する。
論文 参考訳(メタデータ) (2026-08-12T23:45:37Z) - Modeling Normal Is All You Need: Joint Latent Clustering for Anomaly Detection in Multimodal Cyber-Physical Systems [47.027290803102666]
通常の行動は、多くの不均衡で、曲がりくねった、細い範囲の運営体制の結合である。
我々は正規法則を、共同学習された潜在表現と明示的なガウス混合モードクラスタリングでモデル化する。
ポイント調整のない生のポイントワイドメトリクス、自明な検出困難分割、頻度整合F1、列車正規化のみのキャリブレーションを意図的に評価する。
論文 参考訳(メタデータ) (2026-07-07T10:10:00Z) - Multi-Level Distributional Entropy for Explainable Network Intrusion Detection [3.6406488220483326]
本稿では,フローレベルの要約統計から直接解釈可能なエントロピー特徴を導出するフレームワークを提案する。
4つのベンチマークで、エントロピーのみの機能は0.708-0.989の重み付きF1を達成する。
完全な運用メトリックレポートは、F1の隠蔽を集約する障害モードを公開する。
論文 参考訳(メタデータ) (2026-06-29T05:19:21Z) - Heterogeneous 2D/1D Signal Representation Fusion for Underwater Acoustic Modulation Recognition Under Distribution Shift [14.066845914592564]
変調認識システムは異種信号表現に依存している。
SCP-TriCA は STFT, cyclostationary, P2/P4 (2階および4階のパワースペクトル) を階層的に融合する。
UAMR-ShiftBenchでは、SCP-TriCAは95.33%の分配精度と74.59%のシミュレーションOOD平均を達成した。
論文 参考訳(メタデータ) (2026-06-08T11:13:05Z) - Multimodal Learning on Low-Quality Data with Conformal Predictive Self-Calibration [72.0672328514289]
マルチモーダル学習は、しばしば低品質データの課題に悩まされる。
コンフォーマル予測自己校正(Conformal Predictive Self-Calibration)と呼ばれる統合フレームワークを提案する。
私たちのフレームワークは、既存の最先端メソッドを一貫して上回ります。
論文 参考訳(メタデータ) (2026-05-05T14:48:52Z) - Too Correct to Learn: Reinforcement Learning on Saturated Reasoning Data [55.84428098924793]
構造保存探索を行うためのパラメータ自由復号法である Constrained Uniform Top-K Smpling (CUTS) を提案する。
グループ内の利点分散を増幅するために、エクスプロイトと探索的なロールアウトを相乗化するためのトレーニングフレームワークであるMixed-CUTSに統合する。
特にMixed-CUTSは、AIME25ベンチマークのPass@1の精度を標準のGRPOよりも15.1%向上している。
論文 参考訳(メタデータ) (2026-04-20T16:43:28Z) - K-Way Energy Probes for Metacognition Reduce to Softmax in Discriminative Predictive Coding Networks [0.0]
本研究は,CE-エネルギーを目標とし,K-ウェイエネルギーマージンを対数-マックスマージンマージンのモノトン関数に分解し,正しさと相関しない残差を推定した。
CIFAR-10では,拡張決定性トレーニング,推論中の潜伏運動の直接測定,バックプロパゲーションネットワーク上のポストホックデコーダフェアネス制御,マッチング予算PCとBP比較,5点ランゲヴィン温度掃除,軌道積分MCPCトレーニングの6つの条件でこれを検証した。
ギャップは安定していた
論文 参考訳(メタデータ) (2026-04-13T05:24:44Z) - PARD-SSM: Probabilistic Cyber-Attack Regime Detection via Variational Switching State-Space Models [0.0]
本稿では,ネットワークテレメトリをK = 4 の隠れ状態を持つ線形力学系としてモデル化する確率的フレームワーク PARD-SSM を提案する。
構造的変動近似は、推論の複雑さを指数関数からO(TK2)に還元し、標準CPUハードウェアでのリアルタイム検出を可能にする。
モデルはまた、攻撃開始の約8分前に予測アラートを生成する。
論文 参考訳(メタデータ) (2026-04-02T17:38:52Z) - SENTINEL: Stagewise Integrity Verification for Pipeline Parallel Decentralized Training [54.8494905524997]
分散トレーニングは、信頼できない、地理的に分散したノードで実行される場合、重大なセキュリティリスクをもたらす。
重複のないパイプライン並列性(PP)トレーニングの検証機構であるSENTINELを提案する。
実験では、モデル収束と性能を維持しながら、最大176人の労働者を持つ信頼できない分散環境における最大4BパラメータLSMのトレーニングを成功させた。
論文 参考訳(メタデータ) (2026-03-03T23:51:10Z) - ProtoDCS: Towards Robust and Efficient Open-Set Test-Time Adaptation for Vision-Language Models [32.840734752367275]
Prototype-based Double-Check separation (ProtoDCS)はOSTTAの堅牢なフレームワークである。
csIDとcsOODを分離し、ビジョン言語モデルのcsIDデータへの安全かつ効率的な適応を可能にする。
ProtoDCSは、既知のクラス精度とOOD検出メトリクスの両方を大幅に向上させる。
論文 参考訳(メタデータ) (2026-02-27T03:39:02Z) - Feynman-Kac Correctors in Diffusion: Annealing, Guidance, and Product of Experts [64.34482582690927]
事前学習したスコアベースモデルから得られた熱処理, 幾何平均, 製品分布の配列から, 効率的かつ原理的に抽出する方法を提供する。
本稿では,サンプリング品質を向上させるために,推論時間スケーリングを利用する逐次モンテカルロ(SMC)再サンプリングアルゴリズムを提案する。
論文 参考訳(メタデータ) (2025-03-04T17:46:51Z) - Consistency Trajectory Models: Learning Probability Flow ODE Trajectory of Diffusion [56.38386580040991]
Consistency Trajectory Model (CTM) は Consistency Models (CM) の一般化である
CTMは、対戦訓練とスコアマッチング損失を効果的に組み合わせることで、パフォーマンスを向上させる。
CMとは異なり、CTMのスコア関数へのアクセスは、確立された制御可能/条件生成メソッドの採用を合理化することができる。
論文 参考訳(メタデータ) (2023-10-01T05:07:17Z) - Semi-supervised Contrastive Learning with Similarity Co-calibration [72.38187308270135]
SsCL(Semi-supervised Contrastive Learning)と呼ばれる新しいトレーニング戦略を提案する。
ssclは、自己教師付き学習におけるよく知られたコントラスト損失と、半教師付き学習におけるクロスエントロピー損失を組み合わせる。
SsCLはより差別的な表現を生じさせ,ショット学習に有益であることを示す。
論文 参考訳(メタデータ) (2021-05-16T09:13:56Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。