論文の概要: K-Way Energy Probes for Metacognition Reduce to Softmax in Discriminative Predictive Coding Networks

• arxiv url: http://arxiv.org/abs/2604.11011v1
• Date: Mon, 13 Apr 2026 05:24:44 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-14 20:13:16.342873
• Title: K-Way Energy Probes for Metacognition Reduce to Softmax in Discriminative Predictive Coding Networks
• Title（参考訳）: 識別予測符号化ネットワークにおけるメタ認知のためのK-Wayエネルギープローブのソフトマックス化
• Authors: Jon-Paul Cacioli,
• Abstract要約: 本研究は,CE-エネルギーを目標とし,K-ウェイエネルギーマージンを対数-マックスマージンマージンのモノトン関数に分解し,正しさと相関しない残差を推定した。 CIFAR-10では,拡張決定性トレーニング,推論中の潜伏運動の直接測定,バックプロパゲーションネットワーク上のポストホックデコーダフェアネス制御,マッチング予算PCとBP比較,5点ランゲヴィン温度掃除,軌道積分MCPCトレーニングの6つの条件でこれを検証した。 ギャップは安定していた
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present this as a negative result with an explanatory mechanism, not as a formal upper bound. Predictive coding networks (PCNs) admit a K-way energy probe in which each candidate class is fixed as a target, inference is run to settling, and the per-hypothesis settled energies are compared. The probe appears to read a richer signal source than softmax, since the per-hypothesis energy depends on the entire generative chain. We argue this appearance is misleading under the standard Pinchetti-style discriminative PC formulation. We present an approximate reduction showing that with target-clamped CE-energy training and effectively-feedforward latent dynamics, the K-way energy margin decomposes into a monotone function of the log-softmax margin plus a residual that is not trained to correlate with correctness. The decomposition predicts that the structural probe should track softmax from below. We test this across six conditions on CIFAR-10: extended deterministic training, direct measurement of latent movement during inference, a post-hoc decoder fairness control on a backpropagation network, a matched-budget PC vs BP comparison, a five-point Langevin temperature sweep, and trajectory-integrated MCPC training. In every condition the probe sat below softmax. The gap was stable across training procedures within the discriminative PC family. Final-state and trajectory-integrated training produced probes whose AUROC_2 values differed by less than 10^-3 at deterministic evaluation. The empirical regime is small: single seed, 2.1M-parameter network, 1280 test images. We frame the result as a preprint inviting replication. We discuss conditions under which the decomposition does not apply (bidirectional PC, prospective configuration, generative PC, non-CE energy formulations) and directions for productive structural probing the analysis does not foreclose.
• Abstract（参考訳）: 我々はこれを説明的なメカニズムで否定的な結果として提示するが、これは形式的な上界ではない。 予測符号化ネットワーク(PCN)は、各候補クラスが目標として固定されたKウェイエネルギープローブを許容し、推論を沈降に実行し、各仮説解決エネルギーを比較する。 このプローブは、仮説ごとのエネルギーが生成鎖全体に依存するため、ソフトマックスよりもリッチな信号源を読み取るようにみえる。 我々は、この外観が、標準的なPinchettiスタイルの差別的PCの定式化の下で誤解を招くと論じている。 そこで本研究では,CE-エネルギーを目標とし,K-ウェイエネルギーマージンを対数ソフトマックスマージンの単調関数に分解し,正しさと相関しない残差を推定した。 この分解は、構造プローブが下からソフトマックスを追跡することを予測している。 CIFAR-10では,拡張決定性トレーニング,推論中の潜伏運動の直接測定,バックプロパゲーションネットワーク上のポストホックデコーダフェアネス制御,マッチング予算PCとBP比較,5点ランゲヴィン温度掃除,軌道積分MCPCトレーニングの6つの条件でこれを検証した。 あらゆる条件において、プローブはソフトマックスの下に置かれた。 このギャップは、差別的なPCファミリー内の訓練手順で安定していた。 最終状態および軌道積分訓練によりAUROC_2の値が10^-3未満のプローブを作成した。 実験的な構造は小さく、単一のシード、2.1Mパラメータネットワーク、1280の試験画像がある。 結果を複製を招待するプレプリントとしてフレーム化します。 本稿では, 分解が適用されない条件(双方向PC, 予測構成, 生成PC, 非CEエネルギーの定式化)と, 解析が予測できない生産的構造探索の方向性について論じる。

関連論文リスト

• Learning from Emptiness: De-biasing Listwise Rerankers with Content-Agnostic Probability Calibration [76.08899010904652]
  CapCalは、ランキング決定から位置バイアスを機械的に分離する、トレーニング不要のフレームワークである。 シングルパス効率を保ちながら、トレーニング不要の手法で優れた性能を発揮する。
  論文  参考訳（メタデータ） (2026-04-11T10:47:22Z)
• Softmax is not Enough (for Adaptive Conformal Classification) [5.184894950445513]
  コンフォーマル予測(CP)は不確実性定量化のための分布のないフレームワークである。 非整合性スコアはソフトマックス出力から導かれるもので、与えられた入力についてモデルが真に確実であるかの信頼性の低い指標となる。 本稿では,Helmholtz Free Energyをモデル不確実性とサンプルの難易度を指標として,ソフトマックス前のロジット空間の情報を活用する新しい手法を提案する。
  論文  参考訳（メタデータ） (2026-02-23T04:33:04Z)
• Bayesian Uncertainty Quantification with Anchored Ensembles for Robust EV Power Consumption Prediction [0.8602553195689513]
  EVパワー推定は、レンジ予測とエネルギー管理の基盤となっているが、実践者はポイント精度と信頼できる不確実性の両方を必要としている。 本稿では,不確かさを両立させるアンロックアンサンブル長短記憶(LSTM)を提案する。 RMSE 3.36 +/- 1.10, MAE 2.21 +/- 0.89, R-squared = 0.93 +/- 0.02, 共分散 0.93 +/- 0.02 を解析し, ほぼノルミナルカバレッジを持つよく校正された不確かさ帯域を提供する。
  論文  参考訳（メタデータ） (2025-11-09T20:49:42Z)
• Assessing the Limits of Graph Neural Networks for Vapor-Liquid Equilibrium Prediction: A Cryogenic Mixture Case Study [3.765010805872486]
  本研究では、GERG-2008/CoolPropデータに基づいてトレーニングされた構造対応グラフニューラルネットワーク(GNN; DimeNet++)が、状態方程式(EoS)の実用的なサロゲートとして機能するかどうかを問う。 我々は90～200K以上の3次データセットと100バーへの圧力を生成し、15%密度フィルタ(5,200状態を1,516に還元する)でキュレートし、各状態と軽量な分子力学スナップショットを組み合わせて構造特性の供給を行う。 我々は、構成上、この研究におけるサロゲートは、VLEに対して平衡対応可能ではなく、実行時利益を提供しない、と結論づける。
  論文  参考訳（メタデータ） (2025-09-10T16:10:58Z)
• A New Formulation of Lipschitz Constrained With Functional Gradient Learning for GANs [52.55025869932486]
  本稿では,大規模データセット上でGAN(Generative Adversarial Networks)のトレーニングを行うための有望な代替手法を提案する。 本稿では,GANの学習を安定させるために,Lipschitz-Constrained Functional Gradient GANs Learning (Li-CFG)法を提案する。 判別器勾配のノルムを増大させることにより、潜在ベクトルの近傍サイズを小さくすることができることを示す。
  論文  参考訳（メタデータ） (2025-01-20T02:48:07Z)
• Density-Softmax: Efficient Test-time Model for Uncertainty Estimation and Robustness under Distribution Shifts [8.431465371266391]
  密度-ソフトマックスは、不確実性推定のためのサンプリング不要な決定論的なフレームワークである。 我々は,このモデルがミニマックス不確実性リスクの解であることを示した。 本手法は,不確実性と堅牢性の観点から,最先端技術と競合する結果を享受する。
  論文  参考訳（メタデータ） (2023-02-13T16:21:03Z)
• Combating Mode Collapse in GANs via Manifold Entropy Estimation [70.06639443446545]
  Generative Adversarial Networks (GAN) は、様々なタスクやアプリケーションにおいて魅力的な結果を示している。 GANのモード崩壊問題に対処するための新しいトレーニングパイプラインを提案する。
  論文  参考訳（メタデータ） (2022-08-25T12:33:31Z)
• Distinction Maximization Loss: Efficiently Improving Classification Accuracy, Uncertainty Estimation, and Out-of-Distribution Detection Simply Replacing the Loss and Calibrating [2.262407399039118]
  我々は、DisMax損失を用いた決定論的深層ニューラルネットワークのトレーニングを提案する。 DisMaxは通常、分類精度、不確実性推定、推論効率、アウト・オブ・ディストリビューション検出において、全ての現在のアプローチを同時に上回る。
  論文  参考訳（メタデータ） (2022-05-12T04:37:35Z)
• On the Practicality of Differential Privacy in Federated Learning by Tuning Iteration Times [51.61278695776151]
  フェデレートラーニング(FL)は、分散クライアント間で機械学習モデルを協調的にトレーニングする際のプライバシ保護でよく知られている。 最近の研究では、naive flは勾配リーク攻撃の影響を受けやすいことが指摘されている。 ディファレンシャルプライバシ(dp)は、勾配漏洩攻撃を防御するための有望な対策として現れる。
  論文  参考訳（メタデータ） (2021-01-11T19:43:12Z)
• Scaling Equilibrium Propagation to Deep ConvNets by Drastically Reducing its Gradient Estimator Bias [65.13042449121411]
  実際には、EPによって提供される勾配推定によるネットワークのトレーニングは、MNISTよりも難しい視覚タスクにスケールしない。 有限ヌード法に固有のEPの勾配推定のバイアスがこの現象の原因であることを示す。 これらの手法を適用し、非対称な前方および後方接続を持つアーキテクチャをトレーニングし、13.2%のテストエラーを発生させる。
  論文  参考訳（メタデータ） (2020-06-06T09:36:07Z)
• TRP: Trained Rank Pruning for Efficient Deep Neural Networks [69.06699632822514]
  低位近似とトレーニングを交互に行うTrated Rank Pruning (TRP)を提案する。 サブ段階降下により最適化された核正則化を利用して、TRPの低位化をさらに促進する。 TRPトレーニングネットワークは本質的に低ランク構造であり、無視可能な性能損失と近似される。
  論文  参考訳（メタデータ） (2020-04-30T03:37:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。