論文の概要: Exact Dual Geometry of SOC-ICNN Value Functions
- arxiv url: http://arxiv.org/abs/2605.04722v1
- Date: Wed, 06 May 2026 10:14:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-07 18:41:07.764943
- Title: Exact Dual Geometry of SOC-ICNN Value Functions
- Title(参考訳): SOC-ICNN値関数の厳密なデュアル幾何
- Abstract要約: 両視点からSOC-ICNNの正確な一階および局所二階形状について検討する。
最適双対変数から直接, 支持斜面, 部分微分, 方向微分, 局所 Hessian を復元できることが示される。
- 参考スコア(独自算出の注目度): 15.23698901433138
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Input Convex Neural Networks (ICNNs) are commonly used in a two-stage manner: one first trains a convex network and then minimizes it over its input in a downstream inference problem. Recent second-order-cone ICNNs (SOC-ICNNs) enrich ReLU-based ICNNs with quadratic and conic modules and admit an exact representation as value functions of second-order cone programs (SOCPs). This value-function structure enables an explicit convex-analytic treatment of SOC-ICNN inference. In this paper, we study the exact first-order and local second-order geometry of SOC-ICNNs from the dual viewpoint. We show that supporting slopes, subdifferentials, directional derivatives, and local Hessians can be recovered directly from optimal dual variables. These results provide the geometric primitives for white-box SOC-ICNN inference, going beyond black-box automatic differentiation. Numerical experiments validate the exact multiplier readout, the local Hessian formula, and the set-valued behavior at structurally degenerate inputs. We also provide a step-by-step tutorial showing how the readout mechanism instantiates a complete white-box inference loop. The code is available at https://anonymous.4open.science/r/SOC-ICNN-Theory-BEFC/.
- Abstract(参考訳): 入力凸ニューラルネットワーク(ICNN)は、一般的に2段階の方法で使用される: 1つは最初に凸ネットワークを訓練し、下流の推論問題においてその入力を最小化する。
最近の第2次コーンICNN(SOC-ICNN)は、ReLUベースのICNNを二次および円錐モジュールで強化し、第2次コーンプログラム(SOCP)の値関数として正確に表現できる。
この値関数構造は、SOC-ICNN推論の明示的な凸解析処理を可能にする。
本稿では,SOC-ICNNの高精度な一階法と局所的な二階法を双対視点から検討する。
最適双対変数から直接, 支持斜面, 部分微分, 方向微分, 局所 Hessian を復元できることが示される。
これらの結果は、ブラックボックス自動微分を超えて、ホワイトボックスSOC-ICNN推論のための幾何学的プリミティブを提供する。
数値実験は、正確な乗算器の読み出し、局所ヘッセン式、および構造的に退化した入力における集合値の挙動を検証した。
また、読み出し機構が完全なホワイトボックス推論ループをどのようにインスタンス化するかを示すステップバイステップのチュートリアルも提供する。
コードはhttps://anonymous.4open.science/r/SOC-ICNN-Theory-BEFC/で公開されている。
関連論文リスト
- Reducing ANN-SNN Conversion Error via Residual Membrane Potential Alignment [52.910770415431244]
スパイキングニューラルネットワーク(SNN)は、ニューロモルフィックコンピューティングのコアアーキテクチャとして機能する。
ANN-SNN変換は、低レイテンシでエネルギー効率のよい推論のために、よく訓練されたANN重みを再利用することで問題を回避している。
既存の変換方式は、小さなタイミングで精度の低下、大きな推論遅延、累積量子化誤差に悩まされている。
論文 参考訳(メタデータ) (2026-08-14T04:46:03Z) - Input convex neural networks as surrogates in mathematical optimisation [5.127528264113274]
我々は、入力凸ニューラルネットワーク(ICNN)を、基礎となる応答が約凸あるいは凹部である場合に、構造的に優れたサロゲートであると提唱する。
人道的な食糧援助、油井のルーティング、ワインのブレンディングに関する事例研究は、ICNNがFNNの精度に合致し、解決の時間とスケーラビリティに利益をもたらすことを示している。
論文 参考訳(メタデータ) (2026-08-10T15:11:22Z) - SOC-ICNN: From Polyhedral to Conic Geometry for Learning Convex Surrogate Functions [13.0197279214062]
SOC-ICNNは、LPからSOCP(Second-Order Cone Programming)までの最適化クラスを一般化するアーキテクチャである。
正の半定曲率とユークリッドノルムに基づく円錐プリミティブを明示的に注入することにより、厳密な最適化理論的な解釈を保ちながら、自然曲率の滑らかな表現を導入する。
実験により、SOC-ICNNは、競争力のある下流決定品質を提供しながら、機能近似を大幅に改善することが示された。
論文 参考訳(メタデータ) (2026-04-24T08:43:32Z) - S$^2$NN: Sub-bit Spiking Neural Networks [53.08060832135342]
スパイキングニューラルネットワーク(SNN)は、マシンインテリジェンスにエネルギー効率のよいパラダイムを提供する。
最近のバイナリSNNの進歩にもかかわらず、大規模ネットワークではストレージと計算の要求が相当に大きい。
1ビット未満の重みを表すサブビットスパイキングニューラルネットワーク(S$2$NNs)を提案する。
論文 参考訳(メタデータ) (2025-09-29T04:17:44Z) - Automated discovery of finite volume schemes using Graph Neural Networks [2.867517731896504]
グラフニューラルネットワーク(GNN)は,従来の役割を超えた目的を果たすことができる。
2ノードグラフのみからなるデータセット上で訓練されたGNNが1次有限体積スキームを外挿可能であることを示す。
シンボリック回帰を用いて、ネットワークは標準一階FVスキームの正確な解析的定式化を効果的に再検討することを示す。
論文 参考訳(メタデータ) (2025-08-26T14:08:46Z) - Input Convex Kolmogorov Arnold Networks [0.0]
本稿では,コルモゴロフ・アルノルドネットワーク(ICKAN)を用いた入力凸ニューラルネットワークアーキテクチャを提案する。
2つの特定のネットワークが提示される: 1つは低次線型部分、関数の表現、そして普遍近似定理である。
我々は、これらのネットワークが古典的な入力凸ニューラルネットワーク(ICNN)と競合する単純なテストについて示す。
論文 参考訳(メタデータ) (2025-05-27T13:56:01Z) - Scalable Graph Compressed Convolutions [68.85227170390864]
ユークリッド畳み込みのための入力グラフのキャリブレーションに置換を適用する微分可能手法を提案する。
グラフキャリブレーションに基づいて,階層型グラフ表現学習のための圧縮畳み込みネットワーク(CoCN)を提案する。
論文 参考訳(メタデータ) (2024-07-26T03:14:13Z) - Dual Convexified Convolutional Neural Networks [27.0231994885228]
二重凸畳み込みニューラルネットワーク(DCCNN)の枠組みを提案する。
このフレームワークでは、まず、凸化された畳み込みニューラルネットワーク(CCNN)から動機付けられた予備学習問題を導入する。
次に、KKT条件とフェンシェル共役条件を慎重に解析し、二重凸訓練プログラムを構築する。
論文 参考訳(メタデータ) (2022-05-27T15:45:08Z) - Rethinking Nearest Neighbors for Visual Classification [56.00783095670361]
k-NNは、トレーニングセット内のテストイメージとトップk隣人間の距離を集約する遅延学習手法である。
我々は,教師付き手法と自己監督型手法のいずれでも,事前学習した視覚表現を持つk-NNを2つのステップで採用する。
本研究は,幅広い分類タスクに関する広範な実験により,k-NN統合の汎用性と柔軟性を明らかにした。
論文 参考訳(メタデータ) (2021-12-15T20:15:01Z) - Connecting Weighted Automata, Tensor Networks and Recurrent Neural
Networks through Spectral Learning [58.14930566993063]
我々は、形式言語と言語学からの重み付き有限オートマトン(WFA)、機械学習で使用されるリカレントニューラルネットワーク、テンソルネットワークの3つのモデル間の接続を提示する。
本稿では,連続ベクトル入力の列上に定義された線形2-RNNに対する最初の証明可能な学習アルゴリズムを提案する。
論文 参考訳(メタデータ) (2020-10-19T15:28:00Z) - Implicit Convex Regularizers of CNN Architectures: Convex Optimization
of Two- and Three-Layer Networks in Polynomial Time [70.15611146583068]
本稿では,ReLUアクティベーションを用いた畳み込みニューラルネットワーク(CNN)のトレーニングについて検討する。
我々は,データサンプル数,ニューロン数,データ次元に関して,厳密な凸最適化を導入する。
論文 参考訳(メタデータ) (2020-06-26T04:47:20Z) - Deep Networks as Logical Circuits: Generalization and Interpretation [10.223907995092835]
本稿では、Deep Neural Networks (DNN) の離散分類マップを中間(True/False)分類器の論理的(AND/OR)組合せに階層的に分解する。
学習された内部的論理的計算は、平易な英語でDNN記述を許容する意味論的意味のあるカテゴリに対応していることを示す。
論文 参考訳(メタデータ) (2020-03-25T20:39:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。