論文の概要: Tree-Preconditioned Differentiable Optimization and Axioms as Layers

• arxiv url: http://arxiv.org/abs/2601.06036v1
• Date: Wed, 03 Dec 2025 04:47:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-25 16:54:51.57219
• Title: Tree-Preconditioned Differentiable Optimization and Axioms as Layers
• Title（参考訳）: 木プレコンディショナブル最適化と層としての公理
• Authors: Yuexin Liao,
• Abstract要約: Axioms-as-Layers"パラダイムは、ランダムユーティリティモデルの公理構造を直接ディープニューラルネットワークに埋め込む。 公理としてのレイヤー」パラダイムは、ペナルティに基づく手法に固有の構造的過適合を排除している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper introduces a differentiable framework that embeds the axiomatic structure of Random Utility Models (RUM) directly into deep neural networks. Although projecting empirical choice data onto the RUM polytope is NP-hard in general, we uncover an isomorphism between RUM consistency and flow conservation on the Boolean lattice. Leveraging this combinatorial structure, we derive a novel Tree-Preconditioned Conjugate Gradient solver. By exploiting the spanning tree of the constraint graph, our preconditioner effectively "whitens" the ill-conditioned Hessian spectrum induced by the Interior Point Method barrier, achieving superlinear convergence and scaling to problem sizes previously deemed unsolvable. We further formulate the projection as a differentiable layer via the Implicit Function Theorem, where the exact Jacobian propagates geometric constraints during backpropagation. Empirical results demonstrate that this "Axioms-as-Layers" paradigm eliminates the structural overfitting inherent in penalty-based methods, enabling models that are jointly trainable, provably rational, and capable of generalizing from sparse data regimes where standard approximations fail.
• Abstract（参考訳）: 本稿では,RUM(Random Utility Models)の公理構造を直接ディープニューラルネットワークに埋め込む,微分可能なフレームワークを提案する。 経験的選択データをRUMポリトープに投影することは一般にNPハードであるが、RUMの一貫性とブール格子上の流れの保存との同型性を明らかにする。 この組合せ構造を利用して、新しい木条件共役勾配解法を導出する。 制約グラフのスパンニングツリーを利用して、内部点法バリアによって誘導される不条件ヘッセンスペクトルを効果的に「白化」し、超線形収束を実現し、以前は解決不可能と考えられていた問題サイズへのスケーリングを実現した。 我々はさらに、射影をインプリシット関数定理(英語版)を通して微分可能な層として定式化し、正確なヤコビアンはバックプロパゲーションの間、幾何的制約を伝播する。 実証的な結果は、この"Axioms-as-Layers"パラダイムは、ペナルティベースの手法に固有の構造的過適合を排除し、共同で訓練可能で、証明可能な合理的で、標準近似が失敗するスパースデータ構造から一般化できるモデルを可能にすることを実証している。

関連論文リスト

• Inference of maximum parsimony phylogenetic trees with model-based classical and quantum methods [10.13082983732946]
  古典的解法と量子的解法の両方と互換性のある3つの最適化モデルを設計する。 本手法は,すべての木トポロジーと祖先状態の完全な解空間を直接探索する。 我々の量子シミュレーションは、小規模インスタンスの正確な最適解を見つけることに成功した。
  論文  参考訳（メタデータ） (2025-08-01T09:43:12Z)
• The Convex Landscape of Neural Networks: Characterizing Global Optima and Stationary Points via Lasso Models [75.33431791218302]
  ディープニューラルネットワーク(DNN)モデルは、プログラミング目的に使用される。 本稿では,凸型神経回復モデルについて検討する。 定常的非次元目的物はすべて,グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。 また, 静止非次元目的物はすべて, グローバルサブサンプリング型凸解法プログラムとして特徴付けられることを示す。
  論文  参考訳（メタデータ） (2023-12-19T23:04:56Z)
• Stable Nonconvex-Nonconcave Training via Linear Interpolation [51.668052890249726]
  本稿では,ニューラルネットワークトレーニングを安定化(大規模)するための原理的手法として,線形アヘッドの理論解析を提案する。 最適化過程の不安定性は、しばしば損失ランドスケープの非単調性によって引き起こされるものであり、非拡張作用素の理論を活用することによって線型性がいかに役立つかを示す。
  論文  参考訳（メタデータ） (2023-10-20T12:45:12Z)
• EM's Convergence in Gaussian Latent Tree Models [22.987933817370305]
  人口のログライクな独特な非自明な点は、その大域的な最大点であることを示す。 予測最大化アルゴリズムは、単一の潜在変数の場合に収束することが保証される。
  論文  参考訳（メタデータ） (2022-11-21T23:12:58Z)
• A cautionary tale on fitting decision trees to data from additive models: generalization lower bounds [9.546094657606178]
  本研究では,異なる回帰モデルに対する決定木の一般化性能について検討する。 これにより、アルゴリズムが新しいデータに一般化するために(あるいは作らない)仮定する帰納的バイアスが引き起こされる。 スパース加法モデルに適合する大規模な決定木アルゴリズムに対して、シャープな2乗誤差一般化を低い境界で証明する。
  論文  参考訳（メタデータ） (2021-10-18T21:22:40Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。