論文の概要: Differentiable Entropy Regularization for Geometry and Neural Networks

• arxiv url: http://arxiv.org/abs/2509.03733v1
• Date: Wed, 03 Sep 2025 21:38:22 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-05 20:21:09.978439
• Title: Differentiable Entropy Regularization for Geometry and Neural Networks
• Title（参考訳）: 幾何学とニューラルネットワークのための微分エントロピー正規化
• Authors: Ibne Farabi Shihab, Sanjeda Akter, Anuj Sharma,
• Abstract要約: 計算幾何学の最近の概念である範囲分割エントロピーの微分可能推定器を導入する。 我々は、下流のインスタンス最適化アルゴリズムを高速化するために、データを低エントロピー形式に再構成するニューラルネットワークモジュールであるEntropyNetを設計する。 タスク全体にわたって、微分可能なエントロピーは正しさを損なうことなく効率を向上することを示した。
• 参考スコア（独自算出の注目度）: 6.908972852063454
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We introduce a differentiable estimator of range-partition entropy, a recent concept from computational geometry that enables algorithms to adapt to the "sortedness" of their input. While range-partition entropy provides strong guarantees in algorithm design, it has not yet been made accessible to deep learning. In this work, we (i) propose the first differentiable approximation of range-partition entropy, enabling its use as a trainable loss or regularizer; (ii) design EntropyNet, a neural module that restructures data into low-entropy forms to accelerate downstream instance-optimal algorithms; and (iii) extend this principle beyond geometry by applying entropy regularization directly to Transformer attention. Across tasks, we demonstrate that differentiable entropy improves efficiency without degrading correctness: in geometry, our method achieves up to $4.1\times$ runtime speedups with negligible error ($<0.2%$); in deep learning, it induces structured attention patterns that yield 6% higher accuracy at 80% sparsity compared to L1 baselines. Our theoretical analysis provides approximation bounds for the estimator, and extensive ablations validate design choices. These results suggest that entropy-bounded computation is not only theoretically elegant but also a practical mechanism for adaptive learning, efficiency, and structured representation.
• Abstract（参考訳）: アルゴリズムが入力の「ソートネス」に適応できるようにする計算幾何学の最近の概念である範囲分割エントロピーの微分可能推定器を導入する。 レンジ分割エントロピーはアルゴリズム設計において強力な保証を提供するが、ディープラーニングにはまだアクセスできない。 この作品では、 i) 距離分割エントロピーの最初の微分可能近似を提案し、訓練可能な損失又は正規化剤としての使用を可能にした。 (ii) ダウンストリームのインスタンス最適化アルゴリズムを高速化するために、データを低エントロピー形式に再構成するニューラルネットワークモジュールであるEntropyNetの設計 3) エントロピー正則化をトランスフォーマーの注意に直接適用することにより、この原理を幾何を超えて拡張する。 タスク全体にわたって、微分可能なエントロピーは正しさを損なうことなく効率を向上することを示した。幾何学では、我々の手法は、無視可能なエラー(<0.2%$)で実行時のスピードアップを最大4.1\times$達成し、ディープラーニングでは、L1ベースラインと比較して6%高い精度で注目パターンを誘導する。 我々の理論解析は、推定器の近似境界を提供し、設計選択を広範囲に検証する。 これらの結果は,エントロピー有界計算は理論的にエレガントなだけでなく,適応学習,効率,構造化表現の実践的なメカニズムでもあることを示唆している。

関連論文リスト

• Self-Supervised Coarsening of Unstructured Grid with Automatic Differentiation [55.88862563823878]
  本研究では,微分可能物理の概念に基づいて,非構造格子を階層化するアルゴリズムを提案する。 多孔質媒質中のわずかに圧縮可能な流体流を制御した線形方程式と波動方程式の2つのPDE上でのアルゴリズムの性能を示す。 その結果,検討したシナリオでは,関心点におけるモデル変数のダイナミクスを保ちながら,格子点数を最大10倍に削減した。
  論文  参考訳（メタデータ） (2025-07-24T11:02:13Z)
• Understanding Inverse Reinforcement Learning under Overparameterization: Non-Asymptotic Analysis and Global Optimality [52.906438147288256]
  我々のアルゴリズムは,特定のニューラルネットワーク構造の下で,最適報酬とポリシーを識別できることが示される。 これは、国際的最適性を確実に達成する非漸近収束保証を持つ最初のIRLアルゴリズムである。
  論文  参考訳（メタデータ） (2025-03-22T21:16:08Z)
• Efficient Methods for Non-stationary Online Learning [61.63338724659592]
  本稿では, 動的後悔と適応的後悔を最適化する効率的な手法を提案し, ラウンド当たりの投影回数を$mathcalO(log T)$から$ $1$まで削減した。 また、さらに強化された測度、すなわち「インターバル・ダイナミック・リピート」を研究し、ラウンド当たりの射影数を$mathcalO(log2 T)$から$$$$に減らした。
  論文  参考訳（メタデータ） (2023-09-16T07:30:12Z)
• Fast Computation of Optimal Transport via Entropy-Regularized Extragradient Methods [75.34939761152587]
  2つの分布間の最適な輸送距離の効率的な計算は、様々な応用を促進するアルゴリズムとして機能する。 本稿では,$varepsilon$加法精度で最適な輸送を計算できるスケーラブルな一階最適化法を提案する。
  論文  参考訳（メタデータ） (2023-01-30T15:46:39Z)
• Structured Optimal Variational Inference for Dynamic Latent Space Models [16.531262817315696]
  動的ネットワークの潜在空間モデルについて検討し、その目的は、ペアの内積と潜在位置のインターセプトを推定することである。 後部推論と計算スケーラビリティのバランスをとるために、構造的平均場変動推論フレームワークを検討する。
  論文  参考訳（メタデータ） (2022-09-29T22:10:42Z)
• Fractal Structure and Generalization Properties of Stochastic Optimization Algorithms [71.62575565990502]
  最適化アルゴリズムの一般化誤差は、その一般化尺度の根底にあるフラクタル構造の複雑性'にバウンドできることを示す。 さらに、特定の問題(リニア/ロジスティックレグレッション、隠れ/層ニューラルネットワークなど)とアルゴリズムに対して、結果をさらに専門化します。
  論文  参考訳（メタデータ） (2021-06-09T08:05:36Z)
• Particle Dual Averaging: Optimization of Mean Field Neural Networks with Global Convergence Rate Analysis [40.762447301225926]
  凸最適化における二重平均法を一般化する粒子二重平均法(PDA)を提案する。 提案手法の重要な応用は, 平均場系における2層ニューラルネットワークの最適化である。 平均場限界におけるニューラルネットワークはpdaによってグローバルに最適化できることを示す。
  論文  参考訳（メタデータ） (2020-12-31T07:07:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。