論文の概要: Stable and Convexified Information Bottleneck Optimization via Symbolic Continuation and Entropy-Regularized Trajectories

• arxiv url: http://arxiv.org/abs/2505.09239v1
• Date: Wed, 14 May 2025 09:27:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-15 21:44:09.408994
• Title: Stable and Convexified Information Bottleneck Optimization via Symbolic Continuation and Entropy-Regularized Trajectories
• Title（参考訳）: 記号継続とエントロピー規則化軌道による安定・対流化情報ボトルネック最適化
• Authors: Faruk Alpay,
• Abstract要約: 安定かつ凸IB最適化を実現するための新しい手法を提案する。 エントロピー正則化項を含む場合, IB溶液経路の凸性と特異性を解析的に証明する。 統計的に頑健な不確実性を有する臨界点(ベータ)に関する広範囲な感度解析を行う。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Information Bottleneck (IB) method frequently suffers from unstable optimization, characterized by abrupt representation shifts near critical points of the IB trade-off parameter, beta. In this paper, I introduce a novel approach to achieve stable and convex IB optimization through symbolic continuation and entropy-regularized trajectories. I analytically prove convexity and uniqueness of the IB solution path when an entropy regularization term is included, and demonstrate how this stabilizes representation learning across a wide range of \b{eta} values. Additionally, I provide extensive sensitivity analyses around critical points (beta) with statistically robust uncertainty quantification (95% confidence intervals). The open-source implementation, experimental results, and reproducibility framework included in this work offer a clear path for practical deployment and future extension of my proposed method.
• Abstract（参考訳）: Information Bottleneck (IB) 法はしばしば不安定な最適化に悩まされ、IBトレードオフパラメータの臨界点に近い急激な表現シフトが特徴である。 本稿では,シンボル継続とエントロピー規則化トラジェクトリを通じて,安定かつ凸IB最適化を実現するための新しい手法を提案する。 エントロピー正規化項を含む場合、IB解経路の凸性と一意性を解析的に証明し、これが広範囲な \b{eta} 値の表現学習をどのように安定化させるかを実証する。 さらに、統計的に堅牢な不確実性定量化(95%信頼区間)を伴う臨界点(ベータ)に関する広範囲な感度解析を行う。 本研究に含まれるオープンソース実装,実験結果,再現性フレームワークは,提案手法の実践的展開と今後の拡張のための明確な経路を提供する。

関連論文リスト

• Stochastic Optimization with Optimal Importance Sampling [49.484190237840714]
  本稿では,両者の時間的分離を必要とせずに,意思決定とIS分布を共同で更新する反復型アルゴリズムを提案する。 本手法は,IS分布系に対する目的的,軽度な仮定の凸性の下で,最小の変数分散を達成し,大域収束を保証する。
  論文  参考訳（メタデータ） (2025-04-04T16:10:18Z)
• A Unified Theory of Stochastic Proximal Point Methods without Smoothness [52.30944052987393]
  近点法はその数値的安定性と不完全なチューニングに対する頑健性からかなりの関心を集めている。 本稿では,近位点法(SPPM)の幅広いバリエーションの包括的解析について述べる。
  論文  参考訳（メタデータ） (2024-05-24T21:09:19Z)
• Integrated path stability selection [5.263910852465186]
  本稿では,安定性を最大化するのではなく,安定経路の統合に基づく新しい安定性選択手法を提案する。 これにより、前の境界よりも桁違いに強いE(FP)上の上限が得られ、同じターゲットE(FP)に対して実際よりもはるかに真の正の値が得られる。 本手法は前立腺癌および大腸癌研究のシミュレーションと実データを用いて実証する。
  論文  参考訳（メタデータ） (2024-03-23T15:55:52Z)
• Online Learning Approach for Survival Analysis [1.0499611180329806]
  生存分析のためのオンライン数学フレームワークを導入し、動的環境や検閲データへのリアルタイム適応を可能にする。 このフレームワークは、最適2階オンライン凸最適化アルゴリズムによるイベント時間分布の推定を可能にする-オンラインニュートンステップ(ONS)
  論文  参考訳（メタデータ） (2024-02-07T08:15:30Z)
• Probabilistic Exponential Integrators [36.98314810594263]
  標準的な解法と同様に、一定の厳格なシステムに対してパフォーマンス上のペナルティを被る。 本稿では,確率的指数的解法を好適な性質を持つクラスで開発する。 多重微分方程式における提案手法の評価を行った。
  論文  参考訳（メタデータ） (2023-05-24T10:13:13Z)
• Scalable Bayesian Meta-Learning through Generalized Implicit Gradients [64.21628447579772]
  Inlicit Bayesian Meta-learning (iBaML) 法は、学習可能な事前のスコープを広げるだけでなく、関連する不確実性も定量化する。 解析誤差境界は、明示的よりも一般化された暗黙的勾配の精度と効率を示すために確立される。
  論文  参考訳（メタデータ） (2023-03-31T02:10:30Z)
• Heavy-tailed Streaming Statistical Estimation [58.70341336199497]
  ストリーミング$p$のサンプルから重み付き統計推定の課題を考察する。 そこで我々は,傾きの雑音に対して,よりニュアンスな条件下での傾きの傾きの低下を設計し,より詳細な解析を行う。
  論文  参考訳（メタデータ） (2021-08-25T21:30:27Z)
• Optimal Rates for Random Order Online Optimization [60.011653053877126]
  敵が損失関数を選択できるカテットガルバー2020onlineについて検討するが、一様にランダムな順序で提示される。 2020onlineアルゴリズムが最適境界を達成し,安定性を著しく向上することを示す。
  論文  参考訳（メタデータ） (2021-06-29T09:48:46Z)
• Fine-Grained Analysis of Stability and Generalization for Stochastic Gradient Descent [55.85456985750134]
  我々は,SGDの反復的リスクによって制御される新しい境界を開発する,平均モデル安定性と呼ばれる新しい安定性尺度を導入する。 これにより、最良のモデルの振舞いによって一般化境界が得られ、低雑音環境における最初の既知の高速境界が導かれる。 我々の知る限りでは、このことはSGDの微分不能な損失関数でさえも初めて知られている安定性と一般化を与える。
  論文  参考訳（メタデータ） (2020-06-15T06:30:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。