論文の概要: The Information Bottleneck's Ordinary Differential Equation: First-Order Root-Tracking for the IB

• arxiv url: http://arxiv.org/abs/2306.09790v2
• Date: Tue, 25 Jul 2023 19:07:07 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-27 15:24:29.621850
• Title: The Information Bottleneck's Ordinary Differential Equation: First-Order Root-Tracking for the IB
• Title（参考訳）: 情報ボトルネックの常微分方程式:ibの1次ルート追跡
• Authors: Shlomi Agmon
• Abstract要約: Information Bottleneck (IB) は、関連する情報の失われた圧縮方法である。 IBの最適トレードオフ曲線の基盤となるダイナミクスを利用する。 IB分岐の理解を驚くほど正確な数値アルゴリズムに変換する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Information Bottleneck (IB) is a method of lossy compression of relevant information. Its rate-distortion (RD) curve describes the fundamental tradeoff between input compression and the preservation of relevant information embedded in the input. However, it conceals the underlying dynamics of optimal input encodings. We argue that these typically follow a piecewise smooth trajectory when input information is being compressed, as recently shown in RD. These smooth dynamics are interrupted when an optimal encoding changes qualitatively, at a bifurcation. By leveraging the IB's intimate relations with RD, we provide substantial insights into its solution structure, highlighting caveats in its finite-dimensional treatments. Sub-optimal solutions are seen to collide or exchange optimality at its bifurcations. Despite the acceptance of the IB and its applications, there are surprisingly few techniques to solve it numerically, even for finite problems whose distribution is known. We derive anew the IB's first-order Ordinary Differential Equation, which describes the dynamics underlying its optimal tradeoff curve. To exploit these dynamics, we not only detect IB bifurcations but also identify their type in order to handle them accordingly. Rather than approaching the IB's optimal curve from sub-optimal directions, the latter allows us to follow a solution's trajectory along the optimal curve under mild assumptions. We thereby translate an understanding of IB bifurcations into a surprisingly accurate numerical algorithm.
• Abstract（参考訳）: Information Bottleneck (IB) は、関連する情報の失われた圧縮方法である。 そのRD曲線は、入力圧縮と入力に埋め込まれた関連情報の保存との間の基本的なトレードオフを記述する。 しかし、最適入力符号化の基盤となるダイナミクスを隠蔽する。 最近RDで示されているように、入力情報が圧縮されている場合、これらは典型的にはスムーズな軌跡に従う。 これらの滑らかなダイナミクスは、最適エンコーディングが定性的に変化するとき、分岐時に中断される。 ib と rd との密接な関係を利用することで、その解構造に実質的な洞察を与え、有限次元の処理における注意点を強調する。 準最適解はその分岐で衝突または交換最適性を示す。 ibとその応用は受け入れられているが、分布が知られている有限問題であっても、数値的に解く技術は驚くほど少ない。 IBの1次正規微分方程式は、その最適トレードオフ曲線の根底にあるダイナミクスを記述する。 これらのダイナミクスを活用すべく、我々はib分岐を検知するだけでなく、それに対応するためにそれらのタイプを識別する。 IB の最適曲線に準最適方向から近づくのではなく、後者は弱仮定の下で最適曲線に沿って解の軌道に従うことができる。 これにより、ib分岐の理解を驚くほど正確な数値アルゴリズムに翻訳する。

関連論文リスト

• Differentially Private Optimization with Sparse Gradients [60.853074897282625]
  微分プライベート(DP)最適化問題を個人勾配の空間性の下で検討する。 これに基づいて、スパース勾配の凸最適化にほぼ最適な速度で純粋および近似DPアルゴリズムを得る。
  論文  参考訳（メタデータ） (2024-04-16T20:01:10Z)
• Disentangled Representation Learning with Transmitted Information Bottleneck [57.22757813140418]
  textbfDisTIB (textbfTransmitted textbfInformation textbfBottleneck for textbfDisd representation learning) は情報圧縮と保存のバランスを保った新しい目的である。
  論文  参考訳（メタデータ） (2023-11-03T03:18:40Z)
• Kernel-Whitening: Overcome Dataset Bias with Isotropic Sentence Embedding [51.48582649050054]
  符号化文の特徴間の相関関係を解消する表現正規化手法を提案する。 またNystromカーネル近似法であるKernel-Whiteningを提案する。 実験により,Kernel-Whiteningは分布内精度を維持しつつ,分布外データセット上でのBERTの性能を著しく向上することが示された。
  論文  参考訳（メタデータ） (2022-10-14T05:56:38Z)
• Perturbation Theory for the Information Bottleneck [6.117084972237769]
  情報ボトルネック (IB) は、データから関連情報を抽出する手法である。 IB問題の非線形性は、一般に計算コストが高く解析的に難解である。 IB法に対する摂動理論を導出し,学習開始の完全な特徴を報告した。
  論文  参考訳（メタデータ） (2021-05-28T16:59:01Z)
• Physics-aware deep neural networks for surrogate modeling of turbulent natural convection [0.0]
  Rayleigh-B'enard乱流流に対するPINNのサーロゲートモデルの使用を検討する。 標準ピンの精度が低いゾーンであるトレーニング境界に近い正規化として、どのように機能するかを示す。 50億のDNS座標全体のサロゲートの予測精度は、相対的なL2ノルムで[0.3% -- 4%]の範囲のすべてのフロー変数のエラーをもたらします。
  論文  参考訳（メタデータ） (2021-03-05T09:48:57Z)
• Adversarial Information Bottleneck [2.66512000865131]
  情報圧縮と予測の面でディープラーニングを説明するために、情報ボトルネック(IB)原則が採用されています。 以前の方法は、表現を学習するためにランダムノイズを導入してIB原理を最適化することを試みた。 本稿では,表現の基盤となる分布について,明示的な仮定を伴わない逆情報ボトルネック(AIB)手法を提案する。
  論文  参考訳（メタデータ） (2021-02-28T03:14:56Z)
• Efficient Semi-Implicit Variational Inference [65.07058307271329]
  効率的でスケーラブルな半単純外挿 (SIVI) を提案する。 本手法はSIVIの証拠を低勾配値の厳密な推測にマッピングする。
  論文  参考訳（メタデータ） (2021-01-15T11:39:09Z)
• Disentangled Information Bottleneck [22.587164077221917]
  ターゲット予測性能の損失を伴わずに、最大圧縮源に一貫性のあるDisentangled Information Bottleneck(DisenIB)を紹介します。 提案手法は最大圧縮に一貫性があり, 一般化, 敵攻撃に対する堅牢性, 分布外検出, 教師付きディエンタングリングの点で良好に機能する。
  論文  参考訳（メタデータ） (2020-12-14T09:44:07Z)
• BAMSProd: A Step towards Generalizing the Adaptive Optimization Methods to Deep Binary Model [34.093978443640616]
  最近のBNN(Binary Neural Networks)の性能は大幅に低下している。 BNNの効果的かつ効率的なトレーニングを保証することは未解決の問題である。 そこで本研究では,BAMSProdアルゴリズムを用いて,深部二元モデルの収束特性が量子化誤差と強く関連していることを示す。
  論文  参考訳（メタデータ） (2020-09-29T06:12:32Z)
• Linear Convergent Decentralized Optimization with Compression [50.44269451541387]
  圧縮を伴う既存の分散アルゴリズムは主にDGD型アルゴリズムの圧縮に焦点を当てている。 原始双対アルゴリズムによって動機付けられた本論文は、最初のアンダーラインLinunderlineEAr収束を提案する。 underline Decentralized with compression, LEAD。
  論文  参考訳（メタデータ） (2020-07-01T04:35:00Z)
• Cogradient Descent for Bilinear Optimization [124.45816011848096]
  双線形問題に対処するために、CoGDアルゴリズム(Cogradient Descent Algorithm)を導入する。 一方の変数は、他方の変数との結合関係を考慮し、同期勾配降下をもたらす。 本アルゴリズムは,空間的制約下での1変数の問題を解くために応用される。
  論文  参考訳（メタデータ） (2020-06-16T13:41:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。