論文の概要: On the Relevance-Complexity Region of Scalable Information Bottleneck

• arxiv url: http://arxiv.org/abs/2011.01352v1
• Date: Mon, 2 Nov 2020 22:25:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-09-30 13:28:14.656969
• Title: On the Relevance-Complexity Region of Scalable Information Bottleneck
• Title（参考訳）: スケーラブル情報ボトルネックの関連・複雑性領域について
• Authors: Mohammad Mahdi Mahvari, Mari Kobayashi, Abdellatif Zaidi
• Abstract要約: 本稿では,エンコーダが観測の複数の記述を出力する,スケーラブルな情報ボトルネックと呼ばれる問題のバリエーションについて検討する。 問題の動機は、一般化の許容レベルに応じて様々なレベルの精度を必要とする、いくつかのアプリケーションシナリオにある。
• 参考スコア（独自算出の注目度）: 15.314757778110955
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Information Bottleneck method is a learning technique that seeks a right balance between accuracy and generalization capability through a suitable tradeoff between compression complexity, measured by minimum description length, and distortion evaluated under logarithmic loss measure. In this paper, we study a variation of the problem, called scalable information bottleneck, where the encoder outputs multiple descriptions of the observation with increasingly richer features. The problem at hand is motivated by some application scenarios that require varying levels of accuracy depending on the allowed level of generalization. First, we establish explicit (analytic) characterizations of the relevance-complexity region for memoryless Gaussian sources and memoryless binary sources. Then, we derive a Blahut-Arimoto type algorithm that allows us to compute (an approximation of) the region for general discrete sources. Finally, an application example in the pattern classification problem is provided along with numerical results.
• Abstract（参考訳）: 情報ボトルネック法は、最小記述長による圧縮複雑性と対数損失尺度で評価された歪みとの適切なトレードオフを通じて、精度と一般化能力の適切なバランスを求める学習手法である。 本稿では,エンコーダがよりリッチな特徴を持つ観測の複数の記述を出力する,スケーラブルな情報ボトルネックと呼ばれる問題のバリエーションについて検討する。 問題の動機は、一般化の許容レベルに応じて様々なレベルの精度を必要とするアプリケーションシナリオにある。 まず、メモリレスガウスソースとメモリレスバイナリソースの関連性-複雑度領域の明示的(分析的な)特徴付けを行う。 そこでBlahut-Arimoto型アルゴリズムを導出し、一般の離散情報源に対して領域を計算(近似)することができる。 最後に、パターン分類問題における応用例と数値結果とを合わせて述べる。

関連論文リスト

• Optimal Algorithms for the Inhomogeneous Spiked Wigner Model [89.1371983413931]
  不均一な問題に対する近似メッセージパッシングアルゴリズム(AMP)を導出する。 特に,情報理論の閾値よりも大きい信号と雑音の比を必要とする既知のアルゴリズムが,ランダムよりも優れた処理を行うための統計的・計算的ギャップの存在を同定する。
  論文  参考訳（メタデータ） (2023-02-13T19:57:17Z)
• Information Theoretic Lower Bounds for Information Theoretic Upper Bounds [14.268363583731848]
  コンベックス最適化の文脈における出力モデルと経験的一般化の関係について検討する。 本研究は,真のリスク最小化には相互情報が必要であることを明らかにする。 既存の情報理論の一般化境界は、SGDや正規化などのアルゴリズムの能力を捉えるのに不足している。
  論文  参考訳（メタデータ） (2023-02-09T20:42:36Z)
• Learning to Bound Counterfactual Inference in Structural Causal Models from Observational and Randomised Data [64.96984404868411]
  我々は、従来のEMベースのアルゴリズムを拡張するための全体的なデータの特徴付けを導出する。 新しいアルゴリズムは、そのような混合データソースからモデルパラメータの(不特定性)領域を近似することを学ぶ。 反実的な結果に間隔近似を与え、それが特定可能な場合の点に崩壊する。
  論文  参考訳（メタデータ） (2022-12-06T12:42:11Z)
• Compound Batch Normalization for Long-tailed Image Classification [77.42829178064807]
  本稿では,ガウス混合に基づく複合バッチ正規化法を提案する。 機能空間をより包括的にモデル化し、ヘッドクラスの優位性を減らすことができる。 提案手法は,画像分類における既存の手法よりも優れている。
  論文  参考訳（メタデータ） (2022-12-02T07:31:39Z)
• Large Graph Signal Denoising with Application to Differential Privacy [2.867517731896504]
  本稿では,データ駆動型ウェーブレット・タイト・フレーム手法を用いて,グラフ上の信号のデノイングを行う場合について考察する。 我々はChebyshev-Jackson近似を用いて、大きなグラフにスケーラブルにする。 実データとシミュレーションデータから,様々な大きさのグラフに対して総合的な性能解析を行う。
  論文  参考訳（メタデータ） (2022-09-05T16:32:54Z)
• Learning Optical Flow from a Few Matches [67.83633948984954]
  密な相関体積表現は冗長であり、その中の要素のほんの一部で正確なフロー推定が達成できることを示した。 実験により,高い精度を維持しつつ計算コストとメモリ使用量を大幅に削減できることを示した。
  論文  参考訳（メタデータ） (2021-04-05T21:44:00Z)
• Scalable Vector Gaussian Information Bottleneck [19.21005180893519]
  そこで我々は,エンコーダが観測の複数の記述を出力するスケーラブルな情報ボトルネックと呼ばれる問題の変動について検討する。 分布が不明な一般ソースに対する変分推論型アルゴリズムを導出し,ニューラルネットワークを用いてパラメータ化する方法を示す。
  論文  参考訳（メタデータ） (2021-02-15T12:51:26Z)
• Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
  多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。 ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。 分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
  論文  参考訳（メタデータ） (2020-12-19T15:24:04Z)
• Information Theoretic Meta Learning with Gaussian Processes [74.54485310507336]
  情報理論の概念,すなわち相互情報と情報のボトルネックを用いてメタ学習を定式化する。 相互情報に対する変分近似を用いることで、メタ学習のための汎用的かつトラクタブルな枠組みを導出する。
  論文  参考訳（メタデータ） (2020-09-07T16:47:30Z)
• Information-theoretic analysis for transfer learning [5.081241420920605]
  本稿では,一般化誤差と転帰学習アルゴリズムの過大なリスクに関する情報理論解析を行う。 我々の結果は、おそらく予想通り、Kulback-Leiblerの発散$D(mu||mu')$が一般化誤差を特徴づける重要な役割を果たすことを示唆している。
  論文  参考訳（メタデータ） (2020-05-18T13:23:20Z)
• On the Information Bottleneck Problems: Models, Connections, Applications and Information Theoretic Views [39.49498500593645]
  本チュートリアルでは,情報理論の観点からボトルネック問題の変種に着目した。 問題を解決するための実践的な方法と、コーディングと学習の側面との関係について論じる。
  論文  参考訳（メタデータ） (2020-01-31T15:23:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。