論文の概要: A Theory of Usable Information Under Computational Constraints
- arxiv url: http://arxiv.org/abs/2002.10689v1
- Date: Tue, 25 Feb 2020 06:09:30 GMT
- ステータス: 処理完了
- システム内更新日: 2022-12-28 20:43:17.354635
- Title: A Theory of Usable Information Under Computational Constraints
- Title（参考訳）: 計算制約下における有用情報の理論
- Authors: Yilun Xu, Shengjia Zhao, Jiaming Song, Russell Stewart, Stefano Ermon
- Abstract要約: 本稿では,複雑なシステムにおける情報推論のための新しいフレームワークを提案する。
我々の基礎はシャノンの情報理論の変分拡張に基づいている。
計算制約を組み込むことで,データから$mathcalV$-informationを確実に推定できることを示す。
- 参考スコア（独自算出の注目度）: 103.5901638681034
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a new framework for reasoning about information in complex
systems. Our foundation is based on a variational extension of Shannon's
information theory that takes into account the modeling power and computational
constraints of the observer. The resulting \emph{predictive
$\mathcal{V}$-information} encompasses mutual information and other notions of
informativeness such as the coefficient of determination. Unlike Shannon's
mutual information and in violation of the data processing inequality,
$\mathcal{V}$-information can be created through computation. This is
consistent with deep neural networks extracting hierarchies of progressively
more informative features in representation learning. Additionally, we show
that by incorporating computational constraints, $\mathcal{V}$-information can
be reliably estimated from data even in high dimensions with PAC-style
guarantees. Empirically, we demonstrate predictive $\mathcal{V}$-information is
more effective than mutual information for structure learning and fair
representation learning.
- Abstract（参考訳）: 複雑なシステムにおける情報に関する推論のための新しい枠組みを提案する。
我々の基礎は、観測者のモデリング能力と計算的制約を考慮に入れたシャノンの情報理論の変分拡張に基づいている。
結果として得られる「emph{predictive $\mathcal{V}$-information」は、相互情報や決定係数などの情報性の概念を含む。
シャノンの相互情報やデータ処理の不等式違反とは異なり、$\mathcal{v}$-information は計算によって生成することができる。
これは、表現学習における徐々に情報的特徴の階層を抽出するディープニューラルネットワークと一致している。
さらに,計算制約を組み込むことにより,pac方式の保証により,高い次元でもデータから$\mathcal{v}$-情報を確実に推定できることを示す。
経験的に、予測的$\mathcal{V}$-informationは構造学習や公正表現学習の相互情報よりも効果的であることを示す。
関連論文リスト
- Surprisal Driven $k$-NN for Robust and Interpretable Nonparametric
Learning [1.4293924404819704]
我々は情報理論の観点から、隣り合う従来のアルゴリズムに新たな光を当てた。
単一モデルを用いた分類,回帰,密度推定,異常検出などのタスクに対する頑健で解釈可能なフレームワークを提案する。
我々の研究は、分類と異常検出における最先端の成果を達成することによって、アーキテクチャの汎用性を示す。
論文 参考訳（メタデータ） (2023-11-17T00:35:38Z) - Explaining Neural Networks without Access to Training Data [8.250944452542502]
ニューラルネットワークのトレーニングデータがアクセスできない場合に、ニューラルネットワークの説明を生成することを検討する。
$mathcalI$-Netsは、ポストホック、グローバルモデル解釈可能性に対するサンプルフリーアプローチとして提案されている。
私たちは$mathcalI$-Netフレームワークを、標準およびソフトな決定木を代理モデルとして拡張します。
論文 参考訳（メタデータ） (2022-06-10T06:10:04Z) - Dynamic Inference with Neural Interpreters [72.90231306252007]
本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。
モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。
ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
論文 参考訳（メタデータ） (2021-10-12T23:22:45Z) - A Bayesian Framework for Information-Theoretic Probing [51.98576673620385]
我々は、探索は相互情報を近似するものとみなすべきであると論じる。
これは、表現が元の文とターゲットタスクに関する全く同じ情報をエンコードしているというかなり直感的な結論を導いた。
本稿では,ベイズ的相互情報(Bayesian mutual information)と呼ぶものを測定するための新しい枠組みを提案する。
論文 参考訳（メタデータ） (2021-09-08T18:08:36Z) - Reasoning-Modulated Representations [85.08205744191078]
タスクが純粋に不透明でないような共通的な環境について研究する。
我々のアプローチは、新しいデータ効率表現学習の道を開く。
論文 参考訳（メタデータ） (2021-07-19T13:57:13Z) - Measuring Information Transfer in Neural Networks [46.37969746096677]
ニューラルネットワークモデルにおける情報内容の定量化は、基本的にモデルのKolmogorov複雑性を推定するものだ。
本稿では,事前符号化に基づくニューラルネットワークモデルにおける一般化可能な情報の尺度を提案する。
L_IT$は、一般化可能な情報と一貫して相関し、モデルやデータセットのパターンや"知識"の尺度として使用できることを示す。
論文 参考訳（メタデータ） (2020-09-16T12:06:42Z) - The Information Bottleneck Problem and Its Applications in Machine
Learning [53.57797720793437]
近年,機械学習システムの推論能力が急上昇し,社会の様々な側面において重要な役割を担っている。
情報ボトルネック(IB)理論は、ディープラーニング(DL)システムを分析するための大胆な情報理論パラダイムとして登場した。
本チュートリアルでは,この抽象原理の情報理論的起源と最近のDLへの影響について考察する。
論文 参考訳（メタデータ） (2020-04-30T16:48:51Z) - Modelling and Quantifying Membership Information Leakage in Machine
Learning [14.095523601311374]
我々は、ディープニューラルネットワークのような複雑なモデルが、メンバーシップ推論攻撃の影響を受けやすいことを示す。
本稿では,Gaussian $(epsilon,delta)$-differentially-private additive noiseを使用する場合,メンバシップ情報漏洩の量は$mathcalO(log1/2(delta-1)epsilon-1)$で減少することを示す。
論文 参考訳（メタデータ） (2020-01-29T00:42:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。