論文の概要: A Bayesian Framework for Information-Theoretic Probing

• arxiv url: http://arxiv.org/abs/2109.03853v1
• Date: Wed, 8 Sep 2021 18:08:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-10 14:06:03.872342
• Title: A Bayesian Framework for Information-Theoretic Probing
• Title（参考訳）: ベイズ型情報理論探索の枠組み
• Authors: Tiago Pimentel, Ryan Cotterell
• Abstract要約: 我々は、探索は相互情報を近似するものとみなすべきであると論じる。 これは、表現が元の文とターゲットタスクに関する全く同じ情報をエンコードしているというかなり直感的な結論を導いた。 本稿では,ベイズ的相互情報(Bayesian mutual information)と呼ぶものを測定するための新しい枠組みを提案する。
• 参考スコア（独自算出の注目度）: 51.98576673620385
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pimentel et al. (2020) recently analysed probing from an information-theoretic perspective. They argue that probing should be seen as approximating a mutual information. This led to the rather unintuitive conclusion that representations encode exactly the same information about a target task as the original sentences. The mutual information, however, assumes the true probability distribution of a pair of random variables is known, leading to unintuitive results in settings where it is not. This paper proposes a new framework to measure what we term Bayesian mutual information, which analyses information from the perspective of Bayesian agents -- allowing for more intuitive findings in scenarios with finite data. For instance, under Bayesian MI we have that data can add information, processing can help, and information can hurt, which makes it more intuitive for machine learning applications. Finally, we apply our framework to probing where we believe Bayesian mutual information naturally operationalises ease of extraction by explicitly limiting the available background knowledge to solve a task.
• Abstract（参考訳）: Pimentelなど。 (2020) 情報理論の観点からの探索を行った。 彼らは、調査は相互情報の近似と見なされるべきであると主張している。 これは、表現が元の文とターゲットタスクに関する全く同じ情報をエンコードしているというかなり直感的な結論を導いた。 しかし、相互情報は、一対の確率変数の真の確率分布が知られていると仮定し、そうでないような設定では直観的な結果をもたらす。 本稿では,ベイズエージェントの観点から情報を分析する,ベイズ的相互情報(Bayesian mutual information)と呼ばれる手法を提案する。 例えば、Bayesian MIの下では、データが情報を追加でき、処理が助けになり、情報が傷つく可能性があるため、機械学習アプリケーションにとってより直感的になります。 最後に,提案手法を探索に適用し,ベイズ相互情報の操作性が自然に向上し,タスクの解決に利用可能な背景知識を明示的に制限する。

関連論文リスト

• InfoMatch: Entropy Neural Estimation for Semi-Supervised Image Classification [2.878018421751116]
  我々は、未ラベル標本のポテンシャルを利用するために、情報エントロピーニューラル推定を用いる。 対照的な学習にインスパイアされたエントロピーは、相互情報に対する下位境界を最大化することによって推定される。 広範囲な実験において,本手法の優れた性能を示す。
  論文  参考訳（メタデータ） (2024-04-17T02:29:44Z)
• Improvement and generalization of ABCD method with Bayesian inference [36.136619420474766]
  我々は、利用可能な情報を活用することに集中し、通常のデータ駆動型ABCD法を再考する努力を注いでいる。 ABCD法とは対照的に,異なる背景の性質の理解をいかに活用できるかを示す。 この単純化されたモデルにおいて、ベイズフレームワークは信号分数を得る際のABCD法感度よりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-02-12T19:05:27Z)
• Gaussian Mixture Models for Affordance Learning using Bayesian Networks [50.18477618198277]
  Affordancesはアクション、オブジェクト、エフェクト間の関係の基本的な記述である。 本稿では,世界を探究し,その感覚経験から自律的にこれらの余裕を学習するエンボディエージェントの問題にアプローチする。
  論文  参考訳（メタデータ） (2024-02-08T22:05:45Z)
• On the Properties and Estimation of Pointwise Mutual Information Profiles [49.877314063833296]
  ポイントワイド相互情報プロファイル(ポイントワイド相互情報プロファイル、英: pointwise mutual information profile)は、与えられた確率変数のペアに対するポイントワイド相互情報の分布である。 そこで我々は,モンテカルロ法を用いて分布を正確に推定できる新しい分布系 Bend と Mix Models を導入する。
  論文  参考訳（メタデータ） (2023-10-16T10:02:24Z)
• Inferential Moments of Uncertain Multivariable Systems [0.0]
  我々はベイズ確率の更新をランダムなプロセスとして扱い、推論モーメントと呼ばれる結合確率分布の固有量的特徴を明らかにする。 推論モーメントは、まだ取得されていない情報に応じて、事前分布がどのように更新されるかについての形状情報を定量化する。 情報理論の要素と推論理論の関連性を示す推論モーメントの観点から,相互情報の時系列展開を求める。
  論文  参考訳（メタデータ） (2023-05-03T00:56:12Z)
• FUNCK: Information Funnels and Bottlenecks for Invariant Representation Learning [7.804994311050265]
  データから不変表現を学習すると主張する一連の関連する情報漏えいとボトルネック問題について検討する。 本稿では,この情報理論の目的である「側情報付き条件付きプライバシ・ファンネル」の新たな要素を提案する。 一般に難解な目的を考慮し、ニューラルネットワークによってパラメータ化された補正変分推論を用いて、抽出可能な近似を導出する。
  論文  参考訳（メタデータ） (2022-11-02T19:37:55Z)
• Unifying Approaches in Data Subset Selection via Fisher Information and Information-Theoretic Quantities [38.59619544501593]
  我々はフィッシャー情報を再検討し、それを用いて、他のいくつかの異なる方法が情報理論量の近似としてどのように接続されているかを示す。 データサブセットの選択、すなわち、アクティブラーニングとアクティブサンプリングでは、いくつかの最近の研究はフィッシャー情報、ヘッセン、勾配に基づく類似度行列、あるいは単に勾配長を用いてサンプル選択を導いた取得スコアを計算する。
  論文  参考訳（メタデータ） (2022-08-01T00:36:57Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Bayesian Inference Forgetting [82.6681466124663]
  忘れられる権利は多くの国で合法化されているが、機械学習の施行は耐え難いコストを引き起こすだろう。 本稿では,ベイズ推論において忘れられる権利を実現するための it bayesian inference forgetting (bif) フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-01-16T09:52:51Z)
• A Theory of Usable Information Under Computational Constraints [103.5901638681034]
  本稿では,複雑なシステムにおける情報推論のための新しいフレームワークを提案する。 我々の基礎はシャノンの情報理論の変分拡張に基づいている。 計算制約を組み込むことで,データから$mathcalV$-informationを確実に推定できることを示す。
  論文  参考訳（メタデータ） (2020-02-25T06:09:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。