論文の概要: Separable Computation of Information Measures

• arxiv url: http://arxiv.org/abs/2501.15301v1
• Date: Sat, 25 Jan 2025 18:53:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-28 13:58:16.819134
• Title: Separable Computation of Information Measures
• Title（参考訳）: 情報対策の分離計算
• Authors: Xiangxiang Xu, Lizhong Zheng,
• Abstract要約: 本研究では,情報測度を生データの代わりに学習した特徴表現から計算する,情報測度計算のための分離可能な設計について検討する。 情報尺度のクラスは、相互情報、$f$-information、Wynerの共通情報、G'acs-K"ornerの共通情報、Tishbyの情報ボトルネックを含む、そのような分離可能な計算を許容することを示す。
• 参考スコア（独自算出の注目度）: 5.807950618412389
• License:
• Abstract: We study a separable design for computing information measures, where the information measure is computed from learned feature representations instead of raw data. Under mild assumptions on the feature representations, we demonstrate that a class of information measures admit such separable computation, including mutual information, $f$-information, Wyner's common information, G{\'a}cs--K{\"o}rner common information, and Tishby's information bottleneck. Our development establishes several new connections between information measures and the statistical dependence structure. The characterizations also provide theoretical guarantees of practical designs for estimating information measures through representation learning.
• Abstract（参考訳）: 本研究では,情報測度を生データの代わりに学習した特徴表現から計算する,情報測度計算のための分離可能な設計について検討する。 特徴表現の軽度な仮定の下では、情報尺度のクラスが、相互情報、$f$-information、Wynerの共通情報、G{\'a}cs--K{\"o}rnerの共通情報、Tishbyの情報ボトルネックを含む、そのような分離可能な計算を許容することを示した。 我々の開発は、情報尺度と統計的依存構造の間のいくつかの新しい接続を確立する。 特徴付けはまた、表現学習を通して情報測度を推定するための実用的な設計の理論的保証を提供する。

関連論文リスト

• Exploring Information-Theoretic Metrics Associated with Neural Collapse in Supervised Training [14.9343236333741]
  本研究では,行列エントロピーや相互情報といった情報理論のメトリクスを用いて教師あり学習の分析を行う。 行列エントロピーは,データ表現の情報内容と分類頭部重みの相互作用のみを記述できないが,データの類似性とクラスタリングの挙動を効果的に反映できることを示す。
  論文  参考訳（メタデータ） (2024-09-25T09:26:06Z)
• Information Plane Analysis Visualization in Deep Learning via Transfer Entropy [0.0]
  フィードフォワードネットワークでは、Transfer Entropyを使用して、ある層が他の層に与える影響を測定することができる。 相互情報とは対照的に、TEは変数間の時間的関係を捉えることができる。
  論文  参考訳（メタデータ） (2024-04-01T17:34:18Z)
• Revisiting Self-supervised Learning of Speech Representation from a Mutual Information Perspective [68.20531518525273]
  我々は、情報理論の観点から、既存の自己教師型音声の手法を詳しく検討する。 我々は線形プローブを用いて、対象情報と学習された表現の間の相互情報を推定する。 我々は、ラベルを使わずに、データの異なる部分間の相互情報を見積もる自己教師型の表現を評価する可能性を探る。
  論文  参考訳（メタデータ） (2024-01-16T21:13:22Z)
• Information-Theoretic Odometry Learning [83.36195426897768]
  生体計測推定を目的とした学習動機付け手法のための統合情報理論フレームワークを提案する。 提案フレームワークは情報理論言語の性能評価と理解のためのエレガントなツールを提供する。
  論文  参考訳（メタデータ） (2022-03-11T02:37:35Z)
• Information-Bottleneck-Based Behavior Representation Learning for Multi-agent Reinforcement learning [16.024781473545055]
  深層強化学習では、他のエージェントの十分かつコンパクトな情報を抽出し、アルゴリズムの効率的な収束と拡張性を達成することが重要である。 本稿では,多エージェント強化学習(IBORM)のための他のエージェントの行動表現学習を行い,低次元マッピングエンコーダを明示的に求める。
  論文  参考訳（メタデータ） (2021-09-29T04:22:49Z)
• Learning Bias-Invariant Representation by Cross-Sample Mutual Information Minimization [77.8735802150511]
  対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。 相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。 我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
  論文  参考訳（メタデータ） (2021-08-11T21:17:02Z)
• Integrating Auxiliary Information in Self-supervised Learning [94.11964997622435]
  まず、補助情報がデータ構造に関する有用な情報をもたらす可能性があることを観察する。 補助情報に基づいてデータクラスタを構築する。 我々はCl-InfoNCEがデータクラスタリング情報を活用するためのより良いアプローチであることを示した。
  論文  参考訳（メタデータ） (2021-06-05T11:01:15Z)
• Estimating informativeness of samples with Smooth Unique Information [108.25192785062367]
  サンプルが最終的な重みを知らせる量と、重みによって計算される関数を知らせる量を測定します。 線形化ネットワークを用いてこれらの量の効率的な近似を行う。 本稿では,データセットの要約など,いくつかの問題に適用する。
  論文  参考訳（メタデータ） (2021-01-17T10:29:29Z)
• A Theory of Usable Information Under Computational Constraints [103.5901638681034]
  本稿では,複雑なシステムにおける情報推論のための新しいフレームワークを提案する。 我々の基礎はシャノンの情報理論の変分拡張に基づいている。 計算制約を組み込むことで,データから$mathcalV$-informationを確実に推定できることを示す。
  論文  参考訳（メタデータ） (2020-02-25T06:09:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。