論文の概要: Towards Information Theory-Based Discovery of Equivariances
- arxiv url: http://arxiv.org/abs/2310.16555v4
- Date: Wed, 02 Oct 2024 10:43:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-03 15:17:20.221764
- Title: Towards Information Theory-Based Discovery of Equivariances
- Title（参考訳）: 情報理論に基づく等価性の発見に向けて
- Authors: Hippolyte Charvin, Nicola Catenacci Volpi, Daniel Polani,
- Abstract要約: 対称性の存在は、システムに厳密な制約のセットを課す。
並行して、複雑性に制約のある学習と行動の原則モデルが、情報理論の手法の利用を増大させる。
本稿では,学習と情報制約のある適応行動に関する多くの原則研究において,生産的基盤として機能する情報ボトルネック原理の新たな変種を提案する。
- 参考スコア（独自算出の注目度）: 1.2289361708127875
- License:
- Abstract: The presence of symmetries imposes a stringent set of constraints on a system. This constrained structure allows intelligent agents interacting with such a system to drastically improve the efficiency of learning and generalization, through the internalisation of the system's symmetries into their information-processing. In parallel, principled models of complexity-constrained learning and behaviour make increasing use of information-theoretic methods. Here, we wish to marry these two perspectives and understand whether and in which form the information-theoretic lens can "see" the effect of symmetries of a system. For this purpose, we propose a novel variant of the Information Bottleneck principle, which has served as a productive basis for many principled studies of learning and information-constrained adaptive behaviour. We show (in the discrete case and under a specific technical assumption) that our approach formalises a certain duality between symmetry and information parsimony: namely, channel equivariances can be characterised by the optimal mutual information-preserving joint compression of the channel's input and output. This information-theoretic treatment furthermore suggests a principled notion of "soft" equivariance, whose "coarseness" is measured by the amount of input-output mutual information preserved by the corresponding optimal compression. This new notion offers a bridge between the field of bounded rationality and the study of symmetries in neural representations. The framework may also allow (exact and soft) equivariances to be automatically discovered.
- Abstract（参考訳）: 対称性の存在は、システムに厳密な制約のセットを課す。
この制約された構造により、インテリジェントなエージェントがそのようなシステムと対話し、システムの対称性を内部化して情報処理によって学習と一般化の効率を大幅に改善することができる。
並行して、複雑性に制約のある学習と行動の原則モデルが、情報理論の手法の利用を増大させる。
ここでは、これら2つの視点を統合して、情報理論レンズがシステムの対称性の効果を「見る」ことができるかどうかを理解したい。
そこで本研究では,学習と情報制約を考慮した適応行動に関する多くの原則研究において,生産的基盤として機能するインフォメーション・ボトルネック(Information Bottleneck)の新たな変種を提案する。
離散的な場合と特定の技術的前提の下では)我々の手法は対称性と情報パロジニーのある種の双対性を定式化していることを示す。
この情報理論的処理は、さらに「粗さ」が対応する最適圧縮によって保存される入力出力相互情報の量によって測定される「ソフト」同値の原理的概念を示唆する。
この新たな概念は、有界有理性(bounded rationality)の分野と神経表現における対称性の研究の間の橋渡しを提供する。
この枠組みは、(現実的かつソフトな)同値を自動的に発見することを可能にする。
関連論文リスト
- Unified Causality Analysis Based on the Degrees of Freedom [1.2289361708127877]
本稿では,システム間の因果関係を同定する統一手法を提案する。
システムの自由度を分析することで、私たちのアプローチは因果的影響と隠れた共同設立者の両方についてより包括的な理解を提供する。
この統合されたフレームワークは、理論モデルとシミュレーションを通じて検証され、その堅牢性とより広範な応用の可能性を示す。
論文 参考訳（メタデータ） (2024-10-25T10:57:35Z) - Generalizing measurement-induced phase transitions to information exchange symmetry breaking [0.0]
情報力学は進化状態の R'enyi と von-Neumann エントロピーを用いて研究される。
エンタングルメント遷移は,情報交換対称性の自発的な破れとして理解することができることを示す。
論文 参考訳（メタデータ） (2024-02-16T19:32:15Z) - Nonparametric Partial Disentanglement via Mechanism Sparsity: Sparse
Actions, Interventions and Sparse Temporal Dependencies [58.179981892921056]
この研究は、メカニズムのスパーシティ正則化(英語版)と呼ばれる、アンタングルメントの新たな原理を導入する。
本稿では,潜在要因を同時に学習することで,絡み合いを誘発する表現学習手法を提案する。
学習した因果グラフをスパースに規則化することにより、潜伏因子を復元できることを示す。
論文 参考訳（メタデータ） (2024-01-10T02:38:21Z) - A Unified Framework to Enforce, Discover, and Promote Symmetry in Machine Learning [5.1105250336911405]
機械学習モデルに対称性を組み込むための統一理論および方法論の枠組みを提供する。
対称性の強制と発見は、リー微分の双線型構造に対して双対である線形代数的タスクであることを示す。
本稿では、リー微分と核ノルム緩和に基づく凸正規化関数のクラスを導入することで対称性を促進する新しい方法を提案する。
論文 参考訳（メタデータ） (2023-11-01T01:19:54Z) - Information decomposition in complex systems via machine learning [4.189643331553922]
機械学習を用いて、各測定値の損失圧縮を共同最適化することにより、一連の測定値に含まれる情報を分解する。
我々は, 塑性変形を受ける回路とアモルファス材料という, 2つのパラダイム的複雑系に着目した解析を行った。
論文 参考訳（メタデータ） (2023-07-10T17:57:32Z) - Enriching Disentanglement: From Logical Definitions to Quantitative Metrics [59.12308034729482]
複雑なデータにおける説明的要素を遠ざけることは、データ効率の表現学習にとって有望なアプローチである。
論理的定義と量的指標の関連性を確立し, 理論的に根ざした絡み合いの指標を導出する。
本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
論文 参考訳（メタデータ） (2023-05-19T08:22:23Z) - Complexity from Adaptive-Symmetries Breaking: Global Minima in the
Statistical Mechanics of Deep Neural Networks [0.0]
深部ニューラルネットワーク(DNN)を理解するために、物理における保守対称性への適応対称性というアンチセティカル概念を提案する。
我々はDNNシステムの最適化過程を適応対称性破りの拡張プロセスとして特徴付けている。
より具体的には、この過程は統計物理学の一般化として評価できる統計力学モデルによって特徴づけられる。
論文 参考訳（メタデータ） (2022-01-03T09:06:44Z) - MINIMALIST: Mutual INformatIon Maximization for Amortized Likelihood
Inference from Sampled Trajectories [61.3299263929289]
シミュレーションベースの推論は、その可能性が実際に計算できない場合でもモデルのパラメータを学習することができる。
あるクラスのメソッドは、異なるパラメータでシミュレートされたデータを使用して、確率とエビデンス比の償却推定器を推定する。
モデルパラメータとシミュレーションデータ間の相互情報の観点から,本手法が定式化可能であることを示す。
論文 参考訳（メタデータ） (2021-06-03T12:59:16Z) - Fundamental Limits and Tradeoffs in Invariant Representation Learning [99.2368462915979]
多くの機械学習アプリケーションは、2つの競合する目標を達成する表現を学習する。
ミニマックスゲーム理論の定式化は、精度と不変性の基本的なトレードオフを表す。
分類と回帰の双方において,この一般的かつ重要な問題を情報論的に解析する。
論文 参考訳（メタデータ） (2020-12-19T15:24:04Z) - Counterfactual Representation Learning with Balancing Weights [74.67296491574318]
観察データによる因果推論の鍵は、それぞれの治療タイプに関連する予測的特徴のバランスを達成することである。
近年の文献では、この目標を達成するために表現学習を探求している。
因果効果を柔軟かつスケーラブルかつ正確に推定するアルゴリズムを開発した。
論文 参考訳（メタデータ） (2020-10-23T19:06:03Z) - Inverse Learning of Symmetries [71.62109774068064]
2つの潜在部分空間からなるモデルで対称性変換を学ぶ。
我々のアプローチは、情報ボトルネックと連続的な相互情報正規化器の組み合わせに基づいています。
我々のモデルは, 人工的および分子的データセットにおける最先端の手法より優れている。
論文 参考訳（メタデータ） (2020-02-07T13:48:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。