論文の概要: Shannon invariants: A scalable approach to information decomposition
- arxiv url: http://arxiv.org/abs/2504.15779v1
- Date: Tue, 22 Apr 2025 10:41:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-04-30 20:57:12.238059
- Title: Shannon invariants: A scalable approach to information decomposition
- Title（参考訳）: シャノン不変量:情報分解へのスケーラブルなアプローチ
- Authors: Aaron J. Gutknecht, Fernando E. Rosas, David A. Ehrlich, Abdullah Makkeh, Pedro A. M. Mediano, Michael Wibral,
- Abstract要約: シャノン不変量(英: Shannon invariants)とは、高次情報処理の基本特性を捉える量である。
我々の理論的結果は、シャノン不変量がどのように長期間のあいまいさを解決するために用いられるかを示す。
この結果から,様々なディープラーニングアーキテクチャの特異な情報処理シグネチャが明らかになった。
- 参考スコア（独自算出の注目度）: 41.60443091960594
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Distributed systems, such as biological and artificial neural networks, process information via complex interactions engaging multiple subsystems, resulting in high-order patterns with distinct properties across scales. Investigating how these systems process information remains challenging due to difficulties in defining appropriate multivariate metrics and ensuring their scalability to large systems. To address these challenges, we introduce a novel framework based on what we call "Shannon invariants" -- quantities that capture essential properties of high-order information processing in a way that depends only on the definition of entropy and can be efficiently calculated for large systems. Our theoretical results demonstrate how Shannon invariants can be used to resolve long-standing ambiguities regarding the interpretation of widely used multivariate information-theoretic measures. Moreover, our practical results reveal distinctive information-processing signatures of various deep learning architectures across layers, which lead to new insights into how these systems process information and how this evolves during training. Overall, our framework resolves fundamental limitations in analyzing high-order phenomena and offers broad opportunities for theoretical developments and empirical analyses.
- Abstract（参考訳）: 生物学的ニューラルネットワークや人工ニューラルネットワークのような分散システムは、複数のサブシステムに関わる複雑な相互作用を通じて情報を処理し、結果としてスケールにまたがる異なる特性を持つ高次パターンを生み出す。
適切な多変量メトリクスを定義し、大規模システムへのスケーラビリティを確保することの難しさから、これらのシステムがどのように情報を処理するかを調査することは依然として困難である。
これらの課題に対処するために、我々は「シャノン不変量」と呼ばれる高次情報処理の本質的特性をエントロピーの定義にのみ依存し、大規模システムで効率的に計算できる量に基づいて、新しいフレームワークを導入する。
我々の理論的結果は、広く用いられている多変量情報理論の解釈に関する長年の曖昧さを解決するために、シャノン不変量をどのように利用できるかを示す。
さらに,本実験の結果から,各層にまたがる様々なディープラーニングアーキテクチャの特異な情報処理シグネチャが明らかとなり,これらのシステムがどのように情報を処理し,それが学習中にどのように進化するかという新たな知見が得られた。
本フレームワークは,高次現象の解析における基本的な限界を解決し,理論的発展と経験的分析の幅広い機会を提供する。
関連論文リスト
- Simultaneous Dimensionality Reduction for Extracting Useful Representations of Large Empirical Multimodal Datasets [0.0]
我々は,高次元データから低次元記述を得る手段として,次元減少の科学に焦点をあてる。
我々は,システム内の複雑な相互作用や高次元力学系など,従来の仮定に反する実世界のデータによって引き起こされる課題に対処する。
論文 参考訳（メタデータ） (2024-10-23T21:27:40Z) - On the Role of Information Structure in Reinforcement Learning for Partially-Observable Sequential Teams and Games [55.2480439325792]
逐次的意思決定問題において、情報構造とは、異なる時点に発生するシステム内の事象が相互にどのように影響するかを記述するものである。
対照的に、現実のシーケンシャルな意思決定問題は通常、システム変数の複雑で時間的な相互依存を伴う。
情報構造を明示する新しい強化学習モデルを定式化する。
論文 参考訳（メタデータ） (2024-03-01T21:28:19Z) - A spectrum of physics-informed Gaussian processes for regression in
engineering [0.0]
センサとデータ全般の可用性は向上していますが、純粋なデータ駆動アプローチから多くのサービス内エンジニアリングシステムや構造を完全に特徴づけることはできません。
本稿では、限られたデータで予測モデルを作成する能力を高めるために、機械学習技術と物理に基づく推論の組み合わせを追求する。
論文 参考訳（メタデータ） (2023-09-19T14:39:03Z) - Information decomposition in complex systems via machine learning [4.189643331553922]
機械学習を用いて、各測定値の損失圧縮を共同最適化することにより、一連の測定値に含まれる情報を分解する。
我々は, 塑性変形を受ける回路とアモルファス材料という, 2つのパラダイム的複雑系に着目した解析を行った。
論文 参考訳（メタデータ） (2023-07-10T17:57:32Z) - Quantifying & Modeling Multimodal Interactions: An Information
Decomposition Framework [89.8609061423685]
本稿では,入力モーダル性と出力タスクを関連付けた冗長性,特異性,シナジーの度合いを定量化する情報理論手法を提案する。
PID推定を検証するために、PIDが知られている合成データセットと大規模マルチモーダルベンチマークの両方で広範な実験を行う。
本研究では,(1)マルチモーダルデータセット内の相互作用の定量化,(2)マルチモーダルモデルで捉えた相互作用の定量化,(3)モデル選択の原理的アプローチ,(4)実世界のケーススタディの3つにその有用性を示す。
論文 参考訳（メタデータ） (2023-02-23T18:59:05Z) - Synergistic information supports modality integration and flexible
learning in neural networks solving multiple tasks [107.8565143456161]
本稿では,様々な認知タスクを行う単純な人工ニューラルネットワークが採用する情報処理戦略について検討する。
結果は、ニューラルネットワークが複数の多様なタスクを学習するにつれて、シナジーが増加することを示している。
トレーニング中に無作為にニューロンを停止させると、ネットワークの冗長性が増加し、ロバスト性の増加に対応する。
論文 参考訳（メタデータ） (2022-10-06T15:36:27Z) - Variational Distillation for Multi-View Learning [104.17551354374821]
我々は,多視点表現学習における2つの重要な特徴を利用するために,様々な情報ボトルネックを設計する。
厳密な理論的保証の下で,本手法は,観察とセマンティックラベルの内在的相関の把握を可能にする。
論文 参考訳（メタデータ） (2022-06-20T03:09:46Z) - Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
トレーニングセットとその構造が長期予測の品質に与える影響を考察する。
トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
論文 参考訳（メタデータ） (2021-12-15T20:09:20Z) - Scalable Gaussian Processes for Data-Driven Design using Big Data with
Categorical Factors [14.337297795182181]
ガウス過程(GP)は、大きなデータセット、カテゴリ入力、および複数の応答を調節するのに困難である。
本稿では,変分推論によって得られた潜伏変数と関数を用いて,上記の課題を同時に解決するGPモデルを提案する。
本手法は三元系酸化物材料の機械学習と多スケール対応機構のトポロジー最適化に有用である。
論文 参考訳（メタデータ） (2021-06-26T02:17:23Z) - A neural anisotropic view of underspecification in deep learning [60.119023683371736]
ニューラルネットが問題の未特定化を扱う方法が,データ表現に大きく依存していることを示す。
深層学習におけるアーキテクチャ的インダクティブバイアスの理解は,これらのシステムの公平性,堅牢性,一般化に対処する上で基本的であることを強調した。
論文 参考訳（メタデータ） (2021-04-29T14:31:09Z) - Information Theory Measures via Multidimensional Gaussianization [7.788961560607993]
情報理論は、データやシステムの不確実性、依存、関連性を測定するための優れたフレームワークである。
現実世界の応用にはいくつかの望ましい性質がある。
しかし,多次元データから情報を取得することは,次元性の呪いによる難題である。
論文 参考訳（メタデータ） (2020-10-08T07:22:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。