論文の概要: Surveying the space of descriptions of a composite system with machine learning

• arxiv url: http://arxiv.org/abs/2411.18579v1
• Date: Wed, 27 Nov 2024 18:24:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-28 15:24:59.707814
• Title: Surveying the space of descriptions of a composite system with machine learning
• Title（参考訳）: 機械学習を用いた複合システムの記述空間の調査
• Authors: Kieran A. Murphy, Yujing Zhang, Dani S. Bassett,
• Abstract要約: 本研究では,複合システムの組織構造を窓として記述可能な連続空間について検討する。 本稿では,組織の特徴付けに使用する鍵情報理論量を最大化する記述を最適化する機械学習フレームワークを提案する。 機械学習を複合確率変数の詳細な情報理論解析に組み込むことで、実世界の複雑なシステムの構造を探索するための新たな道を開く。
• 参考スコア（独自算出の注目度）: 5.473530151011081
• License:
• Abstract: Multivariate information theory provides a general and principled framework for understanding how the components of a complex system are connected. Existing analyses are coarse in nature -- built up from characterizations of discrete subsystems -- and can be computationally prohibitive. In this work, we propose to study the continuous space of possible descriptions of a composite system as a window into its organizational structure. A description consists of specific information conveyed about each of the components, and the space of possible descriptions is equivalent to the space of lossy compression schemes of the components. We introduce a machine learning framework to optimize descriptions that extremize key information theoretic quantities used to characterize organization, such as total correlation and O-information. Through case studies on spin systems, Sudoku boards, and letter sequences from natural language, we identify extremal descriptions that reveal how system-wide variation emerges from individual components. By integrating machine learning into a fine-grained information theoretic analysis of composite random variables, our framework opens a new avenues for probing the structure of real-world complex systems.
• Abstract（参考訳）: 多変量情報理論は、複雑なシステムの構成要素がどのように接続されているかを理解するための一般的で原則化された枠組みを提供する。 既存の分析は、本質的には粗い -- 離散サブシステムの特徴づけから成り立っている -- であり、計算的に禁止される可能性がある。 そこで本研究では,複合システムの組織構造への窓口として記述可能な連続空間について検討する。 記述は各コンポーネントについて伝達される特定の情報で構成され、可能な記述の空間は、コンポーネントの損失のある圧縮スキームの空間と等価である。 本稿では,全相関やO情報といった組織の特徴付けに使用される鍵情報理論量を最大化する記述を最適化する機械学習フレームワークを提案する。 スピンシステム、スドクボード、自然言語からの文字シーケンスのケーススタディを通じて、システム全体の変動が個々のコンポーネントからどのように現れるかを明らかにする極端記述を同定する。 機械学習を複合確率変数の詳細な情報理論解析に組み込むことで、実世界の複雑なシステムの構造を探索するための新たな道を開く。

関連論文リスト

• Finding structure in logographic writing with library learning [55.63800121311418]
  書記システムにおける構造を発見するための計算フレームワークを開発する。 我々の枠組みは中国語の表記体系における既知の言語構造を発見する。 図書館学習のアプローチが、人間の認知における構造の形成の基盤となる基本的な計算原理を明らかにするのにどのように役立つかを実証する。
  論文  参考訳（メタデータ） (2024-05-11T04:23:53Z)
• On the Role of Information Structure in Reinforcement Learning for Partially-Observable Sequential Teams and Games [55.2480439325792]
  逐次的意思決定問題において、情報構造とは、異なる時点に発生するシステム内の事象が相互にどのように影響するかを記述するものである。 対照的に、現実のシーケンシャルな意思決定問題は通常、システム変数の複雑で時間的な相互依存を伴う。 情報構造を明示する新しい強化学習モデルを定式化する。
  論文  参考訳（メタデータ） (2024-03-01T21:28:19Z)
• Inducing Systematicity in Transformers by Attending to Structurally Quantized Embeddings [60.698130703909804]
  トランスフォーマーは、複雑なデータセットでトレーニングされた後、構造と実体の新規な構成に一般化する。 本稿では,SQ-Transformerを提案する。 SQ-Transformerは,複数の低複雑さ意味解析および機械翻訳データセット上で,バニラ変換器よりも強い構成一般化を実現することを示す。
  論文  参考訳（メタデータ） (2024-02-09T15:53:15Z)
• Discovering modular solutions that generalize compositionally [55.46688816816882]
  実演から純粋に線形変換までを識別することは、指数関数的な数の加群の組み合わせを学習することなく可能であることを示す。 さらに, 有限データからのメタラーニングにより, 多くの複雑な環境において, 構成を一般化するモジュラーポリシが発見可能であることを実証的に実証した。
  論文  参考訳（メタデータ） (2023-12-22T16:33:50Z)
• Information decomposition in complex systems via machine learning [4.189643331553922]
  機械学習を用いて、各測定値の損失圧縮を共同最適化することにより、一連の測定値に含まれる情報を分解する。 我々は, 塑性変形を受ける回路とアモルファス材料という, 2つのパラダイム的複雑系に着目した解析を行った。
  論文  参考訳（メタデータ） (2023-07-10T17:57:32Z)
• communication of information in systems of heterogenious agents and systems' dynamics [0.0]
  複雑なシステムにおける情報通信は、システムの進化の主要な原動力と見なすことができる。 異種エージェントのシステムにおける情報交換は単純な入出力モデルよりも複雑である。 意味と情報処理のメカニズムをモデルフレームワークとして分析的に評価することができる。
  論文  参考訳（メタデータ） (2023-04-27T08:09:04Z)
• Quantifying Complexity: An Object-Relations Approach to Complex Systems [0.0]
  本稿では,全ての種類のシステムに一般化した複雑なシステムのオブジェクト関係モデルを開発する。 結果として生じる複雑情報エントロピー(CIE)方程式は、様々な文脈における複雑性を定量化する堅牢な方法である。 応用分野は工学設計、原子物理学、分子物理学、化学、材料科学、心理学、神経科学、社会学、生態学、経済学、医学である。
  論文  参考訳（メタデータ） (2022-10-22T04:22:21Z)
• The Distributed Information Bottleneck reveals the explanatory structure of complex systems [1.52292571922932]
  Information Bottleneck (IB) は、入力と出力の関係を理解するための情報理論フレームワークである。 我々は、入力の複数のコンポーネントにボトルネックを分散する重要な修正が、科学における解釈可能なディープラーニングのための根本的に新しい道を開くことを示しています。 応用数学と凝縮物質物理学から導かれたシステムにおける分散IBの説明ユーティリティを実証する。
  論文  参考訳（メタデータ） (2022-04-15T17:59:35Z)
• Discrete-Valued Neural Communication [85.3675647398994]
  コンポーネント間で伝達される情報を離散表現に制限することは、有益なボトルネックであることを示す。 個人は「猫」が特定の経験に基づいて何であるかについて異なる理解を持っているが、共有された離散トークンは、個人間のコミュニケーションが内部表現の個人差によって切り離されることを可能にする。 我々は、量子化機構をベクトル量子化変分オートコーダから共有符号ブックによる多頭部離散化に拡張し、離散値ニューラル通信に利用する。
  論文  参考訳（メタデータ） (2021-07-06T03:09:25Z)
• Compositional Processing Emerges in Neural Networks Solving Math Problems [100.80518350845668]
  人工知能の最近の進歩は、大きなモデルが十分な言語データに基づいて訓練されると、文法構造が表現に現れることを示している。 我々は、この研究を数学的推論の領域にまで拡張し、どのように意味を構成するべきかについての正確な仮説を定式化することができる。 私たちの研究は、ニューラルネットワークがトレーニングデータに暗黙的に構造化された関係について何かを推測できるだけでなく、個々の意味の合成を合成全体へと導くために、この知識を展開できることを示している。
  論文  参考訳（メタデータ） (2021-05-19T07:24:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。