論文の概要: Unambiguous Representations in Neural Networks: An Information-Theoretic Approach to Intentionality

• arxiv url: http://arxiv.org/abs/2512.11000v1
• Date: Wed, 10 Dec 2025 19:00:34 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-15 15:48:11.516269
• Title: Unambiguous Representations in Neural Networks: An Information-Theoretic Approach to Intentionality
• Title（参考訳）: ニューラルネットワークにおける曖昧な表現:意図性に対する情報理論的アプローチ
• Authors: Francesco Lässig,
• Abstract要約: ネットワーク接続におけるリレーショナル構造は、明らかに表現内容にエンコード可能であることを示す。 また、入力ニューロンの空間的位置情報をR2とのネットワーク接続から最大0.844までデコードできることを示す。
• 参考スコア（独自算出の注目度）: 0.1122155793116341
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Representations pervade our daily experience, from letters representing sounds to bit strings encoding digital files. While such representations require externally defined decoders to convey meaning, conscious experience appears fundamentally different: a neural state corresponding to perceiving a red square cannot alternatively encode the experience of a green square. This intrinsic property of consciousness suggests that conscious representations must be unambiguous in a way that conventional representations are not. We formalize this intuition using information theory, defining representational ambiguity as the conditional entropy H(I|R) over possible interpretations I given a representation R. Through experiments on neural networks trained to classify MNIST digits, we demonstrate that relational structures in network connectivity can unambiguously encode representational content. Using both learned decoders and direct geometric matching, we achieve perfect (100%) accuracy for dropout-trained networks and 38% for standard backpropagation in identifying output neuron class identity, despite identical task performance, demonstrating that representational ambiguity can arise orthogonally to behavioral accuracy. We further show that spatial position information of input neurons can be decoded from network connectivity with R2 up to 0.844. These results provide a quantitative method for measuring representational ambiguity in neural systems and demonstrate that neural networks can exhibit the low-ambiguity representations posited as necessary (though not sufficient) by theoretical accounts of consciousness.
• Abstract（参考訳）: 表現は、音声を表す文字からデジタルファイルをエンコードするビット文字列まで、私たちの日々の経験に及んでいる。 このような表現は、意味を伝えるために外部で定義されたデコーダを必要とするが、意識的な経験は根本的に異なるように見える。 この意識の本質的な性質は、従来の表現がそうでない方法で意識表現は曖昧でなければならないことを示唆している。 我々は、情報理論を用いてこの直観を定式化し、表現のあいまいさを可能な解釈よりも条件エントロピーH(I|R)として定義し、表現Rを与えた。 学習したデコーダと直接幾何マッチングの両方を用いて、出力ニューロンのクラス識別において完全な(100%)精度と38%の標準バックプロパゲーションを実現し、同じタスク性能にもかかわらず、表現の曖昧さが行動の正確性に直交的に生じることを示した。 さらに、入力ニューロンの空間的位置情報は、R2とのネットワーク接続から最大0.844までデコード可能であることを示す。 これらの結果は、ニューラルネットワークにおける表現のあいまいさを定量的に測定する方法を提供し、ニューラルネットワークが(十分ではないが)必要として提示される低あいまいさの表現を、理論的に意識の面から示すことができることを示した。

関連論文リスト

• Semantic representations emerge in biologically inspired ensembles of cross-supervising neural networks [1.5346678870160888]
  本稿では,ニューラルネットワークのアンサンブルによる表現学習モデルを提案する。 各ネットワークは、他のネットワークとの相互作用を相互に監督することにより、刺激を抽象的な表現空間にエンコードすることを学ぶ。 ネットワーク間の疎結合性は全対一の相互作用とほぼ同程度である。
  論文  参考訳（メタデータ） (2025-10-16T09:30:22Z)
• Concept-Guided Interpretability via Neural Chunking [64.6429903327095]
  ニューラルネットワークは、トレーニングデータの規則性を反映した生の集団活動のパターンを示す。 神経集団レベルで繰り返しチャンクを抽出する3つの方法を提案する。 私たちの研究は、認知原則と自然主義的データの構造の両方を活用する、解釈可能性の新しい方向性を指し示しています。
  論文  参考訳（メタデータ） (2025-05-16T13:49:43Z)
• From superposition to sparse codes: interpretable representations in neural networks [3.6738925004882685]
  最近の証拠は、ニューラルネットワークが重畳の特徴を符号化していることを示唆している。 本稿では、この現象を説明する視点を示し、ニューラルアクティベーションから解釈可能な表現を抽出するための基盤を提供する。 我々の議論は、ニューラルコーディング理論、AI透明性、ディープラーニングモデルをより解釈可能なものにするというより広い目標に影響を及ぼす。
  論文  参考訳（メタデータ） (2025-03-03T18:49:59Z)
• Closed-Form Interpretation of Neural Network Latent Spaces with Symbolic Gradients [0.0]
  オートエンコーダやシームズネットワークのような人工ニューラルネットワークが、潜在空間において有意義な概念を符号化していることが実証されている。 本稿では,ニューラルネットワークの潜在空間におけるニューロンのクローズドフォーム解釈の枠組みを提案する。
  論文  参考訳（メタデータ） (2024-09-09T03:26:07Z)
• Coding schemes in neural networks learning classification tasks [52.22978725954347]
  完全接続型広義ニューラルネットワーク学習タスクについて検討する。 ネットワークが強力なデータ依存機能を取得することを示す。 驚くべきことに、内部表現の性質は神経の非線形性に大きく依存する。
  論文  参考訳（メタデータ） (2024-06-24T14:50:05Z)
• Visualizing Neural Network Imagination [2.1749194587826026]
  ある状況では、ニューラルネットワークは、隠れたアクティベーションの環境状態を表現します。 私たちのゴールは、ネットワークが表現している環境を可視化することです。 定量的解釈可能性尺度を定義し、隠れた状態が高度に解釈可能であることを示す。
  論文  参考訳（メタデータ） (2024-05-10T11:43:35Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• Dynamic Inference with Neural Interpreters [72.90231306252007]
  本稿では,モジュールシステムとしての自己アテンションネットワークにおける推論を分解するアーキテクチャであるNeural Interpretersを提案する。 モデルへの入力は、エンドツーエンドの学習方法で一連の関数を通してルーティングされる。 ニューラル・インタープリタは、より少ないパラメータを用いて視覚変換器と同等に動作し、サンプル効率で新しいタスクに転送可能であることを示す。
  論文  参考訳（メタデータ） (2021-10-12T23:22:45Z)
• On Tractable Representations of Binary Neural Networks [23.50970665150779]
  我々は、二項ニューラルネットワークの決定関数を、順序付き二項決定図(OBDD)や意味決定図(SDD)などの抽出可能な表現にコンパイルすることを検討する。 実験では,SDDとしてニューラルネットワークのコンパクトな表現を得ることが可能であることを示す。
  論文  参考訳（メタデータ） (2020-04-05T03:21:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。