論文の概要: Neural Information Causality

• arxiv url: http://arxiv.org/abs/2605.09316v1
• Date: Sun, 10 May 2026 04:25:11 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:50.187781
• Title: Neural Information Causality
• Title（参考訳）: ニューラルインフォメーションの因果性
• Authors: Jeongho Bang, Marcin Pawłowski,
• Abstract要約: 我々はニューラル情報因果性(Neural-IC)と呼ばれる枠組みを開発する。 本稿では,Neural-ICがクエリリーク,精度リーク,エピソード固有メモリの操作診断であることを示す。 また、1ビットの古典的RACベンチマークも提供し、関連する量子エンハンスメントがボトルネックを超える完全な情報ではないことを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Query-separated computation forces a representation to play an operational role: data are encoded before a query is known, and a later decoder can answer only through the intermediate interface. In this regime the representation functions as a message rather than merely as a feature map. We formalize this observation by embedding information causality (IC) into representation learning, obtaining a framework called neural information causality (Neural-IC). The revised formulation separates two logically distinct statements. First, every query-separated architecture induces a random-access communication experiment and obeys the embedding inequality $I_{\mathrm{N\text{-}RAC}}\le I(\vec a:H,B)$. Second, any independently certified physical capacity bound on the interface, such as a hard $m$-bit alphabet, a finite-precision register, or a power-constrained noisy channel, implies $I_{\mathrm{N\text{-}RAC}}\le C_H$. This separation avoids treating capacity as a post hoc definition and makes Neural-IC an operational diagnostic for query leakage, precision leakage, and episode-specific memory. We also provide an exact one-bit classical RAC benchmark, showing explicitly that the relevant quantum enhancement is not total information beyond the bottleneck, but fair query-conditioned access. For CHSH-type correlation layers, nested Neural-RAC protocols multiply correlation biases across depth; requiring stability of a one-bit bottleneck for arbitrary depth selects the Tsirelson threshold. We extend the analysis to asymmetric seed biases, to multi-capacity finite-depth phase diagrams, and to correlated data via a conditional information score. Controlled simulations, including straight-through binary bottlenecks and deliberately leaky ablations, verify that apparent violations are accounted for by broken query separation or undercounted capacity.
• Abstract（参考訳）: クエリ分離された計算では、クエリが知られる前にデータがエンコードされ、後続のデコーダは中間インターフェイスを通してのみ応答することができる。 この体制では、表現は単にフィーチャーマップとしてではなく、メッセージとして機能する。 我々は、情報因果性(IC)を表現学習に組み込んで、ニューラル情報因果性(Neural-IC)と呼ばれる枠組みを得る。 修正された定式化は、2つの論理的に異なるステートメントを分離する。 まず、全てのクエリ分離アーキテクチャはランダムアクセス通信実験を誘導し、埋め込み不等式 $I_{\mathrm{N\text{-}RAC}}\le I(\vec a:H,B)$ に従う。 第二に、ハードな$m$-bitアルファベット、有限精度レジスタ、パワー制約のあるノイズチャネルなどのインターフェイスに縛られる独立した物理的容量は、$I_{\mathrm{N\text{-}RAC}}\le C_H$を意味する。 この分離は、処理能力をポストホック定義として回避し、Neural-ICをクエリリーク、精度リーク、エピソード固有のメモリの運用上の診断にする。 また、1ビットの古典的RACベンチマークも提供し、関連する量子エンハンスメントがボトルネック以上の完全な情報ではなく、クエリ条件の適切なアクセスであることを示す。 CHSH型相関層では、ネストしたNeural-RACプロトコルが奥行きの相関バイアスを乗じ、任意の深さの1ビットボトルネックの安定性を必要とするため、Tsirelsonしきい値を選択する。 非対称なシードバイアス、多容量有限深度位相図、条件情報スコアによる相関データまで解析を拡張した。 ストレートスルーバイナリボトルネックや意図的にリークされた改善を含む制御されたシミュレーションは、明らかな違反は、クエリ分離が壊れたことや、不足しているキャパシティによって説明されていることを検証します。

関連論文リスト

• The Query Channel: Information-Theoretic Limits of Masking-Based Explanations [0.17188280334580197]
  KernelSHAPやLIMEのようなマスキングに基づくポストホックな説明手法は、ブラックボックスモデルに問い合わせることで、局所的な特徴の重要性を推定する。 本稿では、この手順をクエリチャネル上の通信として定式化し、遅延説明がメッセージとして振る舞う。
  論文  参考訳（メタデータ） (2026-04-17T20:46:25Z)
• The Inevitability of Side-Channel Leakage in Encrypted Traffic [18.365496056967917]
  効率優先のシステムでは、少なくとも1つのアプリケーションペアが識別可能である場合、リークは避けられないことを示す。 これにより、暗号化されたトラフィックサイドチャネルのための厳密な情報理論の基礎が確立される。
  論文  参考訳（メタデータ） (2026-02-15T08:55:19Z)
• Detecting Overflow in Compressed Token Representations for Retrieval-Augmented Generation [49.48204107529758]
  我々はトークンオーバーフローを、圧縮された表現が与えられたクエリに応答する十分な情報を含んでいない状態として定義する。 本稿では,非圧縮トークン表現から,クエリ非依存の飽和統計を確実に分離することを見出した。 クエリとコンテキストの両方のxRAG表現上の軽量なプローブ分類器は平均0.72 AUC-ROCでオーバーフローを検出する。 これらの結果は、クエリ非依存の診断からクエリ対応検出まで進歩し、低コストのプレLLMゲーティングにより、圧縮によるエラーを軽減できる。
  論文  参考訳（メタデータ） (2026-02-12T18:15:08Z)
• Exact Calculations of Coherent Information for Toric Codes under Decoherence: Identifying the Fundamental Error Threshold [0.0]
  トーリックコードは、トポロジカルなエラー訂正コードの典型例である。 近年の研究では、本質的な情報理論遷移のようなしきい値の挙動が研究されている。 本稿では,デコヒーレントなトーリックコードのコヒーレントな情報に対する最初の解析式を提案する。
  論文  参考訳（メタデータ） (2024-02-26T19:00:00Z)
• Efficient Computation of Counterfactual Bounds [44.4263314637532]
  我々は,構造因果モデルのサブクラスにおけるクレダルネットのアルゴリズムを用いて,正確な反ファクト境界を計算する。 近似の精度を信頼性のある間隔で評価する。
  論文  参考訳（メタデータ） (2023-07-17T07:59:47Z)
• What and How does In-Context Learning Learn? Bayesian Model Averaging, Parameterization, and Generalization [111.55277952086155]
  In-Context Learning (ICL) をいくつかのオープンな質問に答えることによって研究する。 ニューラルネットワークパラメータを更新せずに、ICLはベイズモデル平均化アルゴリズムを暗黙的に実装している。 事前学習されたモデルの誤差は近似誤差と一般化誤差の和で有界であることを示す。
  論文  参考訳（メタデータ） (2023-05-30T21:23:47Z)
• Neural-Symbolic Entangled Framework for Complex Query Answering [22.663509971491138]
  複雑な問合せ応答のためのニューラル・アンド・エンタングルド・フレームワーク(ENeSy)を提案する。 これにより、ニューラルネットワークとシンボリック推論が互いに強化され、カスケードエラーとKGの不完全性が軽減される。 ENeSyは、特にリンク予測タスクのみでトレーニングモデルの設定において、いくつかのベンチマークでSOTA性能を達成する。
  論文  参考訳（メタデータ） (2022-09-19T06:07:10Z)
• The Causal Neural Connection: Expressiveness, Learnability, and Inference [125.57815987218756]
  構造因果モデル (Structuor causal model, SCM) と呼ばれるオブジェクトは、調査中のシステムのランダムな変動のメカニズムと源の集合を表す。 本稿では, 因果的階層定理 (Thm. 1, Bareinboim et al., 2020) がまだニューラルモデルに対して成り立っていることを示す。 我々はニューラル因果モデル(NCM)と呼ばれる特殊なタイプのSCMを導入し、因果推論に必要な構造的制約をエンコードする新しいタイプの帰納バイアスを定式化する。
  論文  参考訳（メタデータ） (2021-07-02T01:55:18Z)
• Tractable Inference in Credal Sentential Decision Diagrams [116.6516175350871]
  確率感性決定図は、解離ゲートの入力が確率値によってアノテートされる論理回路である。 我々は、局所確率を質量関数のクレーダル集合に置き換えることができる確率の一般化である、クレーダル感性決定図を開発する。 まず,ノイズの多い7セグメント表示画像に基づく簡単なアプリケーションについて検討する。
  論文  参考訳（メタデータ） (2020-08-19T16:04:34Z)
• A tetrachotomy of ontology-mediated queries with a covering axiom [1.749935196721634]
  我々の懸念は、標準的なデータベースクエリへの記述とそれらの最適な書き換えを介し、クエリに応答する際のデータ複雑さを効率的に決定することである。 我々は、疎結合シロップ(d-シロップ)と呼ばれるブール共役型クエリに焦点を当てる。 一部のd-シロップは指数的な大きさの分解能しか持たないが、そのうちのいくつかは二重指数サイズの正存在量書き換えと単帰的データログ書き換えのみである。
  論文  参考訳（メタデータ） (2020-06-07T14:47:07Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。