論文の概要: The Information Theory of Similarity

• arxiv url: http://arxiv.org/abs/2512.00378v1
• Date: Sat, 29 Nov 2025 08:12:45 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-02 19:46:34.20503
• Title: The Information Theory of Similarity
• Title（参考訳）: 類似性の情報理論
• Authors: Nikit Phadke,
• Abstract要約: 我々は目撃者に基づく類似性システム(REWA)とシャノンの情報理論の正確な数学的等価性を確立する。 この統合により、50年間の類似性探索研究が、関係データのための情報理論を暗黙的に開発したことが明らかとなった。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We establish a precise mathematical equivalence between witness-based similarity systems (REWA) and Shannon's information theory. We prove that witness overlap is mutual information, that REWA bit complexity bounds arise from channel capacity limitations, and that ranking-preserving encodings obey rate-distortion constraints. This unification reveals that fifty years of similarity search research -- from Bloom filters to locality-sensitive hashing to neural retrieval -- implicitly developed information theory for relational data. We derive fundamental lower bounds showing that REWA's $O(Δ^{-2} \log N)$ complexity is optimal: no encoding scheme can preserve similarity rankings with fewer bits. The framework establishes that semantic similarity has physical units (bits of mutual information), search is communication (query transmission over a noisy channel), and retrieval systems face fundamental capacity limits analogous to Shannon's channel coding theorem.
• Abstract（参考訳）: 我々は目撃者に基づく類似性システム(REWA)とシャノンの情報理論の正確な数学的等価性を確立する。 我々は、目撃者の重複は相互情報であり、REWAビットの複雑性はチャネル容量の制限から生じ、ランク保存符号化はレート歪みの制約に従うことを証明した。 この統合は、ブルームフィルタから局所性に敏感なハッシュ、ニューラル検索まで、50年間の類似性検索研究が、リレーショナルデータのための情報理論を暗黙的に開発したことを示している。 我々は、REWAの$O(Δ^{-2} \log N)$ complexityが最適であることを示す基本的な下界を導出する。 このフレームワークは、意味的類似性は物理単位(相互情報のビット)を持ち、検索は通信(ノイズのあるチャネル上のクエリ転送)であり、検索システムはシャノンのチャネル符号化定理に類似した基本的な容量制限に直面している。

関連論文リスト

• REWA: A General Theory of Witness-Based Similarity [0.0]
  我々は、すべての離散的、連続的、代数的、学習的類似性を仮定する類似性保存符号化のための普遍的な枠組みを提案する。 この統合により、ブルームフィルタ、Locality Sensitive Hashing (LSH)、Count-Minのスケッチ、ランダムフーリエ機能、Transformerのアテンションカーネルは同じメカニズムのインスタンスであることが分かる。
  論文  参考訳（メタデータ） (2025-11-25T07:04:44Z)
• The qubit information logic theory for understanding multi-qubit entanglement and designing exotic entangled states [3.716663957642983]
  量子情報方程式 (QIE) と論理を用いて, 多ビット絡み合いの相関挙動を記述する「量子情報論理」(QIL) 理論を開発した。 QILは、それぞれの可能な量子ビットの相関と、他の量子ビットが測定されたときにどのように相関が変化するかを直接記述する。
  論文  参考訳（メタデータ） (2024-02-24T03:21:05Z)
• Efficient Computation of Counterfactual Bounds [44.4263314637532]
  我々は,構造因果モデルのサブクラスにおけるクレダルネットのアルゴリズムを用いて,正確な反ファクト境界を計算する。 近似の精度を信頼性のある間隔で評価する。
  論文  参考訳（メタデータ） (2023-07-17T07:59:47Z)
• Neuro-Symbolic Artificial Intelligence (AI) for Intent based Semantic Communication [85.06664206117088]
  6Gネットワークはデータ転送のセマンティクスと有効性(エンドユーザ)を考慮する必要がある。 観測データの背後にある因果構造を学習するための柱としてNeSy AIが提案されている。 GFlowNetは、無線システムにおいて初めて活用され、データを生成する確率構造を学ぶ。
  論文  参考訳（メタデータ） (2022-05-22T07:11:57Z)
• Deep Architecture Connectivity Matters for Its Convergence: A Fine-Grained Analysis [94.64007376939735]
  我々は、勾配降下訓練におけるディープニューラルネットワーク(DNN)の収束に対する接続パターンの影響を理論的に特徴づける。 接続パターンの単純なフィルタリングによって、評価対象のモデルの数を削減できることが示される。
  論文  参考訳（メタデータ） (2022-05-11T17:43:54Z)
• Information Field Theory as Artificial Intelligence [0.0]
  情報場理論(IFT)は、信号再構成と非パラメトリック逆問題のための数学的枠組みである。 本稿では, IFT における推論を GNN トレーニングの観点から再構成し, IFT と機械学習における数値変分推論手法の交叉受精について論じる。
  論文  参考訳（メタデータ） (2021-12-19T12:29:01Z)
• Shannon theory for quantum systems and beyond: information compression for fermions [68.8204255655161]
  フェミオン症例における絡み合いの忠実度は相関関係の保存性を評価することができることを示す。 原符号定理のフェルミオン版を導入し、量子の場合と同様に、フォン・ノイマンエントロピーはフェルミオン圧縮スキームが存在する最小の速度であることを示す。
  論文  参考訳（メタデータ） (2021-06-09T10:19:18Z)
• A Convergence Theory Towards Practical Over-parameterized Deep Neural Networks [56.084798078072396]
  ネットワーク幅と収束時間の両方で既知の理論境界を大幅に改善することにより、理論と実践のギャップを埋める一歩を踏み出します。 本研究では, サンプルサイズが2次幅で, 両者の時間対数で線形なネットワークに対して, 地球最小値への収束が保証されていることを示す。 私たちの分析と収束境界は、いつでも合理的なサイズの同等のRELUネットワークに変換できる固定アクティベーションパターンを備えたサロゲートネットワークの構築によって導出されます。
  論文  参考訳（メタデータ） (2021-01-12T00:40:45Z)
• Building and Interpreting Deep Similarity Models [0.0]
  そこで本稿では,入力機能の観点から説明することで類似性を解釈する手法を提案する。 我々は,2組の入力特徴に対して類似度スコアを系統的に分解する,スケーラブルで理論的に確立された手法であるBiLRPを開発した。
  論文  参考訳（メタデータ） (2020-03-11T17:46:55Z)
• A Theory of Usable Information Under Computational Constraints [103.5901638681034]
  本稿では,複雑なシステムにおける情報推論のための新しいフレームワークを提案する。 我々の基礎はシャノンの情報理論の変分拡張に基づいている。 計算制約を組み込むことで,データから$mathcalV$-informationを確実に推定できることを示す。
  論文  参考訳（メタデータ） (2020-02-25T06:09:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。