論文の概要: From Common Information to Canonical Correlation Analysis and Beyond: Bridging Information Theory, Signal Processing, and Machine Learning

• arxiv url: http://arxiv.org/abs/2610.28978v1
• Date: Tue, 20 Oct 2026 22:54:10 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-23 00:40:06.158508
• Title: From Common Information to Canonical Correlation Analysis and Beyond: Bridging Information Theory, Signal Processing, and Machine Learning
• Title（参考訳）: 共通情報から正準相関解析へ:ブリッジング情報理論、信号処理、機械学習
• Abstract要約: このチュートリアルでは、この問題のために各コミュニティが開発した主な成果とツールを1つの展示で紹介する。 情報理論の基礎を第一原理から発展させる。 次に、CCAとその拡張をいくつかのビューに導入し、次に、ブラインドマルチユーザ検出から、ブラインドレシーバーとしてのCCAまで、エンジニアリングスレッドを紹介します。
• 参考スコア（独自算出の注目度）: 45.549113405291614
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Many problems in signal processing, machine learning, and neuroimaging provide several jointly observed measurements of one process, each mixing a component common to all of them with a component private to itself, and require the common component to be recovered without supervision. This problem has been studied in several communities, largely independently. Statisticians proposed canonical correlation analysis (CCA), introduced by Hotelling in 1936. Information theorists proposed two notions of common information, due to Gács and Körner and to Wyner. Engineers developed subspace methods for sensor arrays and multiuser communications to design multiview receivers. This tutorial presents the main results and tools each community developed for this problem in a single exposition, and explains the connections that emerge where they meet, distinguishing exact equivalences from special cases and analogies. We develop the information-theoretic foundation from first principles. We then introduce CCA and its extension to several views, followed by the engineering thread from blind multiuser detection to CCA as a blind receiver. Next, we turn to nonlinear CCA, covering kernel, deep, and probabilistic formulations, the conditions under which the common factor is identifiable, and connections to self-supervised learning. We conclude with a discussion of further extensions and open directions. The exposition is self-contained, so that readers from each of these communities can follow the parts developed by the others.
• Abstract（参考訳）: 信号処理、機械学習、ニューロイメージングにおける多くの問題は、1つのプロセスのいくつかの共同観測結果を提供し、それぞれが全てのプロセスに共通するコンポーネントを自分自身にプライベートなコンポーネントと混合し、共通のコンポーネントを監督なしで回収する必要がある。 この問題は、主に独立したいくつかのコミュニティで研究されている。 統計学者は1936年にホテルリングによって導入された正準相関解析(CCA)を提案した。 情報理論家は、ゲーツとケルナーとワイナーの2つの共通情報の概念を提案した。 技術者はセンサーアレイとマルチユーザー通信のためのサブスペース手法を開発し、マルチビュー受信機を設計した。 本チュートリアルでは,この問題に対して各コミュニティが開発した主要な成果とツールを1つの展示で紹介し,特定の事例や類似点と正確な等価点を区別し,出会うところのつながりを説明する。 情報理論の基礎を第一原理から発展させる。 次に、CCAとその拡張をいくつかのビューに導入し、次に、ブラインドマルチユーザ検出から、ブラインドレシーバーとしてのCCAまで、エンジニアリングスレッドを紹介します。 次に、非線形CCAに目を向け、カーネル、ディープ、確率的定式化、共通因子が同定可能な条件、そして自己教師あり学習との関係について述べる。 さらなる拡張とオープンな方向性に関する議論で締めくくります。 展示は自己完結しているので、それぞれのコミュニティの読者は、他のコミュニティによって開発された部分に従うことができる。

関連論文リスト

• Dependency, Compression, and Synergy: A Unified Information-Theoretic View of Multimodal Learning [66.81869882333264]
  相互情報(MI)、情報ボトルネック(IB)、部分情報分解(PID)は相補的な視点を提供する。 MIはモーダル間の依存性を特徴付け、IBは圧縮下でのタスク指向の情報保存を説明し、PIDは保存された情報を冗長性、特異性、シナジーに分解する。
  論文  参考訳（メタデータ） (2026-09-13T10:43:11Z)
• Transformers Provably Learn Directed Acyclic Graphs via Kernel-Guided Mutual Information [91.66597637613263]
  注意機構を活用するトランスフォーマーベースのモデルは、グラフ内の複雑な依存関係をキャプチャする上で、強い経験的成功を示している。 本稿では,カーネル誘導相互情報(KG-MI)を$f$-divergenceに基づく新しい情報理論指標を提案する。 我々は、K$親和性DAGによって生成された任意のシーケンスが、勾配上昇による単層マルチヘッドトランスを訓練し、大域的最適時間に収束することを証明した。
  論文  参考訳（メタデータ） (2025-10-29T14:07:12Z)
• Towards Unified Multimodal Misinformation Detection in Social Media: A Benchmark Dataset and Baseline [56.790045049514326]
  詐欺の2つの主要な形態は、人造誤報とAI生成コンテンツである。 両形態の偽造を扱うためのフレームワークであるUMFDet(Unified Multimodal Fake Content Detection)を提案する。 UMFDetは、両方の誤情報型に対して堅牢で一貫したパフォーマンスを実現し、特殊ベースラインを上回っている。
  論文  参考訳（メタデータ） (2025-09-30T09:26:32Z)
• Intra-view and Inter-view Correlation Guided Multi-view Novel Class Discovery [52.616615506638205]
  新たなクラス発見 (NCD) は、解離した既知のクラスからの知識を活用することで、新しいクラスをクラスタリングすることを目的としている。 Intra-view and Inter-view correlation Guided Multi-view Novel Class Discovery (IICMVNCD) という新しいフレームワークを提案する。 IICMVNCDはマルチビュー環境でNCDを探索する最初の試みである。
  論文  参考訳（メタデータ） (2025-07-16T08:42:52Z)
• Revisiting Deep Generalized Canonical Correlation Analysis [30.389620125859356]
  正準相関解析は、2つ以上の観測されたランダムベクトルの基盤となる潜在共変分法を発見するための古典的な方法である。 CCAの様々な拡張とバリエーションが提案され、マルチビューデータセットから一般的なランダムな要因を明らかにすることで、我々の能力を強化した。 本稿では,近年の深部CCAの決定論的拡張について再考し,これらの最先端手法の強みと限界を強調した。
  論文  参考訳（メタデータ） (2023-12-20T22:15:10Z)
• Generalization Bounds: Perspectives from Information Theory and PAC-Bayes [31.803107987439784]
  PAC-Bayesianアプローチは、機械学習アルゴリズムの一般化機能に対処するための柔軟なフレームワークとして確立されている。 一般化に関する情報理論的な視点が発達し、一般化と様々な情報手段の関係が確立された。 本稿では,2つの視点が共通する手法と結果を提示し,異なるアプローチと解釈について議論する。
  論文  参考訳（メタデータ） (2023-09-08T15:23:40Z)
• Effect Identification in Cluster Causal Diagrams [51.42809552422494]
  クラスタ因果図(略してC-DAG)と呼ばれる新しいタイプのグラフィカルモデルを導入する。 C-DAGは、限定された事前知識に基づいて変数間の関係を部分的に定義することができる。 我々はC-DAGに対する因果推論のための基礎と機械を開発する。
  論文  参考訳（メタデータ） (2022-02-22T21:27:31Z)
• Latent Correlation-Based Multiview Learning and Self-Supervision: A Unifying Perspective [41.80156041871873]
  この研究は、教師なしのマルチビュー学習のための理論支援フレームワークを提供する。 私たちの開発は、各ビューが共有コンポーネントとプライベートコンポーネントの非線形混合であるマルチビューモデルの提案から始まります。 さらに、各ビュー内のプライベート情報を適切な正規化設計を用いて共有から確実に切り離すことができる。
  論文  参考訳（メタデータ） (2021-06-14T00:12:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。