論文の概要: Evaluating the Efficiency of Latent Spaces via the Coupling-Matrix

• arxiv url: http://arxiv.org/abs/2509.06314v1
• Date: Mon, 08 Sep 2025 03:36:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:03.959619
• Title: Evaluating the Efficiency of Latent Spaces via the Coupling-Matrix
• Title（参考訳）: 結合行列による潜伏空間の効率評価
• Authors: Mehmet Can Yavuz, Berrin Yanikoglu,
• Abstract要約: 本稿では,次元間の依存関係を直接定量化する冗長指数rho(C)を導入する。 低rho(C)は高い分類精度または低い再構成誤差を確実に予測する一方、高い冗長性は性能崩壊と関連付けられる。 木構造型Parzen Estimator (TPE) は低ロー領域を優先的に探索し,rho(C) がニューラルアーキテクチャ探索を誘導し,冗長性を考慮した正規化ターゲットとして機能することを示唆する。
• 参考スコア（独自算出の注目度）: 0.5013248430919224
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: A central challenge in representation learning is constructing latent embeddings that are both expressive and efficient. In practice, deep networks often produce redundant latent spaces where multiple coordinates encode overlapping information, reducing effective capacity and hindering generalization. Standard metrics such as accuracy or reconstruction loss provide only indirect evidence of such redundancy and cannot isolate it as a failure mode. We introduce a redundancy index, denoted rho(C), that directly quantifies inter-dimensional dependencies by analyzing coupling matrices derived from latent representations and comparing their off-diagonal statistics against a normal distribution via energy distance. The result is a compact, interpretable, and statistically grounded measure of representational quality. We validate rho(C) across discriminative and generative settings on MNIST variants, Fashion-MNIST, CIFAR-10, and CIFAR-100, spanning multiple architectures and hyperparameter optimization strategies. Empirically, low rho(C) reliably predicts high classification accuracy or low reconstruction error, while elevated redundancy is associated with performance collapse. Estimator reliability grows with latent dimension, yielding natural lower bounds for reliable analysis. We further show that Tree-structured Parzen Estimators (TPE) preferentially explore low-rho regions, suggesting that rho(C) can guide neural architecture search and serve as a redundancy-aware regularization target. By exposing redundancy as a universal bottleneck across models and tasks, rho(C) offers both a theoretical lens and a practical tool for evaluating and improving the efficiency of learned representations.
• Abstract（参考訳）: 表現学習における中心的な課題は、表現力と効率性の両立した埋め込みを構築することである。 実際には、ディープネットワークは複数の座標が重なり合う情報をエンコードする冗長な潜在空間をしばしば生成し、有効容量を減らし、一般化を妨げる。 精度や復元損失などの標準的な指標は、そのような冗長性の間接的な証拠しか提供せず、障害モードとして分離することはできない。 本稿では,潜在表現から導かれる結合行列を解析し,その外対角統計をエネルギー距離による正規分布と比較することにより,次元依存性を直接定量化する冗長性指数(rho(C))を提案する。 結果はコンパクトで解釈可能で統計的に基礎付けられた表現品質の尺度である。 MNIST 変種 Fashion-MNIST, CIFAR-10, CIFAR-100 の差別的および生成的設定における rho(C) を検証する。 実証的に、低rho(C)は高い分類精度または低い再構成誤差を確実に予測する一方で、高い冗長性は性能の崩壊と関連付けられる。 推定器の信頼性は潜時次元で増大し、信頼性のある解析のために自然な下界が得られる。 さらに,木構造型Parzen Estimator (TPE) が低rho領域を優先的に探索できることを示し,rho(C) がニューラルネットワーク探索を誘導し,冗長性を考慮した正規化ターゲットとして機能することを示唆した。 モデルとタスクの共通ボトルネックとして冗長性を明らかにすることにより、rho(C)は理論レンズと、学習された表現の効率を評価し改善するための実用的なツールの両方を提供する。

関連論文リスト

• Nonparametric Bellman Mappings for Value Iteration in Distributed Reinforcement Learning [3.5051814539447474]
  本稿では,分散強化学習(DRL)における値反復(VI)のためのベルマン写像(B-Maps)を提案する。 B-マップは核ヒルベルト空間で表されるQ-函数で作用し、非パラメトリックな定式化を可能にする。 2つのよく知られた制御問題に関する数値実験は、提案した非パラメトリックB-マップの優れた性能を示す。
  論文  参考訳（メタデータ） (2025-03-20T14:39:21Z)
• Theoretical Insights in Model Inversion Robustness and Conditional Entropy Maximization for Collaborative Inference Systems [89.35169042718739]
  協調推論により、クラウドサーバに機密データを公開することなく、エンドユーザは強力なディープラーニングモデルを活用することができる。 近年の研究では、これらの中間機能は、情報が漏洩し、生データをモデル反転攻撃(MIA)によって再構築できるため、プライバシーを十分に保持できないことが判明している。 この研究はまず、与えられた中間特徴の入力の条件エントロピーが、任意のMIAの下での再構成平均二乗誤差(MSE)の保証された下界を与えることを理論的に証明する。 そして、ガウス混合推定に基づいて、この条件付きエントロピーを有界化するための微分可能かつ可解な尺度を導出し、逆ロバスト性を高める条件付きエントロピーアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2025-03-01T07:15:21Z)
• Bridging Internal Probability and Self-Consistency for Effective and Efficient LLM Reasoning [53.25336975467293]
  パープレキシティや自己整合性などの手法の第一理論誤差分解解析について述べる。 パープレキシティ法は、適切な整合関数が存在しないため、かなりのモデル誤差に悩まされる。 本稿では、自己整合性とパープレキシティを統合したReasoning-Pruning Perplexity Consistency(RPC)と、低確率推論経路を排除したReasoning Pruningを提案する。
  論文  参考訳（メタデータ） (2025-02-01T18:09:49Z)
• Canonical Correlation Guided Deep Neural Network [14.188285111418516]
  深層ニューラルネットワーク(CCDNN)により実現可能な標準相関学習フレームワークを提案する。 提案手法では、最適化の定式化は相関を最大化するために制限されず、代わりに正規相関を制約として行う。 相関による冗長性を低減するために、冗長性フィルタを設計する。
  論文  参考訳（メタデータ） (2024-09-28T16:08:44Z)
• Matrix Completion-Informed Deep Unfolded Equilibrium Models for Self-Supervised k-Space Interpolation in MRI [8.33626757808923]
  正規化モデル駆動型ディープラーニング(DL)は,DLの強力な表現能力を活用する能力から注目されている。 理論的に保証され,完全サンプリングラベルに依存しない加速MRIのための自己教師型DLアプローチを提案する。
  論文  参考訳（メタデータ） (2023-09-24T07:25:06Z)
• Compressed Regression over Adaptive Networks [58.79251288443156]
  分散エージェントのネットワークによって達成可能な性能を導出し,通信制約や回帰問題を解消し,適応的に解決する。 エージェントによって最適化に必要なパラメータをオンラインで学習できる最適化アロケーション戦略を考案する。
  論文  参考訳（メタデータ） (2023-04-07T13:41:08Z)
• DAIS: Automatic Channel Pruning via Differentiable Annealing Indicator Search [55.164053971213576]
  畳み込みニューラルネットワークは,計算オーバーヘッドが大きいにもかかわらず,コンピュータビジョンタスクの実行において大きな成功を収めている。 構造的(チャネル)プルーニングは、通常、ネットワーク構造を保ちながらモデルの冗長性を低減するために適用される。 既存の構造化プルーニング法では、手作りのルールが必要であり、これは大きなプルーニング空間に繋がる可能性がある。
  論文  参考訳（メタデータ） (2020-11-04T07:43:01Z)
• DessiLBI: Exploring Structural Sparsity of Deep Networks via Differential Inclusion Paths [45.947140164621096]
  逆スケール空間の差分包摂に基づく新しい手法を提案する。 DessiLBIが早期に「優勝チケット」を発表することを示す。
  論文  参考訳（メタデータ） (2020-07-04T04:40:16Z)
• Robust Locality-Aware Regression for Labeled Data Classification [5.432221650286726]
  本稿では,ロバスト局所性認識回帰(RLAR)という特徴抽出フレームワークを提案する。 本モデルでは,クラス間の平均差を使わずに,適応的に境界表現学習を行うために再ターゲット回帰を導入する。 外れ値の乱れを緩和し、過度な適合を防止するため、L2,1ノルムによる正規化項とともに回帰項と局所性を考慮した項を計測する。
  論文  参考訳（メタデータ） (2020-06-15T11:36:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。