論文の概要: Rank Is Not Capacity: Spectral Occupancy for Latent Graph Models

• arxiv url: http://arxiv.org/abs/2605.11142v1
• Date: Mon, 11 May 2026 18:46:53 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-13 21:48:56.366847
• Title: Rank Is Not Capacity: Spectral Occupancy for Latent Graph Models
• Title（参考訳）: ランクは容量ではない:潜在グラフモデルのスペクトル占有性
• Authors: Nikolaos Nakis, Panagiotis Promponas, Konstantinos Tsirkas, Katerina Mamali, Eftychia Makri, Leandros Tassiulas, Nicholas A. Christakis,
• Abstract要約: スペクトルプレフィックス抽出と容量目標表現分析(Spectra)を提案する。 分析の単位としてのランクを学習された正の半定値カーネルのスペクトルに置き換え、スペクトルが適合する範囲で同等となるようにトレース正規化する。 Spectraはパフォーマンス・フロンティアをトレースし、予測精度と実現された次元とのトレードオフを可視化する。
• 参考スコア（独自算出の注目度）: 8.608322716392232
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Graph representation learning has become a standard approach for analyzing networked data, with latent embeddings widely used for link prediction, community detection, and related tasks. Yet a basic design choice, the latent dimension, is still treated as a brittle hyperparameter, fixed before training and tuned by held-out performance. Learned factors are also identifiable only up to rotation and rescaling, so the nominal rank rarely coincides with the quantity that governs model behavior. We propose Spectral Prefix Extraction and Capacity-Targeted Representation Analysis (Spectra), which replaces rank as the unit of analysis with the spectrum of a learned positive semidefinite kernel, trace-normalized so that spectra are comparable across fits. The normalized eigenvalues form a distribution on the simplex, and their Shannon effective rank acts both as a summary of learned capacity and as a controllable training-time coordinate: a single scalar shapes this realized dimension during training, and bisection targets any desired value within the rank cap. To theoretically support that, we show local regularity and monotonicity of the realized-dimension profile. Across collaboration, social, biological, and infrastructure networks, Spectra traces performance--capacity frontiers that make the trade-off between predictive accuracy and realized dimension visible. It performs competitively with strong link-prediction baselines, yields aligned lower-capacity views of the same fitted model through spectral prefixes, and provides a principled handle on capacity in the overparameterized regime. Capacity thus becomes a property of the fitted model rather than a hyperparameter of the training.
• Abstract（参考訳）: グラフ表現学習は、リンク予測やコミュニティ検出、関連するタスクに広く使われている潜伏埋め込みによって、ネットワーク化されたデータを解析するための標準的なアプローチとなっている。 しかし、基本的な設計選択である潜伏寸法は、まだ脆弱なハイパーパラメータとして扱われ、トレーニング前に固定され、ホールドアウト性能によって調整される。 学習された因子は回転と再スケーリングによってのみ識別できるため、名目上のランクはモデル行動を管理する量とほとんど一致しない。 本稿では,分析単位としてのランクを,学習された正の半定値カーネルのスペクトルに置き換えるスペクトル事前修正抽出と容量目標表現解析(Spectra)を提案する。 正規化された固有値は、単純度上の分布を形成し、シャノン効果ランクは、学習能力の要約と制御可能な訓練時間座標の両方として機能する。 理論的にそれを支持するために,実測次元プロファイルの局所正則性と単調性を示す。 コラボレーション、社会的、生物学的、インフラネットワーク全体にわたって、Spectraはパフォーマンスのフロンティアをトレースし、予測精度と実現された次元の間のトレードオフを可視化する。 強いリンク予測ベースラインと競合して動作し、スペクトルプレフィックスを通じて同じ適合モデルの下位キャパシティビューを出力し、過度な状態におけるキャパシティの原則的ハンドラを提供する。 したがって、キャパシティはトレーニングのハイパーパラメータではなく、装着されたモデルの特性となる。

関連論文リスト

• Pretraining Induces a Reusable Spectral Basis for Downstream Task Adaptation [10.547646302449682]
  微調整事前訓練されたモデルは、全パラメータ空間の低次元部分空間で発生する。 ダウンストリームタスクとは無関係な安定方向か、それとも、追加調整を必要としないタスク関連構造をすでにエンコードしているか? 事前学習した重み行列の先頭特異ベクトルは、微調整の下で非常に安定であり、無関係な下流タスク間で共有されることを示す。
  論文  参考訳（メタデータ） (2026-05-08T06:12:43Z)
• Elastic Spectral State Space Models for Budgeted Inference [6.579320299248572]
  ファンデーションモデルは一般的に、固定された計算能力でトレーニングされるが、現実のアプリケーションは異なるリソース制約を持つプラットフォームにデプロイする必要がある。 本研究では,フル能力で1回のトレーニングしか必要としないElastic Spectral State Space Model (ES-SSM)を提案する。 本研究では,1回トレーニングしたES-SSMモデルに対して,現代的なTransformerとSSMのベースラインを同様のパラメータスケールで比較して,競合性能を実現することができることを示す。
  論文  参考訳（メタデータ） (2026-01-30T02:58:19Z)
• Making Foundation Models Probabilistic via Singular Value Ensembles [56.4174499669573]
  ファンデーションモデルは機械学習において支配的なパラダイムとなり、大規模な事前学習を通じて様々なタスクにまたがる顕著なパフォーマンスを実現している。 不確実性を定量化し、独立したモデルのアンサンブルを訓練する標準的なアプローチは、アンサンブルサイズと線形にスケールする禁制的な計算コストを発生させる。 本稿では,単純だが強力なコア仮定に基づいて,パラメータ効率の高い暗黙アンサンブル手法であるSVEを提案する。 本研究では,SVEの不確かさの定量化が,基本モデルのパラメータ数を1%以下に増加させながら,明示的な深層アンサンブルに匹敵することを示す。
  論文  参考訳（メタデータ） (2026-01-29T18:07:18Z)
• SIGMA: Scalable Spectral Insights for LLM Collapse [51.863164847253366]
  SIGMA(Spectral Inequalities for Gram Matrix Analysis)は,モデル崩壊のための統一的なフレームワークである。 行列のスペクトル上の決定論的境界を導出するベンチマークを利用することで、SIGMAは表現空間の収縮を追跡するために数学的に基底化された計量を提供する。 我々は、SIGMAが状態への遷移を効果的に捉え、崩壊のメカニズムに関する理論的知見の両方を提供することを示した。
  論文  参考訳（メタデータ） (2026-01-06T19:47:11Z)
• Gradient-Weight Alignment as a Train-Time Proxy for Generalization in Classification Tasks [32.61771956544867]
  サンプルごとの勾配とモデル重みのコヒーレンスを定量化するグラディエント・ウェイト・アライメント(GWA)を導入する。 実効学習はコヒーレントなアライメントに対応し,不適応は一般化の劣化を示す。 実験により、GWAは最適な早期停止を正確に予測し、モデルの比較を原則とし、影響のあるトレーニングサンプルを特定する。
  論文  参考訳（メタデータ） (2025-10-29T13:04:17Z)
• The Curious Case of In-Training Compression of State Space Models [49.819321766705514]
  ステートスペースモデル(SSM)は、並列化可能なトレーニングと高速推論の両方を提供する。 鍵となる設計上の課題は、表現力の最大化と計算負荷の制限の間の適切なバランスを打つことだ。 我々のアプローチである textscCompreSSM はリニアリカレントユニットのような線形時間不変SSMに適用されるが、選択モデルにも拡張可能である。
  論文  参考訳（メタデータ） (2025-10-03T09:02:33Z)
• Self-Boost via Optimal Retraining: An Analysis via Approximate Message Passing [58.52119063742121]
  独自の予測と潜在的にノイズの多いラベルを使ってモデルをトレーニングすることは、モデルパフォーマンスを改善するためのよく知られた戦略である。 本稿では,モデルの予測と提供ラベルを最適に組み合わせる方法について論じる。 我々の主な貢献は、現在のモデルの予測と与えられたラベルを組み合わせたベイズ最適集約関数の導出である。
  論文  参考訳（メタデータ） (2025-05-21T07:16:44Z)
• Improving Network Interpretability via Explanation Consistency Evaluation [56.14036428778861]
  本稿では、より説明可能なアクティベーションヒートマップを取得し、同時にモデル性能を向上させるフレームワークを提案する。 具体的には、モデル学習において、トレーニングサンプルを適応的に重み付けするために、新しいメトリクス、すなわち説明整合性を導入する。 そこで,本フレームワークは,これらのトレーニングサンプルに深い注意を払ってモデル学習を促進する。
  論文  参考訳（メタデータ） (2024-08-08T17:20:08Z)
• Learning Neural Eigenfunctions for Unsupervised Semantic Segmentation [12.91586050451152]
  スペクトルクラスタリング(英: Spectral clustering)は、異なるクラスタを構築するために画素のスペクトル埋め込みを計算する理論上の解である。 現在のアプローチは、まだスペクトル分解の非効率性と、試験データに適用する際の柔軟性に悩まされている。 この研究は、スペクトルクラスタリングをニューラルネットワークに基づく固有関数を用いてスペクトル埋め込みを生成するパラメトリックアプローチとしてキャストすることで、これらの問題に対処する。 実際には、神経固有関数は軽量であり、事前訓練されたモデルの特徴を入力とし、トレーニング効率を改善し、より密集した予測のための事前訓練されたモデルの可能性を解き放つ。
  論文  参考訳（メタデータ） (2023-04-06T03:14:15Z)
• Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
  提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。 我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
  論文  参考訳（メタデータ） (2023-01-16T14:25:02Z)
• Controlling for sparsity in sparse factor analysis models: adaptive latent feature sharing for piecewise linear dimensionality reduction [2.896192909215469]
  本稿では,現在潜伏している特徴分解技術の鍵となる限界に対処できる,シンプルでトラクタブルな特徴割り当てモデルを提案する。 適応型因子分析(aFA)と適応型確率的原理成分分析(aPPCA)を応用し,柔軟な構造発見と次元減少を実現する。 APPCAとaFAは、生のMNISTに適用した場合と、オートエンコーダの特徴を解釈する場合の両方において、高いレベルの特徴を推測できることを示す。
  論文  参考訳（メタデータ） (2020-06-22T16:09:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。