論文の概要: Evaluating Cumulative Spectral Gradient as a Complexity Measure
- arxiv url: http://arxiv.org/abs/2509.02399v1
- Date: Tue, 02 Sep 2025 15:10:25 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-04 15:17:04.074537
- Title: Evaluating Cumulative Spectral Gradient as a Complexity Measure
- Title(参考訳): 複素度測定としての累積スペクトル勾配の評価
- Authors: Haji Gul, Abdul Ghani Naim, Ajaz Ahmad Bhat,
- Abstract要約: データセットの複雑性尺度としてCSG(Cumulative Spectral Gradient)が提案された。
本研究では,標準知識グラフリンク予測ベンチマークを用いてCSGの挙動を厳格に評価する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Accurate estimation of dataset complexity is crucial for evaluating and comparing link prediction models for knowledge graphs (KGs). The Cumulative Spectral Gradient (CSG) metric derived from probabilistic divergence between classes within a spectral clustering framework was proposed as a dataset complexity measure that (1) naturally scales with the number of classes and (2) correlates strongly with downstream classification performance. In this work, we rigorously assess CSG behavior on standard knowledge graph link prediction benchmarks a multi class tail prediction task, using two key parameters governing its computation, M, the number of Monte Carlo sampled points per class, and K, the number of nearest neighbors in the embedding space. Contrary to the original claims, we find that (1) CSG is highly sensitive to the choice of K and therefore does not inherently scale with the number of target classes, and (2) CSG values exhibit weak or no correlation with established performance metrics such as mean reciprocal rank (MRR). Through experiments on FB15k 237, WN18RR, and other standard datasets, we demonstrate that CSG purported stability and generalization predictive power break down in link prediction settings. Our results highlight the need for more robust, classifier agnostic complexity measures in KG link prediction evaluation.
- Abstract(参考訳): 知識グラフ(KG)のリンク予測モデルの評価と比較には,データセットの複雑さの正確な推定が不可欠である。
スペクトルクラスタリングフレームワーク内のクラス間の確率的ばらつきから導かれる累積スペクトル勾配(CSG)は,(1)クラス数と自然にスケールし,(2)下流分類性能と強く相関するデータセット複雑性尺度として提案された。
本研究では, 標準知識グラフリンク予測ベンチマークにおけるCSGの挙動を, M, モンテカルロサンプル点数, K, 埋め込み空間に近接する隣接点数を用いて, マルチクラステール予測タスクを用いて厳密に評価する。
従来の主張とは対照的に,(1)CSGはKの選択に非常に敏感であり,それゆえに対象クラス数と本質的にはスケールしない,(2)CSG値は平均相互ランク(MRR)のような既存のパフォーマンス指標と相関関係がない,という結果が得られた。
FB15k 237、WN18RR、その他の標準データセットの実験を通じて、CSGが安定度と一般化予測パワーをリンク予測設定で破壊することを実証した。
本結果は,KGリンク予測評価において,より堅牢な分類器に依存しない複雑性尺度の必要性を強調した。
関連論文リスト
- Almost Asymptotically Optimal Active Clustering Through Pairwise Observations [59.20614082241528]
そこで本研究では, ノイズと能動的に収集された応答を用いて, M$アイテムを未知数の$K$個別グループにクラスタリングするための新しい分析フレームワークを提案する。
クラスタリングの精度に対する望ましい信頼性を達成するのに必要なクエリ数の基本的下位境界を確立する。
我々は、一般化された同値比統計の計算可能な変種を開発し、その下限に対する性能ギャップを正確に推定できることを実証的に示す。
論文 参考訳(メタデータ) (2026-02-05T14:16:47Z) - From Global to Granular: Revealing IQA Model Performance via Correlation Surface [83.65597122328133]
我々は, IQA 性能の構造化, きめ細かな解析を行う textbfGranularity-Modulated correlation (GMC) を提案する。
GMCにはtextbfDistribution Regulatorが含まれており、相関関係を規則化し、非均一な品質分布からのバイアスを軽減する。
標準ベンチマークの実験では、GCCはスカラーメトリクスに見えないパフォーマンス特性を示し、IQAモデルを分析、比較、デプロイするためのより情報に富んだ信頼性の高いパラダイムを提供する。
論文 参考訳(メタデータ) (2026-01-29T13:55:26Z) - GRCF: Two-Stage Groupwise Ranking and Calibration Framework for Multimodal Sentiment Analysis [20.77940776708036]
ペアワイズな順序学習フレームワークは、比較から学ぶことで相対的な順序を捉える。
彼らは全ての比較に均一な重要性を割り当て、ハード・ツー・ランクのサンプルに適応的に焦点をあてることに失敗した。
本稿では,グループ相対的政策最適化の理念を取り入れた二段階群ランク付け・フレームワークを提案する。
GRCFは、コア回帰ベンチマークで最先端のパフォーマンスを達成すると同時に、分類タスクにおいて強力な一般化性を示す。
論文 参考訳(メタデータ) (2026-01-14T16:26:44Z) - Scalable Parameter-Light Spectral Method for Clustering Short Text Embeddings with a Cohesion-Based Evaluation Metric [3.7723788828505125]
短いテキストの埋め込みをクラスタ化することは自然言語処理の基本的なタスクである。
本稿では,ラプラシア固有スペクトルの構造から直接クラスタ数を推定するスケーラブルなスペクトル法を提案する。
また、単純かつ解釈可能な評価指標である凝集比も提案する。
論文 参考訳(メタデータ) (2025-11-24T17:52:58Z) - Concept Regions Matter: Benchmarking CLIP with a New Cluster-Importance Approach [20.898059440239603]
クラスタベースの概念重要度(CCI)は、新しい解釈可能性手法である。
CCIは、忠実度ベンチマークの新たな最先端を定めている。
今回,18種類のCLIPの包括的評価を行った。
論文 参考訳(メタデータ) (2025-11-17T05:01:24Z) - KG-EDAS: A Meta-Metric Framework for Evaluating Knowledge Graph Completion Models [0.0]
知識グラフ(KG)を評価する上での大きな課題は、複数のデータセットとメトリクスのパフォーマンスを比較することだ。
我々は,平均解からの距離に基づくKG評価を提案し,マルチメトリック・マルチデータセットのパフォーマンスを統一的なランキングに組み込む。
EDASは、より情報のあるモデル選択をサポートし、データセット間の評価において公平性を促進するグローバルな視点を提供する。
論文 参考訳(メタデータ) (2025-08-21T08:37:35Z) - Evaluating Knowledge Graph Complexity via Semantic, Spectral, and Structural Metrics for Link Prediction [0.0]
構造的およびセマンティックなKG複雑性メトリクスのセットを導入し、ベンチマークする。
CSGはパラメトリゼーションに非常に敏感であり,クラス数に強く対応していない。
CSGは,リンク予測設定において,安定性と一般化予測能力が保たないことを実証した。
論文 参考訳(メタデータ) (2025-08-21T06:27:20Z) - Semiparametric conformal prediction [79.6147286161434]
ベクトル値の非整合性スコアの結合相関構造を考慮した共形予測セットを構築する。
スコアの累積分布関数(CDF)を柔軟に推定する。
提案手法は,現実の回帰問題に対して,所望のカバレッジと競争効率をもたらす。
論文 参考訳(メタデータ) (2024-11-04T14:29:02Z) - Evaluating Probabilistic Classifiers: The Triptych [62.997667081978825]
本稿では,予測性能の異なる相補的な側面に焦点をあてた診断グラフィックのトリチチを提案し,研究する。
信頼性図は校正に対処し、受信動作特性(ROC)曲線は識別能力を診断し、マーフィー図は全体的な予測性能と価値を視覚化する。
論文 参考訳(メタデータ) (2023-01-25T19:35:23Z) - Parametric Classification for Generalized Category Discovery: A Baseline
Study [70.73212959385387]
Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。
パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。
エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
論文 参考訳(メタデータ) (2022-11-21T18:47:11Z) - Riemannian classification of EEG signals with missing values [67.90148548467762]
本稿では脳波の分類に欠落したデータを扱うための2つの方法を提案する。
第1のアプローチでは、インプットされたデータと$k$-nearestの隣人アルゴリズムとの共分散を推定し、第2のアプローチでは、期待最大化アルゴリズム内で観測データの可能性を活用することにより、観測データに依存する。
その結果, 提案手法は観測データに基づく分類よりも優れており, 欠落したデータ比が増大しても高い精度を維持することができることがわかった。
論文 参考訳(メタデータ) (2021-10-19T14:24:50Z) - An improved spectral clustering method for community detection under the
degree-corrected stochastic blockmodel [1.0965065178451106]
次数補正ブロックモデル(SBM)に基づく改良型スペクトルクラスタリング(ISC)手法を提案する。
ISCは、SimmonsとCaltechの2つの弱い信号ネットワークにおいて、それぞれ121/1137と96/590のエラー率で大幅に改善されている。
論文 参考訳(メタデータ) (2020-11-12T13:35:11Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。