論文の概要: What Remains Without Test Labels? Re-evaluating a Graph-Level Anomaly Detection Benchmark
- arxiv url: http://arxiv.org/abs/2610.24045v1
- Date: Fri, 16 Oct 2026 15:15:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-26 11:28:09.620141
- Title: What Remains Without Test Labels? Re-evaluating a Graph-Level Anomaly Detection Benchmark
- Title(参考訳): テストラベルなしで残るものは何か? グラフレベル異常検出ベンチマークの再評価
- Abstract要約: グラフレベルの異常検出は通常のグラフでのみ訓練されるが、ベンチマークではモデル選択にテストラベルを使用することができる。
UB-GOLDの結果が後続の論文で再利用された場合,ラベルなし検出が有効かどうかを検討する。
- 参考スコア(独自算出の注目度): 24.266658124099934
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Graph-level anomaly detectors are trained only on normal graphs, yet benchmarks may use test labels for model selection. We examine whether UB-GOLD results reused by later papers support label-free detection. We audit UB-GOLD and 14 GLAD code bases, re-run 21 detectors on UB-GOLD's folds under selection rules with and without test labels, and evaluate sensitivity to known structural changes. Test labels select checkpoints in UB-GOLD's shared training loop and checkpoints or hyperparameters in 8 of the 14 code bases. UB-GOLD also evaluates its kernel baselines against misaligned labels. Across nine datasets, selecting checkpoints by test AUROC adds an average of 5.12 AUROC points [3.97, 6.24] for the 12 UB-GOLD detectors relative to the final checkpoint and 4.13 [3.32, 4.79] relative to held-out normal graphs. In a post hoc permutation analysis with no truly better checkpoint, picking the best of noisy test evaluations still yields a gain more than half as large as the one observed against the final checkpoint. Configurations tuned on test labels score a further 1.53 points [0.64, 2.42] above repository defaults, a gap that mixes the value of test labels with that of tuning itself. With tuned hyperparameters and label-free checkpoint selection, the two strongest detectors retain their lead, while comparisons below them are less stable. Six of eight detectors evaluated out of sample miss size-preserving composition changes that graphlet counts detect. We recommend reporting results selected without test labels as the main comparisons and release per-run outputs that allow verification without retraining.
- Abstract(参考訳): グラフレベルの異常検出は通常のグラフでのみ訓練されるが、ベンチマークではモデル選択にテストラベルを使用することができる。
UB-GOLDの結果が後続の論文で再利用された場合,ラベルなし検出が有効かどうかを検討する。
UB-GOLD と 14 GLAD のコードベースを検査し、UB-GOLD の折り返しをテストラベルと無テストラベルで選択規則で21個の検出器を再実行し、既知の構造変化に対する感度を評価する。
テストラベルはUB-GOLDの共有トレーニングループでチェックポイントを選択し、14のコードベースのうち8つのチェックポイントまたはハイパーパラメータを選択する。
UB-GOLDはカーネルのベースラインを不整合ラベルに対して評価する。
テストAUROCによるチェックポイントの選択は、最終チェックポイントに対して12個のUB-GOLD検出器に対して平均5.12個のAUROCポイント[3.97, 6.24]、保持された正常グラフに対して4.13個の[3.32, 4.79]を加算する。
真に優れたチェックポイントを持たないポストホック置換分析では、ノイズの多いテスト評価のベストを選択すると、最終的なチェックポイントに対して観測されるものの半分以上の利得が得られる。
テストラベルにチューニングされた設定は、リポジトリのデフォルト値よりさらに1.53ポイント[0.64, 2.42]高い。
調整されたハイパーパラメータとラベルなしチェックポイントの選択により、2つの最強検出器はリードを保持し、下記の比較は安定していない。
サンプルミスサイズ保存組成から評価した8つの検出器のうち6つは、グラフレット数が検出した。
テストラベルなしで選択した結果を主要な比較として、再トレーニングせずに検証可能なラン毎のアウトプットとして報告することを推奨する。
関連論文リスト
- Beyond Answer Voting: Fine-Grained Correction of LLM Reasoning through Graph Alignment across Sampled Traces [54.59897876520507]
DDRGは、推論トレースの凍結バンクからの選択的修正のためのフレームワークである。
DDRGは、ソースグラウンドのクレームグラフを構築し、ローカライズされたコンフリクトを応答盲検者に送信する。
実験の結果,ネイティブゼロショットDDRGは8.65ポイントと15.83ポイントの直接応答よりもマクロ平均精度を向上させることがわかった。
論文 参考訳(メタデータ) (2026-10-13T15:58:02Z) - Where the Numbers Come From: Auditing Evaluation in Provenance-Based Intrusion Detection [42.49426058823369]
証明に基づく侵入検知器のスコアを再現しても、そのアラームの出力やエンコーダが使用する情報についてそのスコアが何を言っているかは定かでない。
我々は、リリースした9つの実装を監査し、独自のコードを使用して4つの検出器を実行し、3つの測定効果を分離する。
論文 参考訳(メタデータ) (2026-09-27T13:01:02Z) - A First-Principles Evaluation of Graph-Based Network Intrusion Detection Systems [7.608784888435352]
グラフベースのネットワーク侵入検知システム(GIDS)は、強力なベンチマーク検出指標を報告しているが、これらの指標はデプロイ可能性についてはほとんど確立していない。
我々は,9つの代表的なGIDSを調査し,その中の5つをGIDS-Eval内に再実装し,マッチしたプロトコルの下で4つのデータセット上で評価する。
我々は,同じフレームワーク上に構築されたエンコーダフリーコントロールであるGIDS-Liteを紹介した。
論文 参考訳(メタデータ) (2026-09-10T22:38:09Z) - Multi-Label Test-Time Adaptation with Bayesian Conditional Priors [15.878958356965159]
Conditional Priors Estimation (BCP) は、バックボーンをチューニングせずにラベル依存性を注入する勾配のないテスト時間適応法である。
BCPは、未ラベルのテストストリームからアンカー条件の事前値をオンラインで推定することで、ターゲットアノテーションなしで動作します。
BCPは、標準のマルチラベルベンチマークと複数のCLIPバックボーンで、強力なTTAベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2026-06-11T05:29:00Z) - FineVerify: Scaling Test-Time Compute with Fine-Grained Self-Verification for Agentic Search [88.16262636915975]
FineVerifyはエージェント検索のためのきめ細かい自己検証フレームワークである。
各質問をチェック可能なサブクエストに分解し、サンプル候補を検証し、最も高い集計スコアの候補を選択する。
FineVerifyは、標準のスケーリングベースラインを一貫して上回る。
論文 参考訳(メタデータ) (2026-05-30T10:21:20Z) - TopoGeoScore: A Self-Supervised Source-Only Geometric Framework for OOD Checkpoint Selection [1.4877856019517555]
ラベルなしOODチェックポイント選択のためのソースのみの幾何スコアである textbfTopoGeoScore を提案する。
我々は、ソース埋め込みからクラス条件の相互$k$-nearest-neighbourグラフを構築し、3つの解釈可能な信号を抽出する。
ウェイトを手で固定する代わりに、TopoGeoScoreは自己教師対象を通じて非負の線形スコアを学習する。
論文 参考訳(メタデータ) (2026-05-09T10:46:47Z) - Unifying Unsupervised Graph-Level Anomaly Detection and Out-of-Distribution Detection: A Benchmark [73.58840254552656]
近年,非教師付きグラフレベルの異常検出(GLAD)と教師なしグラフレベルのアウト・オブ・ディストリビューション(OOD)検出が注目されている。
教師なしアンダーラインtextbfGraphレベルアンダーラインtextbfOOD と anomaunderlinetextbfLy underlinetextbfDetection (ourmethod) に対するアンダーラインtextbfUnifiedアンダーラインtextbffBenchmark を提案する。
私たちのベンチマークには35のデータセットが含まれています
論文 参考訳(メタデータ) (2024-06-21T04:07:43Z) - Bounding Box Stability against Feature Dropout Reflects Detector Generalization across Environments [52.65013932553849]
良い検出器は、位置があまり変化しない有界箱を出力する傾向があり、弱い検出器の有界箱は顕著な位置変化を受ける。
ボックス安定性スコア(BoSスコア)を計算して、この安定性を反映する。
各種試験環境における平均平均精度(mAP)を用いて測定した検出精度とBoSスコアが強い正の相関関係を持つことに寄与する。
論文 参考訳(メタデータ) (2024-03-20T17:59:16Z) - GraphCleaner: Detecting Mislabelled Samples in Popular Graph Learning
Benchmarks [27.389831646730944]
本稿では,グラフデータセット中の不正なノードを検出し,修正するためのポストホック手法であるGraphCleanerを提案する。
実データケーススタディでは、GraphCleanerは、人気のあるグラフベンチマークであるPubMed、Cora、CiteSeer、OGB-arxivで、本当の、あるいはこれまで未知のミスラベルを検出する。
PubMedデータのうち、少なくとも6.91%は不正または曖昧であり、単に不正データを削除するだけで、評価性能は86.71%から89.11%に向上する。
論文 参考訳(メタデータ) (2023-05-30T10:48:59Z) - Rethinking Pseudo Labels for Semi-Supervised Object Detection [84.697097472401]
物体検出に適した確実な擬似ラベルを導入する。
我々は,クラス不均衡問題を緩和するために,各カテゴリの擬似ラベルと再重み付き損失関数を生成するために使用する閾値を動的に調整する。
提案手法では,COCOのラベル付きデータのみを用いて,教師付きベースラインを最大10%改善する。
論文 参考訳(メタデータ) (2021-06-01T01:32:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。