論文の概要: The Selection Rule Decides the Winner: A Pre-Registered Audit of Open-Set Graph Anomaly Detection
- arxiv url: http://arxiv.org/abs/2609.33370v1
- Date: Sun, 27 Sep 2026 08:54:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-06 00:39:49.367358
- Title: The Selection Rule Decides the Winner: A Pre-Registered Audit of Open-Set Graph Anomaly Detection
- Title(参考訳): 選択規則が勝者を決定:オープンセットグラフ異常検出の事前登録監査
- Abstract要約: オープンセットグラフ異常検出は、あるクラスからラベル付けされたいくつかの異常を訓練し、ラベル付けされていない異常も見つけなければならない。
我々は、この研究のために作られた小さな一階検出器であるOUTPOSTとともに、DEMOとNSRegの2つの新しい手法を再実行した。
ベストエポックルールでは、OUTPOSTとNSRegはそれぞれ7つのグラフのうち3つをリードし、検証ルールではNSRegは5つをリードする。
- 参考スコア(独自算出の注目度): 6.608203615667378
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Open-set graph anomaly detection trains on a few labeled anomalies from one class and must also find anomaly classes that were never labeled. Published results share three conventions: the test score is read at the best epoch on the test set, baseline numbers are copied from earlier papers, and most anomalies are minority classes relabeled as anomalous. We ask how much of the reported ranking these conventions decide. We re-run two recent methods, DEMO and NSReg, together with OUTPOST, a small first-order detector built for this study. All three use one protocol with identical seeds and splits on eight graphs (seven for the baselines, which cannot run on ogbn-mag), ten seeds each, and every run is scored under both the best-epoch rule and a deployable validation rule. Before the runs that test them, we registered 40 predictions. Three findings hold. First, the rule changes the leader: under the best-epoch rule, OUTPOST and NSReg each lead three of seven graphs, while under the validation rule, NSReg leads five. Second, the best-epoch bonus depends on how the benchmark was built: 0.045--0.080 AUC-ROC on the three small relabeled-class graphs and 0.002--0.014 on the three real fraud graphs. Third, pseudo-labeling in OUTPOST is worth 0.038--0.065 AUC-ROC on the same three graphs but gives no benefit on any real fraud graph. We also show that a 0.002 tie band for hyperparameter selection lies below the paired standard error on all six graphs tested, even at ten seeds. Twelve of our 40 predictions were falsified, and we report them. We close with a short reporting checklist.
- Abstract(参考訳): オープンセットグラフ異常検出は、あるクラスからラベル付けされたいくつかの異常を訓練し、ラベル付けされていない異常クラスも見つけなければならない。
テストスコアは、テストセット上で最高のエポックで読み取られ、ベースライン番号は、以前の論文からコピーされ、ほとんどの異常は、異常として許容されるマイノリティクラスである。
報告されたこれらの大会のランク付けのどれ程が決定されるか尋ねる。
我々は、この研究のために作られた小さな一階検出器であるOUTPOSTとともに、DEMOとNSRegの2つの新しい手法を再実行した。
3つとも同一のシードを持つ1つのプロトコルを使用し、8つのグラフ(ogbn-mag上では実行できない7つのベースライン)で分割し、それぞれ10のシードを生成し、各ランはベストエポックルールとデプロイ可能なバリデーションルールの両方でスコアされる。
テストを行う前に、40の予測を登録しました。
3つの発見がある。
まず、ルールはリーダーを変える。最もエポックなルールでは、OUTPOSTとNSRegはそれぞれ7つのグラフのうち3つをリードし、検証ルールではNSRegは5つをリードする。
第二に、ベストエポジカルなボーナスは、ベンチマークの作り方によって異なる: 3つの小さな許容クラスグラフに0.045--0.080 AUC-ROC、3つの実際の不正グラフに0.002--0.014。
第3に、OUTPOSTの擬似ラベルは、同じ3つのグラフ上で0.038--0.065 AUC-ROCの価値があるが、実際の不正グラフにはメリットがない。
また、超パラメータ選択のための0.002タイリングバンドが、テストされた6つのグラフのペア標準誤差よりも低く、たとえ10個のシードであっても示している。
40件の予測のうち12件が偽造され、報告しました。
短いレポートチェックリストで締めくくります。
関連論文リスト
- Does Graph Structure Earn Its Place in Microservice Root-Cause Analysis? A Controlled Study on RCAEval, and What the Benchmark Was Really Measuring [0.0]
グラフニューラルネットワークは、マイクロサービスの根本原因分析に関する最近の研究を支配しているが、最近の結果は、グラフが寄与するかどうかを疑問視している。
RCAEvalでは、同じ特徴を持つ3つの学習アーム、オプティマイザ、バリデーション分割、アーリーストッピングルール、スコアリングヘッドの3つを比較した。
2つのRCAEvalベンチマーク、2つのトポロジーソース、4つのレギュレーションで、信頼できるグラフ固有の効果は見つからない。
論文 参考訳(メタデータ) (2026-09-22T21:05:08Z) - Clean Engineering, Unstable Measurement: A Preregistered Reliability Failure of Black-Box LLM Observers on Shared Endpoints [4.41537705949485]
言語モデル審査員は、トレーニングデータをゲートし、世代をスコアし、リーダーボードを駆動する。
我々は、事前登録された2つのキャンペーンにおいて、すべてのしきい値が事前に固定された状態で、その仮定を監査した。
52,988件の要求を監査し、スピアマン0.400で0.90と一致した。
証拠を3段階のスナップショット識別はしご、8つの設計ルール、レポートチェックリストに抽出する。
論文 参考訳(メタデータ) (2026-09-03T17:59:43Z) - TTPO: Test-Time Policy Optimization [53.81524570216593]
テストタイムポリシー最適化(TTPO)は、OPSDを介してロールアウトに同意し、Grouped RLと不一致なロールアウトを罰する非対称な目的である。
TTPOは5つの競合レベルのベンチマークでラベル管理されたOPSDと一致し、Qwen3-1.7Bは38.0%から45.2%まで上昇し、思考せずに+25.2%から+36.4%に上昇し、クロスタスクの一般化を示す。
論文 参考訳(メタデータ) (2026-08-27T17:58:10Z) - CatchBench: When Can an Agent Failure Be Caught? [6.230697997280125]
CatchBenchは、監査人の質問を3つの情報状態に分類する。
以前のベンチマークでは、これらの状態の1つを修正したり、テレメトリを変更したりする。
各州は異なる質問を認めており、7つのタスク契約は独自のラベルとメトリクスを持っている。
論文 参考訳(メタデータ) (2026-08-24T05:09:41Z) - ChartGenEval: Corruption-Tested Multi-Dimensional Feedback for Rhythm-Game Chart Generation [0.0]
生成されたリズムゲームチャートは、1つの公式メモ列を再生する必要はない。
ChartGenEvalは、6つのクエスト評価フレームワークで、自動的な汚職テストのコアを持つ。
慣れ親しんだ統計値がチャートの品質を測定することを前提とせず、各コア出力を線量制御障害でテストする。
論文 参考訳(メタデータ) (2026-07-14T15:08:56Z) - DAGAD: Data Augmentation for Graph Anomaly Detection [57.92471847260541]
本稿では、属性グラフのための新しいデータ拡張ベースのグラフ異常検出(DAGAD)フレームワークを考案する。
3つのデータセットに関する一連の実験は、DAGADが様々な主に使用されるメトリクスに関して、10の最先端のベースライン検出器より優れていることを証明している。
論文 参考訳(メタデータ) (2022-10-18T11:28:21Z) - Deep Graph-level Anomaly Detection by Glocal Knowledge Distillation [61.39364567221311]
グラフレベルの異常検出(GAD)は、その構造やノードの特徴に異常なグラフを検出する問題を記述している。
GADの課題の1つは、局所的および大域的非正則グラフの検出を可能にするグラフ表現を考案することである。
本稿では,グラフとノード表現の連成ランダム蒸留により,グローバルおよびローカルな正規パターン情報を豊富に学習するGADのための新しい深部異常検出手法を提案する。
論文 参考訳(メタデータ) (2021-12-19T05:04:53Z) - Stable Prediction on Graphs with Agnostic Distribution Shift [105.12836224149633]
グラフニューラルネットワーク(GNN)は、ランダムにトレーニングとテストデータを分離した様々なグラフタスクに有効であることが示されている。
しかし、実際のアプリケーションでは、トレーニンググラフの分布はテストグラフとは異なるかもしれない。
本稿では,グラフ上での局所的およびグローバル的に安定な学習と予測を可能にする,GNNのための新しい安定な予測フレームワークを提案する。
論文 参考訳(メタデータ) (2021-10-08T02:45:47Z) - Combining Label Propagation and Simple Models Out-performs Graph Neural
Networks [52.121819834353865]
多くの標準的なトランスダクティブノード分類ベンチマークでは、最先端のGNNの性能を超えたり、一致させることができる。
これをC&S(Correct and Smooth)と呼ぶ。
我々のアプローチは、様々なベンチマークで最先端のGNNの性能を上回るか、ほぼ一致している。
論文 参考訳(メタデータ) (2020-10-27T02:10:52Z) - TACRED Revisited: A Thorough Evaluation of the TACRED Relation
Extraction Task [80.38130122127882]
TACREDはリレーショナル抽出(RE)において最も大きく、最も広く使われているクラウドソースデータセットの1つである
パフォーマンスの天井に到達したのか、改善の余地はあるのか?
ラベルエラーは絶対F1テストエラーの8%を占めており、例の50%以上を可逆化する必要がある。
論文 参考訳(メタデータ) (2020-04-30T15:07:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。