論文の概要: SMATCH++: Standardized and Extended Evaluation of Semantic Graphs

• arxiv url: http://arxiv.org/abs/2305.06993v1
• Date: Thu, 11 May 2023 17:29:47 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-12 13:44:55.864897
• Title: SMATCH++: Standardized and Extended Evaluation of Semantic Graphs
• Title（参考訳）: SMATCH++:セマンティックグラフの標準化と拡張評価
• Authors: Juri Opitz
• Abstract要約: Smatchメトリックはグラフ距離を評価する一般的な方法である。 構造的に逸脱するが有効なグラフを許容するアノテーションガイドラインに完全に準拠する方法を示す。 スコアリングの改善のために,細粒度部分グラフの意味の計算を標準化し,拡張する手法を提案する。
• 参考スコア（独自算出の注目度）: 4.987581730476023
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The Smatch metric is a popular method for evaluating graph distances, as is necessary, for instance, to assess the performance of semantic graph parsing systems. However, we observe some issues in the metric that jeopardize meaningful evaluation. E.g., opaque pre-processing choices can affect results, and current graph-alignment solvers do not provide us with upper-bounds. Without upper-bounds, however, fair evaluation is not guaranteed. Furthermore, adaptions of Smatch for extended tasks (e.g., fine-grained semantic similarity) are spread out, and lack a unifying framework. For better inspection, we divide the metric into three modules: pre-processing, alignment, and scoring. Examining each module, we specify its goals and diagnose potential issues, for which we discuss and test mitigation strategies. For pre-processing, we show how to fully conform to annotation guidelines that allow structurally deviating but valid graphs. For safer and enhanced alignment, we show the feasibility of optimal alignment in a standard evaluation setup, and develop a lossless graph compression method that shrinks the search space and significantly increases efficiency. For improved scoring, we propose standardized and extended metric calculation of fine-grained sub-graph meaning aspects. Our code is available at https://github.com/flipz357/smatchpp
• Abstract（参考訳）: Smatchメトリックは、例えば意味グラフ解析システムの性能を評価するために必要となるグラフ距離を評価する一般的な方法である。 しかし、有意義な評価を阻害する指標のいくつかを観察する。 例えば、不透明な前処理の選択は結果に影響を与え、現在のグラフアライメントソルバは上位境界を提供していない。 しかし、上限がなければ、公正な評価は保証されない。 さらに、拡張タスク(例えば、きめ細かいセマンティックな類似性)に対するSmatchの適応が広がり、統一フレームワークが欠如している。 より良い検査のために、メトリックを前処理、アライメント、スコアリングの3つのモジュールに分けます。 各モジュールを検査し、その目標を特定し、潜在的な問題を診断し、緩和戦略について議論し、テストする。 事前処理では、構造的に逸脱するが有効なグラフを許容するアノテーションガイドラインに完全に準拠する方法を示す。 安全で高機能なアライメントを実現するため、標準評価設定における最適アライメントの実現可能性を示し、探索空間を縮小し効率を大幅に向上するロスレスグラフ圧縮法を開発した。 スコアリングを改善するため,細粒度部分グラフの意味を標準化し,拡張した計量計算を提案する。 私たちのコードはhttps://github.com/flipz357/smatchppで利用可能です。

関連論文リスト

• Graph Anomaly Detection with Noisy Labels by Reinforcement Learning [13.135788402192215]
  本稿では,新しいフレームワークREGAD,すなわちReinforced Graph Anomaly Detectorを提案する。 具体的には,高信頼ラベルを用いたノード間を近似したノイズエッジを切断することにより,ベース検出器の性能向上(AUC)を最大化することを目的とする。
  論文  参考訳（メタデータ） (2024-07-08T13:41:21Z)
• Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
  視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。 本稿では,基準自由度に欠陥があるかどうかを考察する。 GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-18T12:36:23Z)
• Invariant Graph Transformer [0.0]
  グラフ機械学習の文脈では、グラフ合理化はモデルの性能を高めることができる。 抽出された有理部分グラフの識別力を確保するために「干渉」と呼ばれる重要な手法が適用される。 本稿では,グラフデータに対する適切な介入戦略を提案する。
  論文  参考訳（メタデータ） (2023-12-13T02:56:26Z)
• Revisiting Evaluation Metrics for Semantic Segmentation: Optimization and Evaluation of Fine-grained Intersection over Union [113.20223082664681]
  そこで本研究では,mIoUsの微細化と,それに対応する最悪の指標を提案する。 これらのきめ細かいメトリクスは、大きなオブジェクトに対するバイアスの低減、よりリッチな統計情報、モデルとデータセット監査に関する貴重な洞察を提供する。 ベンチマークでは,1つの測定値に基づかないことの必要性を強調し,微細なmIoUsが大きな物体への偏りを減少させることを確認した。
  論文  参考訳（メタデータ） (2023-10-30T03:45:15Z)
• Large-scale Point Cloud Registration Based on Graph Matching Optimization [30.92028761652611]
  アンダーライン最適化に基づくアンダーライングラフアンダーラインマッチングを提案する。 提案手法は3DMatch/3DLoMatchベンチマークとKITTIベンチマークで評価されている。
  論文  参考訳（メタデータ） (2023-02-12T03:29:35Z)
• Rethinking Explaining Graph Neural Networks via Non-parametric Subgraph Matching [68.35685422301613]
  そこで我々はMatchExplainerと呼ばれる新しい非パラメトリックな部分グラフマッチングフレームワークを提案し、説明的部分グラフを探索する。 ターゲットグラフと他のインスタンスを結合し、ノードに対応する距離を最小化することで最も重要な結合部分構造を識別する。 合成および実世界のデータセットの実験は、最先端のパラメトリックベースラインをかなりのマージンで上回り、MatchExplainerの有効性を示す。
  論文  参考訳（メタデータ） (2023-01-07T05:14:45Z)
• Optimizing Partial Area Under the Top-k Curve: Theory and Practice [151.5072746015253]
  トップk曲線下部分領域(AUTKC)と呼ばれる新しい計量法を開発した。 AUTKCはより優れた識別能力を持ち、ベイズ最適スコア関数は条件付き確率に対して正しいトップKランクを与えることができる。 提案手法を最適化するために,実証的なサロゲートリスク最小化フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-03T11:09:13Z)
• FactGraph: Evaluating Factuality in Summarization with Semantic Graph Representations [114.94628499698096]
  文書と要約を構造化された意味表現(MR)に分解するFactGraphを提案する。 MRは、コアセマンティックの概念とその関係を記述し、文書と要約の両方の主要な内容を標準形式で集約し、データの疎結合を減少させる。 事実性を評価するための異なるベンチマークの実験では、FactGraphは以前のアプローチよりも最大15%優れていた。
  論文  参考訳（メタデータ） (2022-04-13T16:45:33Z)
• SIGMA: Semantic-complete Graph Matching for Domain Adaptive Object Detection [26.0630601028093]
  ドメイン適応オブジェクト検出(DAOD)は、ラベル付きドメインを利用して、アノテーションのない新しいドメインに一般化されたオブジェクト検出器を学ぶ。 クロスドメインプロトタイプ(クラスセンター)の縮小によるクラス条件分布の調整 本稿では,不一致のセマンティックスを補完し,グラフマッチングによる適応を再構築する,幻覚Dのための新しいSemantIc完全グラフマッチングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-03-12T10:14:17Z)
• Deep Probabilistic Graph Matching [72.6690550634166]
  本稿では,マッチング制約を伴わずに,元のQAPに適合する深層学習ベースのグラフマッチングフレームワークを提案する。 提案手法は,一般的な3つのベンチマーク(Pascal VOC,Wilow Object,SPair-71k)で評価され,すべてのベンチマークにおいて過去の最先端よりも優れていた。
  論文  参考訳（メタデータ） (2022-01-05T13:37:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。