論文の概要: Re-thinking Knowledge Graph Completion Evaluation from an Information Retrieval Perspective

• arxiv url: http://arxiv.org/abs/2205.04105v1
• Date: Mon, 9 May 2022 08:12:20 GMT
• ステータス: 処理完了
• システム内更新日: 2022-05-10 21:18:20.949655
• Title: Re-thinking Knowledge Graph Completion Evaluation from an Information Retrieval Perspective
• Title（参考訳）: 情報検索からみた知識グラフ完成度評価の再検討
• Authors: Ying Zhou, Xuanang Chen, Ben He, Zheng Ye, Le Sun
• Abstract要約: 知識グラフ補完(KGC)は、知識グラフの既知の事実に基づいて、行方不明の知識を3倍に推算することを目的としている。 現在のKGC研究は、主にエンティティランキングプロトコルに従っており、その有効性は、テストトリプルにおけるマスクされたエンティティの予測ランクによって測定される。 大規模知識基盤の不完全性のため、そのようなエンティティのランキング設定は、未ラベルのトップランクのポジティブな例の影響を受けやすい。 本稿では,マイクロメトリクスを用いた現在のKGC評価にラベル空間がどう影響するかについて,系統的研究を行った。
• 参考スコア（独自算出の注目度）: 19.10101487695226
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Knowledge graph completion (KGC) aims to infer missing knowledge triples based on known facts in a knowledge graph. Current KGC research mostly follows an entity ranking protocol, wherein the effectiveness is measured by the predicted rank of a masked entity in a test triple. The overall performance is then given by a micro(-average) metric over all individual answer entities. Due to the incomplete nature of the large-scale knowledge bases, such an entity ranking setting is likely affected by unlabelled top-ranked positive examples, raising questions on whether the current evaluation protocol is sufficient to guarantee a fair comparison of KGC systems. To this end, this paper presents a systematic study on whether and how the label sparsity affects the current KGC evaluation with the popular micro metrics. Specifically, inspired by the TREC paradigm for large-scale information retrieval (IR) experimentation, we create a relatively "complete" judgment set based on a sample from the popular FB15k-237 dataset following the TREC pooling method. According to our analysis, it comes as a surprise that switching from the original labels to our "complete" labels results in a drastic change of system ranking of a variety of 13 popular KGC models in terms of micro metrics. Further investigation indicates that the IR-like macro(-average) metrics are more stable and discriminative under different settings, meanwhile, less affected by label sparsity. Thus, for KGC evaluation, we recommend conducting TREC-style pooling to balance between human efforts and label completeness, and reporting also the IR-like macro metrics to reflect the ranking nature of the KGC task.
• Abstract（参考訳）: 知識グラフ補完(kgc)は、知識グラフの既知の事実に基づく知識三重項の推測を目的とする。 現在のKGC研究は、主にエンティティランキングプロトコルに従っており、その有効性は、テストトリプルにおけるマスクされたエンティティの予測ランクによって測定される。 全体的なパフォーマンスは、すべての個々の回答エンティティに対するmicro(平均)メトリックによって与えられる。 大規模知識基盤の不完全性のため、このようなエンティティのランキング設定は、未ラベルのトップランクのポジティブな例の影響を受けやすいため、現在の評価プロトコルがKGCシステムの公正な比較を保証するのに十分かどうかという疑問が提起される。 そこで,本稿では,ラベルスパーシティが現在のkgc評価にどのように影響するかを,マイクロメトリクスを用いて体系的に検討する。 具体的には、大規模な情報検索(IR)実験のためのTRECパラダイムに着想を得て、TRECプーリング法に従って人気のあるFB15k-237データセットのサンプルに基づいて、比較的「完全な」判定セットを作成する。 私たちの分析によると、オリジナルのラベルから"完全"のラベルに切り替えると、マイクロメトリックスの観点から、13の一般的なkgcモデルのシステムランキングが劇的に変わってしまうのは驚きです。 さらなる調査により、IRライクなマクロ(平均値)メトリクスは、異なる設定下でより安定で差別的であり、ラベルの間隔の影響が少ないことが示されている。 そこで我々は,KGC評価において,人間の努力とラベル完全性のバランスをとるためにTRECスタイルのプーリングを行うことを推奨し,KGCタスクのランキング特性を反映するIRライクなマクロメトリクスも報告する。

関連論文リスト

• Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
  視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。 本稿では,基準自由度に欠陥があるかどうかを考察する。 GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
  論文  参考訳（メタデータ） (2024-02-18T12:36:23Z)
• Memory Consistency Guided Divide-and-Conquer Learning for Generalized Category Discovery [56.172872410834664]
  一般カテゴリー発見(GCD)は、半教師付き学習のより現実的で挑戦的な設定に対処することを目的としている。 メモリ一貫性を誘導する分枝・分枝学習フレームワーク(MCDL)を提案する。 本手法は,画像認識の目に見えるクラスと見えないクラスの両方において,最先端のモデルよりも優れた性能を示す。
  論文  参考訳（メタデータ） (2024-01-24T09:39:45Z)
• GaussianMLR: Learning Implicit Class Significance via Calibrated Multi-Label Ranking [0.0]
  本稿では,ガウスMLRという新しい多ラベルランキング手法を提案する。 これは、正のラベルのランクを決定する暗黙のクラス重要性の値を学ぶことを目的としている。 提案手法は, 組み込まれた正のランク順の表現を正確に学習できることを示す。
  論文  参考訳（メタデータ） (2023-03-07T14:09:08Z)
• Neighbour Consistency Guided Pseudo-Label Refinement for Unsupervised Person Re-Identification [80.98291772215154]
  教師なしの人物再識別(ReID)は、アノテーションを使わずに人物検索のための識別的アイデンティティの特徴を学習することを目的としている。 近年の進歩はクラスタリングに基づく擬似ラベルを活用することで実現されている。 本稿では, Pseudo Label Refinement フレームワークを提案する。
  論文  参考訳（メタデータ） (2022-11-30T09:39:57Z)
• Parametric Classification for Generalized Category Discovery: A Baseline Study [70.73212959385387]
  Generalized Category Discovery (GCD)は、ラベル付きサンプルから学習した知識を用いて、ラベルなしデータセットで新しいカテゴリを発見することを目的としている。 パラメトリック分類器の故障を調査し,高品質な監視が可能であった場合の過去の設計選択の有効性を検証し,信頼性の低い疑似ラベルを重要課題として同定する。 エントロピー正規化の利点を生かし、複数のGCDベンチマークにおける最先端性能を実現し、未知のクラス数に対して強いロバスト性を示す、単純で効果的なパラメトリック分類法を提案する。
  論文  参考訳（メタデータ） (2022-11-21T18:47:11Z)
• CEREAL: Few-Sample Clustering Evaluation [4.569028973407756]
  限られたラベルでクラスタリング品質を推定する未解決の問題に焦点をあてる。 本稿では,少数のクラスタリング評価のための総合的なフレームワークCEREALを紹介する。 その結果,CEREALはサンプリング基準値と比較して絶対誤差曲線下での面積を最大57%削減できることがわかった。
  論文  参考訳（メタデータ） (2022-09-30T19:52:41Z)
• TRUE: Re-evaluating Factual Consistency Evaluation [29.888885917330327]
  TRUE: 多様なタスクから既存のテキストの標準化されたコレクション上での、事実整合性メトリクスの総合的な研究である。 我々の標準化により、前述した相関よりも動作可能で解釈可能なサンプルレベルのメタ評価プロトコルが実現される。 さまざまな最先端のメトリクスと11のデータセットから、大規模NLIと質問生成と回答に基づくアプローチが、強力で相補的な結果をもたらすことが分かりました。
  論文  参考訳（メタデータ） (2022-04-11T10:14:35Z)
• Comparison of Evaluation Metrics for Landmark Detection in CMR Images [0.8219153654616499]
  右室挿入点のラベルを付加したパブリックACDCデータセットを拡張した。 ヒートマップに基づくランドマーク検出パイプラインのさまざまなバリエーションを比較した。 予備的な結果は、異なるメトリクスの組み合わせが必要であることを示している。
  論文  参考訳（メタデータ） (2022-01-25T15:58:30Z)
• Can multi-label classification networks know what they don't know? [20.827128594812578]
  アウト・オブ・ディストリビューション(OOD)の不確実性(out-of-distriion)を推定することは、機械学習モデルをオープンな環境に安全にデプロイする上で、重要な課題である。 複数ラベルからのエネルギースコアを集約することにより,OODインジケータのスコアを簡易かつ効果的に推定するJointEnergyを提案する。 提案手法はMS-COCO, PASCAL-VOC, NUS-WIDEを含む3つの共通マルチラベル分類ベンチマークにおいて有効であることを示す。
  論文  参考訳（メタデータ） (2021-09-29T03:03:52Z)
• Rethinking Pseudo Labels for Semi-Supervised Object Detection [84.697097472401]
  物体検出に適した確実な擬似ラベルを導入する。 我々は,クラス不均衡問題を緩和するために,各カテゴリの擬似ラベルと再重み付き損失関数を生成するために使用する閾値を動的に調整する。 提案手法では,COCOのラベル付きデータのみを用いて,教師付きベースラインを最大10%改善する。
  論文  参考訳（メタデータ） (2021-06-01T01:32:03Z)
• Unsupervised Person Re-identification via Multi-label Classification [55.65870468861157]
  本稿では,教師なしのReIDを多ラベル分類タスクとして定式化し,段階的に真のラベルを求める。 提案手法は,まず,各人物画像に単一クラスラベルを割り当てることから始まり,ラベル予測のために更新されたReIDモデルを活用することで,多ラベル分類へと進化する。 マルチラベル分類におけるReIDモデルのトレーニング効率を高めるために,メモリベースマルチラベル分類損失(MMCL)を提案する。
  論文  参考訳（メタデータ） (2020-04-20T12:13:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。