論文の概要: GRainsaCK: a Comprehensive Software Library for Benchmarking Explanations of Link Prediction Tasks on Knowledge Graphs
- arxiv url: http://arxiv.org/abs/2508.08815v1
- Date: Tue, 12 Aug 2025 10:15:58 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-08-13 21:07:34.384902
- Title: GRainsaCK: a Comprehensive Software Library for Benchmarking Explanations of Link Prediction Tasks on Knowledge Graphs
- Title(参考訳): GRainsaCK:知識グラフ上のリンク予測タスクのベンチマークのための総合ソフトウェアライブラリ
- Authors: Roberto Barile, Claudia d'Amato, Nicola Fanizzi,
- Abstract要約: 予測事実を説明する支援知識を同定することにより,この課題に対処する。
我々は,GRainsaCKを提案する。GRainsaCKは再利用可能なソフトウェアリソースであり,ベンチマーク記述に関わるすべてのタスクを完全に合理化する。
GRainsaCKは、簡単に置き換えられる関数としてメインコンポーネントを実装することで、モジュラリティ/拡張性を強化している。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Since Knowledge Graphs are often incomplete, link prediction methods are adopted for predicting missing facts. Scalable embedding based solutions are mostly adopted for this purpose, however, they lack comprehensibility, which may be crucial in several domains. Explanation methods tackle this issue by identifying supporting knowledge explaining the predicted facts. Regretfully, evaluating/comparing quantitatively the resulting explanations is challenging as there is no standard evaluation protocol and overall benchmarking resource. We fill this important gap by proposing GRainsaCK, a reusable software resource that fully streamlines all the tasks involved in benchmarking explanations, i.e., from model training to evaluation of explanations along the same evaluation protocol. Moreover, GRainsaCK furthers modularity/extensibility by implementing the main components as functions that can be easily replaced. Finally, fostering its reuse, we provide extensive documentation including a tutorial.
- Abstract(参考訳): 知識グラフはしばしば不完全であるため、リンク予測手法は行方不明な事実を予測するために用いられる。
スケーラブルな埋め込みベースのソリューションは、主にこの目的のために採用されているが、理解性が欠如しているため、いくつかの領域で重要かもしれない。
予測事実を説明する支援知識を同定することで,この課題に対処する。
標準評価プロトコルやベンチマークリソースが存在しないため、結果の説明を定量的に評価・比較することは困難である。
GRainsaCKは、モデルトレーニングから、同じ評価プロトコルに沿った説明評価まで、ベンチマーク記述に関わる全てのタスクを完全に合理化する再利用可能なソフトウェアリソースである。
さらに、GRainsaCKは、簡単に置き換えられる機能としてメインコンポーネントを実装することで、モジュラリティ/拡張性を高める。
最後に、再利用を促進するため、チュートリアルを含む広範なドキュメントを提供します。
関連論文リスト
- What Breaks Knowledge Graph based RAG? Empirical Insights into Reasoning under Incomplete Knowledge [24.7492528721447]
知識グラフに基づく検索型生成(KG-RAG)は、大規模言語モデルの推論能力と知識グラフの構造的エビデンスを組み合わせるための、ますます研究が進んでいるアプローチである。
既存のベンチマークには、KGの既存のトリプルを使って直接答えられる質問が含まれていることが多い。
本研究では,KG-RAG手法を知識の不完全性の下で体系的に評価するための評価プロトコルとともに,ベンチマークを構築するための一般的な手法を提案する。
論文 参考訳(メタデータ) (2025-08-11T10:55:06Z) - CompassVerifier: A Unified and Robust Verifier for LLMs Evaluation and Outcome Reward [50.97588334916863]
評価と結果報酬のための正確で堅牢な軽量検証モデルであるCompassVerifierを開発した。
数学、知識、多種多様な推論タスクにまたがる多分野の能力を示し、様々な答えの型を処理する能力を示す。
我々は,複数のデータソースから収集したモデル出力からなるVerifierBenchベンチマークを導入し,メタエラーパターンを手動で解析してCompassVerifierを強化する。
論文 参考訳(メタデータ) (2025-08-05T17:55:24Z) - Unifying Post-hoc Explanations of Knowledge Graph Completions [44.424583840470724]
知識グラフ補完(KGC)のポストホック説明可能性には形式化と一貫した評価が欠けている。
本稿は、KGCにおけるポストホックな説明可能性に対する統一的なアプローチを論じる。
論文 参考訳(メタデータ) (2025-07-29T13:31:48Z) - Multi-perspective Improvement of Knowledge Graph Completion with Large
Language Models [95.31941227776711]
我々は,文脈知識の不足を補うMPIKGCを提案し,大規模言語モデル(LLM)をクエリすることでKGCを改善する。
我々は4つの記述に基づくKGCモデルと4つのデータセットに基づくフレームワークの広範囲な評価を行い、リンク予測とトリプルト分類のタスクについて検討した。
論文 参考訳(メタデータ) (2024-03-04T12:16:15Z) - KGA: A General Machine Unlearning Framework Based on Knowledge Gap
Alignment [51.15802100354848]
我々は,忘れやすさを誘発する一般学習フレームワークKGAを提案する。
大規模なデータセットの実験は、KGAがベースラインよりも包括的な改善をもたらすことを示している。
論文 参考訳(メタデータ) (2023-05-11T02:44:29Z) - MQAG: Multiple-choice Question Answering and Generation for Assessing
Information Consistency in Summarization [55.60306377044225]
最先端の要約システムは高度に流動的な要約を生成することができる。
しかし、これらの要約には、情報源に存在しない事実上の矛盾や情報が含まれている可能性がある。
本稿では,ソース情報と要約情報を直接比較する,標準的な情報理論に基づく代替手法を提案する。
論文 参考訳(メタデータ) (2023-01-28T23:08:25Z) - CARLA: A Python Library to Benchmark Algorithmic Recourse and
Counterfactual Explanation Algorithms [6.133522864509327]
CARLA (Counterfactual And Recourse LibrAry) は、対物的説明法をベンチマークするピソンライブラリである。
提案手法は,11種類の反事実的説明手法の広範なベンチマークを提供する。
また,将来的対実的説明法の研究のためのベンチマークフレームワークも提供する。
論文 参考訳(メタデータ) (2021-08-02T11:00:43Z) - Abstractive Query Focused Summarization with Query-Free Resources [60.468323530248945]
本稿では,汎用的な要約リソースのみを利用して抽象的なqfsシステムを構築する問題を考える。
本稿では,要約とクエリのための新しい統一表現からなるMasked ROUGE回帰フレームワークであるMargeを提案する。
最小限の監視から学習したにもかかわらず,遠隔管理環境において最先端の結果が得られた。
論文 参考訳(メタデータ) (2020-12-29T14:39:35Z) - KILT: a Benchmark for Knowledge Intensive Language Tasks [102.33046195554886]
知識集約型言語タスク(KILT)のベンチマークを示す。
KILTのすべてのタスクはウィキペディアのスナップショットと同じだ。
共有密度ベクトル指数とSeq2seqモデルとの結合が強いベースラインであることが分かる。
論文 参考訳(メタデータ) (2020-09-04T15:32:19Z) - Structured Prediction with Partial Labelling through the Infimum Loss [85.4940853372503]
弱い監督の目標は、収集コストの安いラベル付け形式のみを使用してモデルを学習できるようにすることである。
これは、各データポイントに対して、実際のものを含むラベルのセットとして、監督がキャストされる不完全なアノテーションの一種です。
本稿では、構造化された予測と、部分的なラベリングを扱うための無限損失の概念に基づく統一的なフレームワークを提供する。
論文 参考訳(メタデータ) (2020-03-02T13:59:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。