Fugu-MT 論文翻訳(概要): ELEVANT: A Fully Automatic Fine-Grained Entity Linking Evaluation and Analysis Tool

論文の概要: ELEVANT: A Fully Automatic Fine-Grained Entity Linking Evaluation and Analysis Tool

arxiv url: http://arxiv.org/abs/2208.07193v1
Date: Mon, 15 Aug 2022 13:54:36 GMT
ステータス: 処理完了
システム内更新日: 2022-08-16 13:32:30.429423
Title: ELEVANT: A Fully Automatic Fine-Grained Entity Linking Evaluation and Analysis Tool
Title（参考訳）: ELEVANT: 完全自動微粒化エンティティリンク評価と分析ツール
Authors: Hannah Bast, Matthias Hertel and Natalie Prange
Abstract要約: Elevantは、さまざまなエラーカテゴリとエンティティタイプによるパフォーマンスの自動分解を提供する。 Elevantはまた、ベンチマーク上のリンカの結果を、基礎的な真実と比較して、豊かでコンパクトで、非常に直感的で自己説明的な視覚化を提供する。
参考スコア（独自算出の注目度）: 0.2964978357715083
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present Elevant, a tool for the fully automatic fine-grained evaluation of a set of entity linkers on a set of benchmarks. Elevant provides an automatic breakdown of the performance by various error categories and by entity type. Elevant also provides a rich and compact, yet very intuitive and self-explanatory visualization of the results of a linker on a benchmark in comparison to the ground truth. A live demo, the link to the complete code base on GitHub and a link to a demo video are provided under https://elevant.cs.uni-freiburg.de .
Abstract（参考訳）: ベンチマークの集合上でエンティティリンカの集合を詳細に評価するツールであるElevantを提案する。 Elevantは、さまざまなエラーカテゴリとエンティティタイプによるパフォーマンスの自動分解を提供する。 Elevantはまた、ベンチマーク上のリンカの結果を、基礎的な真実と比較して、リッチでコンパクトで、非常に直感的で自己説明的な視覚化を提供する。ライブデモ、GitHubの完全なコードベースへのリンク、デモビデオへのリンクはhttps://elevant.cs.uni-freiburg.deで提供されている。

関連論文リスト

Long-Span Question-Answering: Automatic Question Generation and QA-System Ranking via Side-by-Side Evaluation [65.16137964758612]
大規模言語モデルにおける長文文の活用について検討し,本書全体の読解データを作成する。我々の目的は、長いテキストの詳細な理解を必要とする問題を分析し、理解し、推論するLLMの能力をテストすることである。
論文参考訳（メタデータ） (2024-05-31T20:15:10Z)
Entity Disambiguation via Fusion Entity Decoding [68.77265315142296]
より詳細なエンティティ記述を持つエンティティを曖昧にするためのエンコーダ・デコーダモデルを提案する。 GERBILベンチマークでは、EntQAと比較して、エンド・ツー・エンドのエンティティリンクが+1.5%改善されている。
論文参考訳（メタデータ） (2024-04-02T04:27:54Z)
AutoAct: Automatic Agent Learning from Scratch for QA via Self-Planning [54.47116888545878]
AutoActはQAのための自動エージェント学習フレームワークである。大規模アノテートデータやクローズドソースモデルからの合成計画軌道は依存していない。
論文参考訳（メタデータ） (2024-01-10T16:57:24Z)
Video-Bench: A Comprehensive Benchmark and Toolkit for Evaluating Video-based Large Language Models [81.84810348214113]
ビデオベースの大規模言語モデル(Video-LLMs)が最近導入され、認識と理解の基本的な改善と多様なユーザからの問い合わせの両方をターゲットにしている。このようなモデルの開発を導くため、堅牢で包括的な評価システムの構築が重要となる。本稿では,ビデオLLMの評価に特化して設計されたツールキットとともに,新しい総合的なベンチマークであるtextitVideo-Benchを提案する。
論文参考訳（メタデータ） (2023-11-27T18:59:58Z)
A Fair and In-Depth Evaluation of Existing End-to-End Entity Linking Systems [4.4351901934764975]
エンティティリンクシステムの評価は、システムが特定のアプリケーションに対してどのように機能するかについてほとんど語らないことが多い。既存のさまざまなエンド・ツー・エンド・エンティティ・リンカについて,より有意義で公平な評価を行う。評価は、上記の問題を様々な程度に示すために広く使われているベンチマークと、2つの新しいベンチマークに基づいて行われる。
論文参考訳（メタデータ） (2023-05-24T09:20:15Z)
AMLB: an AutoML Benchmark [9.642136611591578]
71の分類と33の回帰タスクで9つのよく知られたAutoMLフレームワークを徹底的に比較する。ベンチマークにはオープンソースツールが付属しており、多くのAutoMLフレームワークと統合され、実証的な評価プロセスのエンドツーエンドを自動化する。
論文参考訳（メタデータ） (2022-07-25T22:34:08Z)
Omni-DETR: Omni-Supervised Object Detection with Transformers [165.4190908259015]
我々は、ラベルなし、完全ラベル付き、弱ラベル付きアノテーションを使用できるOmni教師付きオブジェクト検出の問題を考察する。この統一アーキテクチャの下では、異なる種類の弱いラベルを利用して正確な擬似ラベルを生成することができる。弱いアノテーションは検出性能を向上させるのに役立ち、それらの混合はアノテーションのコストと精度のトレードオフを改善することができる。
論文参考訳（メタデータ） (2022-03-30T06:36:09Z)
APANet: Adaptive Prototypes Alignment Network for Few-Shot Semantic Segmentation [56.387647750094466]
Few-shotのセマンティックセマンティックセマンティクスは、指定されたクエリイメージに、ラベル付きサポートイメージのみで、新規クラスのオブジェクトをセグメントすることを目的としている。ほとんどの高度なソリューションは、各クエリ機能を学習したクラス固有のプロトタイプにマッチさせることでセグメンテーションを実行するメトリクス学習フレームワークを利用している。本稿では,クラス固有およびクラス非依存のプロトタイプを導入することで,適応型プロトタイプ表現を提案する。
論文参考訳（メタデータ） (2021-11-24T04:38:37Z)
Robustness Evaluation of Entity Disambiguation Using Prior Probes:the Case of Entity Overshadowing [11.513083693564466]
我々はShadowLinkベンチマークにおいて,一般的なエンティティリンクシステムの性能を評価し,報告する。その結果, 評価対象のELシステムにおいて, 共通エンティティの数と少ないエンティティの精度は, かなり異なることがわかった。
論文参考訳（メタデータ） (2021-08-24T20:54:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。