論文の概要: ASPIRE: Assistive System for Performance Evaluation in IR

• arxiv url: http://arxiv.org/abs/2412.15759v1
• Date: Fri, 20 Dec 2024 10:25:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-23 19:50:46.614660
• Title: ASPIRE: Assistive System for Performance Evaluation in IR
• Title（参考訳）: ASPIRE:IRの性能評価支援システム
• Authors: Georgios Peikos, Wojciech Kusa, Symeon Symeonidis,
• Abstract要約: ASPIRE(Assistive System for Performance Evaluation in IR)は、情報検索実験の詳細な分析のための視覚分析ツールである。 ASPIREは、単一/複数実験の比較、クエリレベルの分析、クエリ特性とパフォーマンスの相互作用、コレクションベースの検索分析という、IR実験評価と分析の4つの重要な側面をサポートする。
• 参考スコア（独自算出の注目度）: 1.9441753575523208
• License:
• Abstract: Information Retrieval (IR) evaluation involves far more complexity than merely presenting performance measures in a table. Researchers often need to compare multiple models across various dimensions, such as the Precision-Recall trade-off and response time, to understand the reasons behind the varying performance of specific queries for different models. We introduce ASPIRE (Assistive System for Performance Evaluation in IR), a visual analytics tool designed to address these complexities by providing an extensive and user-friendly interface for in-depth analysis of IR experiments. ASPIRE supports four key aspects of IR experiment evaluation and analysis: single/multi-experiment comparisons, query-level analysis, query characteristics-performance interplay, and collection-based retrieval analysis. We showcase the functionality of ASPIRE using the TREC Clinical Trials collection. ASPIRE is an open-source toolkit available online: https://github.com/GiorgosPeikos/ASPIRE
• Abstract（参考訳）: 情報検索(IR: Information Retrieval)評価は、単にテーブルにパフォーマンス指標を提示することよりもはるかに複雑である。 研究者は、さまざまなモデルの特定のクエリのパフォーマンスの違いの背後にある理由を理解するために、Precision-Recallのトレードオフやレスポンスタイムなど、さまざまな次元にわたる複数のモデルを比較する必要があることが多い。 IR実験の深部分析のための広範かつユーザフレンドリなインタフェースを提供することにより、これらの複雑さに対処する視覚解析ツールであるASPIRE(Assistive System for Performance Evaluation in IR)を紹介する。 ASPIREは、単一/複数実験の比較、クエリレベルの分析、クエリ特性とパフォーマンスの相互作用、コレクションベースの検索分析という、IR実験評価と分析の4つの重要な側面をサポートする。 TREC 臨床試験コレクションを用いた ASPIRE の機能について紹介する。 ASPIRE は https://github.com/GiorgosPeikos/ASPIRE

関連論文リスト

• VAMP: Visual Analytics for Microservices Performance [2.5824043688763543]
  既存の分散トレースツールは、パフォーマンス分析をサポートする主要な手段としてスイムレーンを利用している。 我々は、複数のエンドツーエンドリクエストのパフォーマンス解析であるバンプを一度導入する。 Vampは、エンドツーエンドのパフォーマンスに大きな影響を与えるRPCの実行時間逸脱を特定するのにどのように役立つかを示します。
  論文  参考訳（メタデータ） (2024-04-22T15:22:56Z)
• RAGGED: Towards Informed Design of Retrieval Augmented Generation Systems [51.171355532527365]
  Retrieval-augmented Generation (RAG) は言語モデル(LM)の性能を大幅に向上させる RAGGEDは、様々な文書ベースの質問応答タスクにわたるRAG構成を分析するためのフレームワークである。
  論文  参考訳（メタデータ） (2024-03-14T02:26:31Z)
• BIRCO: A Benchmark of Information Retrieval Tasks with Complex Objectives [2.3420045370973828]
  複雑な目的を持つ情報検索タスクのベンチマーク(BIRCO)について述べる。 BIRCOは、多面的ユーザ目的のドキュメントを検索するIRシステムの能力を評価する。
  論文  参考訳（メタデータ） (2024-02-21T22:22:30Z)
• Building Interpretable and Reliable Open Information Retriever for New Domains Overnight [67.03842581848299]
  情報検索は、オープンドメイン質問応答(QA)など、多くのダウンストリームタスクにとって重要な要素である。 本稿では、エンティティ/イベントリンクモデルとクエリ分解モデルを用いて、クエリの異なる情報単位により正確にフォーカスする情報検索パイプラインを提案する。 より解釈可能で信頼性が高いが,提案したパイプラインは,5つのIRおよびQAベンチマークにおける通過カバレッジと記述精度を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-08-09T07:47:17Z)
• PyRCA: A Library for Metric-based Root Cause Analysis [66.72542200701807]
  PyRCAは、AIOps(AIOps)のためのRoot Cause Analysis(RCA)のオープンソースの機械学習ライブラリである。 複雑なメトリクス因果依存性を明らかにし、インシデントの根本原因を自動的に特定する、包括的なフレームワークを提供する。
  論文  参考訳（メタデータ） (2023-06-20T09:55:10Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• Interactive Dimensionality Reduction for Comparative Analysis [28.52130400665133]
  我々は,新しいDR手法であるULCAをインタラクティブなビジュアルインターフェースと統合する,インタラクティブなDRフレームワークを導入する。 ULCAは差別分析とコントラスト学習という2つのDRスキームを統合し、様々な比較分析タスクをサポートする。 我々は,ULCA結果を対話的に洗練する最適化アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2021-06-29T15:05:36Z)
• Interpretable Multi-dataset Evaluation for Named Entity Recognition [110.64368106131062]
  本稿では,名前付きエンティティ認識(NER)タスクに対する一般的な評価手法を提案する。 提案手法は,モデルとデータセットの違いと,それらの間の相互作用を解釈することを可能にする。 分析ツールを利用可能にすることで、将来の研究者が同様の分析を実行し、この分野の進歩を促進することができる。
  論文  参考訳（メタデータ） (2020-11-13T10:53:27Z)
• Shared Space Transfer Learning for analyzing multi-site fMRI data [83.41324371491774]
  マルチボクセルパターン解析(MVPA)は、タスクベース機能磁気共鳴画像(fMRI)データから予測モデルを学習する。 MVPAはよく設計された機能セットと十分なサンプルサイズで機能する。 ほとんどのfMRIデータセットはノイズが多く、高次元で、収集するのに高価で、サンプルサイズも小さい。 本稿では,新しい伝達学習手法として共有空間移動学習(SSTL)を提案する。
  論文  参考訳（メタデータ） (2020-10-24T08:50:26Z)
• IOHanalyzer: Detailed Performance Analyses for Iterative Optimization Heuristics [3.967483941966979]
  IOHanalyzerは、IOHのパフォーマンスデータを分析、比較、視覚化するための新しいユーザフレンドリーなツールである。 IOHanalyzerは、固定目標実行時間とベンチマークアルゴリズムの固定予算性能に関する詳細な統計を提供する。 IOHanalyzerは、主要なベンチマークプラットフォームから直接パフォーマンスデータを処理できる。
  論文  参考訳（メタデータ） (2020-07-08T08:20:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。