論文の概要: LongEval at CLEF 2025: Longitudinal Evaluation of IR Systems on Web and Scientific Data
- arxiv url: http://arxiv.org/abs/2509.17469v1
- Date: Mon, 22 Sep 2025 08:05:40 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-09-30 14:35:44.699521
- Title: LongEval at CLEF 2025: Longitudinal Evaluation of IR Systems on Web and Scientific Data
- Title（参考訳）: CLEF 2025のLongEval: Webおよび科学データを用いたIRシステムの経時的評価
- Authors: Matteo Cancellieri, Alaa El-Ebshihy, Tobias Fink, Maik Fröbe, Petra Galuščáková, Gabriela Gonzalez-Saez, Lorraine Goeuriot, David Iommi, Jüri Keller, Petr Knoth, Philippe Mulhem, Florina Piroi, David Pride, Philipp Schaer,
- Abstract要約: LongEval labは、時間とともに情報検索システムを評価することに焦点を当てている。
ドキュメント、クエリ、関連性評価を変更することによって、進化する検索シナリオをキャプチャする2つのデータセットが提供される。
今年のタスクとデータセット、および参加システムの概要を紹介する。
- 参考スコア（独自算出の注目度）: 10.309769289748273
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The LongEval lab focuses on the evaluation of information retrieval systems over time. Two datasets are provided that capture evolving search scenarios with changing documents, queries, and relevance assessments. Systems are assessed from a temporal perspective-that is, evaluating retrieval effectiveness as the data they operate on changes. In its third edition, LongEval featured two retrieval tasks: one in the area of ad-hoc web retrieval, and another focusing on scientific article retrieval. We present an overview of this year's tasks and datasets, as well as the participating systems. A total of 19 teams submitted their approaches, which we evaluated using nDCG and a variety of measures that quantify changes in retrieval effectiveness over time.
- Abstract（参考訳）: LongEval研究所は、時間とともに情報検索システムの評価に焦点を当てている。
ドキュメント、クエリ、関連性評価を変更することによって、進化する検索シナリオをキャプチャする2つのデータセットが提供される。
システムは、時間的視点から評価され、つまり、変更で操作するデータとして、検索の有効性を評価する。
第3版では、LongEvalはアドホックなWeb検索分野の1つと、科学的記事検索に焦点を当てた2つの検索タスクを特徴としている。
今年のタスクとデータセット、および参加システムの概要を紹介する。
合計19チームがそのアプローチを提出し、nDCGと、検索効率の変化を時間とともに定量化するさまざまな指標を用いて評価した。
関連論文リスト
- DS@GT at LongEval: Evaluating Temporal Performance in Web Search Systems and Topics with Two-Stage Retrieval [44.99833362998488]
DS@GTコンペティションチームはCLEF 2025のLongEval(LongEval)実験室に参加した。
Qwant Webデータセットの分析には、時間とともにトピックモデリングを伴う探索的データ分析が含まれる。
我々のベストシステムは、トレーニングとテストデータセット全体で平均0.296のNDCG@10を達成し、2023-05で全体のスコアは0.395である。
論文 参考訳（メタデータ） (2025-07-11T07:23:08Z) - Replicability Measures for Longitudinal Information Retrieval Evaluation [3.4917392789760147]
この研究は、進化する実験で測定された有効性をどのように評価できるかを考察する。
再現性タスクとして有効性の持続性を検討した。
その結果、最も効果的なシステムは必ずしも最も持続的な性能を持つシステムではないことがわかった。
論文 参考訳（メタデータ） (2024-09-09T08:19:43Z) - Evaluation of Temporal Change in IR Test Collections [3.4917392789760147]
本研究では,有効性評価の時間的一般化性について検討する。
提案手法は,検索結果の変化を適切に記述できることを示す。
論文 参考訳（メタデータ） (2024-07-01T15:25:31Z) - A Comprehensive Survey on Underwater Image Enhancement Based on Deep Learning [51.7818820745221]
水中画像強調(UIE)はコンピュータビジョン研究において重要な課題である。
多数のUIEアルゴリズムが開発されているにもかかわらず、網羅的で体系的なレビューはいまだに欠落している。
論文 参考訳（メタデータ） (2024-05-30T04:46:40Z) - Exploring the Practicality of Generative Retrieval on Dynamic Corpora [41.223804434693875]
本稿では,自己回帰型言語モデルをIR問題に適用する生成検索(GR)に焦点を当てる。
StreamingQAベンチマークの結果、GRは進化的知識(4-11%)に適応し、時間的情報による学習知識が堅牢で、FLOP(x6)、インデックス時間(x6)、ストレージフットプリント(x4)の点で効率的であることが示されている。
本稿では,動的環境における実用的な赤外線システムにおけるGRの可能性について述べる。
論文 参考訳（メタデータ） (2023-05-27T16:05:00Z) - Overview of the TREC 2019 Fair Ranking Track [65.15263872493799]
TREC Fair Ranking トラックの目標は、異なるコンテンツプロバイダに対する公正性の観点から、検索システムを評価するベンチマークを開発することであった。
本稿では,タスク定義やデータ記述,アノテーションプロセスなどを含むトラックの概要について述べる。
論文 参考訳（メタデータ） (2020-03-25T21:34:58Z) - Deep Learning for Person Re-identification: A Survey and Outlook [233.36948173686602]
人物再識別(Re-ID)は、複数の重複しないカメラを通して興味ある人物を検索することを目的としている。
人物のRe-IDシステム開発に関わるコンポーネントを分離することにより、それをクローズドワールドとオープンワールドのセッティングに分類する。
論文 参考訳（メタデータ） (2020-01-13T12:49:22Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。