論文の概要: LongEval at CLEF 2025: Longitudinal Evaluation of IR Model Performance
- arxiv url: http://arxiv.org/abs/2503.08541v1
- Date: Tue, 11 Mar 2025 15:29:41 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-03-12 15:41:29.616559
- Title: LongEval at CLEF 2025: Longitudinal Evaluation of IR Model Performance
- Title（参考訳）: CLEF 2025におけるLongEval:IRモデル性能の経時的評価
- Authors: Matteo Cancellieri, Alaa El-Ebshihy, Tobias Fink, Petra Galuščáková, Gabriela Gonzalez-Saez, Lorraine Goeuriot, David Iommi, Jüri Keller, Petr Knoth, Philippe Mulhem, Florina Piroi, David Pride, Philipp Schaer,
- Abstract要約: LongEval Labは、情報検索(IR)における時間的持続性の課題を引き続き探求している。
トレーニングデータから時間的に異なるテストデータとしてモデルパフォーマンスが劣化するかを評価することで、LongEvalはIRシステムにおける時間ダイナミクスの理解を深めようとしている。
2025年版は、Web検索と科学検索の領域における検索品質を経時的に維持できる適応モデルの開発にIRとNLPのコミュニティが関与することを目的としている。
- 参考スコア（独自算出の注目度）: 5.4043491660907135
- License:
- Abstract: This paper presents the third edition of the LongEval Lab, part of the CLEF 2025 conference, which continues to explore the challenges of temporal persistence in Information Retrieval (IR). The lab features two tasks designed to provide researchers with test data that reflect the evolving nature of user queries and document relevance over time. By evaluating how model performance degrades as test data diverge temporally from training data, LongEval seeks to advance the understanding of temporal dynamics in IR systems. The 2025 edition aims to engage the IR and NLP communities in addressing the development of adaptive models that can maintain retrieval quality over time in the domains of web search and scientific retrieval.
- Abstract（参考訳）: 本稿では,情報検索(IR)における時間的持続性の課題を探求するCLEF 2025カンファレンスの一環として,LongEval Labの第3版を紹介する。
このラボでは、ユーザクエリの進化する性質とドキュメントの関連性を反映したテストデータを提供するために、研究者が設計した2つのタスクが特徴だ。
トレーニングデータから時間的に異なるテストデータとしてモデルパフォーマンスが劣化するかを評価することで、LongEvalはIRシステムにおける時間ダイナミクスの理解を深めようとしている。
2025年版は、Web検索と科学検索の領域における検索品質を経時的に維持できる適応モデルの開発にIRとNLPのコミュニティが関与することを目的としている。
関連論文リスト
- TSFeatLIME: An Online User Study in Enhancing Explainability in Univariate Time Series Forecasting [1.9314780151274307]
本稿では, TSLIMEを拡張したTSFeatLIMEというフレームワークを提案する。
TSFeatLIMEは補助的特徴をサロゲートモデルに統合し、クエリされた時系列と生成されたサンプルの間の一対のユークリッド距離を考察する。
その結果,TSFeatLIMEフレームワーク下でのサロゲートモデルは,距離を考慮したブラックボックスの挙動を,精度を犠牲にすることなくより良くシミュレートできることがわかった。
論文 参考訳（メタデータ） (2024-09-24T10:24:53Z) - Robust Neural Information Retrieval: An Adversarial and Out-of-distribution Perspective [111.58315434849047]
ニューラルネットワーク検索モデル(IR)モデルの堅牢性は、大きな注目を集めている。
我々は、IRの堅牢性を多面的概念とみなし、敵攻撃、アウト・オブ・ディストリビューション(OOD)シナリオ、パフォーマンスのばらつきに対してその必要性を強調している。
我々は,既存の手法,データセット,評価指標について詳細な議論を行い,大規模言語モデルの時代における課題や今後の方向性に光を当てる。
論文 参考訳（メタデータ） (2024-07-09T16:07:01Z) - Synthesizing Multimodal Electronic Health Records via Predictive Diffusion Models [69.06149482021071]
EHRPDと呼ばれる新しいEHRデータ生成モデルを提案する。
時間間隔推定を組み込んだ拡散モデルである。
我々は2つの公開データセットで実験を行い、忠実さ、プライバシー、実用性の観点からEPHPDを評価する。
論文 参考訳（メタデータ） (2024-06-20T02:20:23Z) - On the Resurgence of Recurrent Models for Long Sequences -- Survey and
Research Opportunities in the Transformer Era [59.279784235147254]
この調査は、Recurrenceの統一の傘の下に構築されたこれらのトレンドの概要を提供することを目的としている。
長いシーケンスを処理するという考え方を捨てる際に顕著になる新しい研究機会を強調している。
論文 参考訳（メタデータ） (2024-02-12T23:55:55Z) - Can LMs Generalize to Future Data? An Empirical Analysis on Text
Summarization [50.20034493626049]
最近の学習済み言語モデル(PLM)は、既存の抽象的な要約データセットにおいて有望な結果をもたらす。
既存の要約ベンチマークは、標準の事前学習コーパスと微調整データセットと時間的に重複する。
要約モデルに格納されたパラメトリック知識は、将来のデータに対する生成した要約の忠実度に大きく影響することを示す。
論文 参考訳（メタデータ） (2023-05-03T08:08:07Z) - Continual Learning of Long Topic Sequences in Neural Information
Retrieval [2.3846478553599098]
まず,MSMarcoコーパスに基づいて,トピックの長いストリームをモデル化するデータセットを提案する。
次に、これらのストリームを継続的に学習しながら、最近のニューラルIRモデルの能力を詳細に分析する。
論文 参考訳（メタデータ） (2022-01-10T14:19:09Z) - Deep learning for temporal data representation in electronic health
records: A systematic review of challenges and methodologies [11.584972135829199]
一時的な電子健康記録は、臨床イベント予測や慢性疾患管理など、二次的な用途のための豊富な情報である。
我々は,2010年1月1日から2020年8月30日までに,構造化EHRデータにおける時間的データ表現に関する深層学習手法を報告した論文を求めた。
データ不規則性、データ不均一性、データの分散性、モデル不透明性を含む4つの大きな課題が特定された。
論文 参考訳（メタデータ） (2021-07-21T09:00:40Z) - Two-Stream Consensus Network: Submission to HACS Challenge 2021
Weakly-Supervised Learning Track [78.64815984927425]
弱い監督による時間的行動ローカライゼーションの目標は、ビデオの興味ある動作を時間的に特定し、分類することである。
この課題では,2ストリームコンセンサスネットワーク(TSCN)を主要なフレームワークとして採用しています。
この課題では,本手法が今後の学術研究のベースラインとなることを期待して,第2位にランクインした。
論文 参考訳（メタデータ） (2021-06-21T03:36:36Z) - Deep Learning-Based Human Pose Estimation: A Survey [66.01917727294163]
人間のポーズ推定は、過去10年間に注目を集めてきた。
ヒューマン・コンピュータ・インタラクション、モーション・アナリティクス、拡張現実、バーチャル・リアリティーなど幅広い用途で利用されている。
最近のディープラーニングベースのソリューションは、人間のポーズ推定において高いパフォーマンスを実現している。
論文 参考訳（メタデータ） (2020-12-24T18:49:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。