論文の概要: SIGIR 2025 -- LiveRAG Challenge Report
- arxiv url: http://arxiv.org/abs/2507.04942v1
- Date: Mon, 07 Jul 2025 12:38:53 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-07-08 15:46:35.417667
- Title: SIGIR 2025 -- LiveRAG Challenge Report
- Title（参考訳）: SIGIR 2025 -- LiveRAG Challenge Report
- Authors: David Carmel, Simone Filice, Guy Horowitz, Yoelle Maarek, Oren Somekh, Ran Tavory,
- Abstract要約: SIGIR 2025のLiveRAG Challengeは、Retrieval-Augmented Generation技術の発展のための競争プラットフォームを提供する。
27カ国から70チームが、厳格な2時間の時間枠内で500の目に見えない質問に回答と支援情報を提供した。
ファイナリストは2025年6月12日に発表され、イタリアのパドヴァにあるSIGIR 2025のLiveRAGワークショップで受賞した。
- 参考スコア（独自算出の注目度）: 11.058942282651993
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The LiveRAG Challenge at SIGIR 2025, held between March and May 2025, provided a competitive platform for advancing Retrieval-Augmented Generation (RAG) technologies. Participants from academia and industry were invited to develop a RAG-based question-answering system using a fixed corpus (Fineweb-10BT) and a common open-source LLM (Falcon3-10B-Instruct). The goal was to facilitate challenging comparisons of retrieval and prompting strategies. During the Live Challenge Day, 70 teams from 27 different countries provided answers and supportive information to 500 unseen questions within a strict two-hour time window. Evaluation was conducted in two stages: first an automated LLM-as-a-judge approach was used to compute correctness and faithfulness score, then a manual review of top ranked submissions was conducted. The finalists were announced on June 12, 2025, with prizes awarded during the LiveRAG Workshop at SIGIR 2025 in Padua, Italy.
- Abstract（参考訳）: 2025年3月から5月にかけて開催されたSIGIR 2025のLiveRAG Challengeでは、レトリーバル・アグレゲード・ジェネレーション(RAG)技術の発展のための競争プラットフォームが提供された。
学術・産業の参加者は, 固定コーパス (Fineweb-10BT) と共通オープンソース LLM (Falcon3-10B-Instruct) を用いてRAGに基づく質問応答システムの開発に招待された。
目標は、検索と戦略の挑戦的な比較を促進することであった。
ライブチャレンジデーでは、27カ国から70チームが、厳格な2時間の時間枠内で500の目に見えない質問に回答と支援情報を提供した。
LLM-as-a-judge による正当性評価と信頼度評価の2段階に分けて評価を行った。
ファイナリストは2025年6月12日に発表され、イタリアのパドヴァにあるSIGIR 2025のLiveRAGワークショップで受賞した。
関連論文リスト
- Benchmarking Generalizable Bimanual Manipulation: RoboTwin Dual-Arm Collaboration Challenge at CVPR 2025 MEIS Workshop [120.2806035123366]
RoboTwin Dual-Arm Collaboration Challengeは、CVPR 2025の第2回MeISワークショップで行われた。
ライバルは、剛性、変形性、触覚ベースのシナリオをカバーする17のデュアルアーム操作タスクに完全に取り組んだ。
コンペティションの設定、タスク設計、評価方法論、重要な発見と今後の方向性について概説する。
論文 参考訳（メタデータ） (2025-06-29T17:56:41Z) - Knowledge-Aware Diverse Reranking for Cross-Source Question Answering [9.788039182463768]
本稿では,SIGIR 2025 LiveRAG コンペティションにおける Team Marikarp のソリューションについて述べる。
コンペティションの評価セットは、インターネットコーパスからDataMorganaによって自動生成され、幅広いターゲットトピックを含んでいた。
提案した知識対応多種多様なRAGパイプラインは,コンペで1位となった。
論文 参考訳（メタデータ） (2025-06-25T14:23:21Z) - RMIT-ADM+S at the SIGIR 2025 LiveRAG Challenge [4.364909807482374]
本稿では,SIGIR 2025 LiveRAG ChallengeにおけるRMIT--ADM+S参加について述べる。
我々のGAG(Generation-Retrieval-Augmented Generation)アプローチは、元の質問とともに、検索フェーズで使用される仮説的な回答を生成することに依存しています。
システムアーキテクチャと設計選択の背後にある根拠について説明する。
論文 参考訳（メタデータ） (2025-06-17T13:41:12Z) - NTIRE 2025 Challenge on UGC Video Enhancement: Methods and Results [73.23764765210825]
本稿では,NTIRE 2025 Challenge on Video Enhancementについて概説する。
このチャレンジは、ユーザー生成した150のコンテンツビデオのセットを構築した。
参加者の目標は、このような映像の視覚的品質を向上させるアルゴリズムを開発することである。
論文 参考訳（メタデータ） (2025-05-05T20:06:11Z) - NTIRE 2025 Challenge on Image Super-Resolution ($\times$4): Methods and Results [159.15538432295656]
NTIRE 2025イメージ超解像(4ドル)チャレンジは、CVPR 2025の第10回NETREワークショップのコンペティションのひとつ。
この課題は、低分解能(LR)画像から高分解能(HR)画像を復元することを目的としている。
286人の参加者が参加し、25チームが有効なエントリーを提出した。
論文 参考訳（メタデータ） (2025-04-20T12:08:22Z) - [Call for Papers] The 2nd BabyLM Challenge: Sample-efficient pretraining on a developmentally plausible corpus [81.34965784440176]
このCfPはBabyLM Challenge 2024-2025のルールを提供する。
課題の全体的目標は同じままです。
私たちは緩い線を紙の線で置き換える。
事前学習に関するルールを緩和します。
マルチモーダル・ヴィジュアル・アンド・ランゲージ・トラックを導入する。
論文 参考訳（メタデータ） (2024-04-09T11:04:50Z) - The NeurIPS 2022 Neural MMO Challenge: A Massively Multiagent
Competition with Specialization and Trade [41.639843908635875]
NeurIPS-2022 Neural MMO Challengeには500人が参加し、1,600以上の応募があった。
今年の競技は最新のv1.6 Neural MMOで行われ、新しい装備、戦闘、取引、より良いスコアシステムが導入されている。
本稿では,課題の設計と成果を要約し,学習方法のベンチマークとして,この環境の可能性について考察する。
論文 参考訳（メタデータ） (2023-11-07T04:14:45Z) - ICDAR 2023 Competition on Hierarchical Text Detection and Recognition [60.68100769639923]
このコンペティションは、テキストの検出と認識を共同で行うディープラーニングモデルとシステムの研究を促進することを目的としている。
提案するコンペティション組織の詳細について,タスク,データセット,評価,スケジュールなどを紹介する。
大会期間中(2023年1月2日から2023年4月1日まで)、20チーム以上から少なくとも50人が提案された2つのタスクで応募された。
論文 参考訳（メタデータ） (2023-05-16T18:56:12Z) - RangL: A Reinforcement Learning Competition Platform [82.1944886411643]
RangLは、現実世界の動的決定問題に関連する競争を支援することで、強化学習のより広範な普及を促進することを目的としている。
この記事では、RangLチームが開発し、2022 Pathways to Net Zero Challengeにデプロイした再利用可能なコードリポジトリについて説明する。
このチャレンジの勝利の解決策は、2050年までに英国のエネルギー移行政策をゼロ炭素排出量に最適化することである。
論文 参考訳（メタデータ） (2022-07-28T09:44:21Z) - 2nd Place Solution to ECCV 2020 VIPriors Object Detection Challenge [24.368684444351068]
我々は、最先端のデータ強化戦略、モデル設計、および後処理アンサンブル手法を用いることで、データ不足の難しさを克服し、競争結果を得ることができることを示す。
当社の全体的な検出システムは,COCO 2017の検証セット上で,事前トレーニングや移行学習の重み付けなしで,わずか10Kのトレーニングイメージを使用して36.6$%のAPを達成している。
論文 参考訳（メタデータ） (2020-07-17T09:21:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。