論文の概要: SIGIR 2025 -- LiveRAG Challenge Report

• arxiv url: http://arxiv.org/abs/2507.04942v2
• Date: Tue, 08 Jul 2025 06:37:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-09 12:20:17.826455
• Title: SIGIR 2025 -- LiveRAG Challenge Report
• Title（参考訳）: SIGIR 2025 -- LiveRAG Challenge Report
• Authors: David Carmel, Simone Filice, Guy Horowitz, Yoelle Maarek, Oren Somekh, Ran Tavory, Mehdi Ghissassi, Edo Liberty, Roy Miara,
• Abstract要約: SIGIR 2025のLiveRAG Challengeは、Retrieval-Augmented Generation技術の発展のための競争プラットフォームを提供する。 27カ国から70チームが、厳格な2時間の時間枠内で500の目に見えない質問に回答と支援情報を提供した。 ファイナリストは2025年6月12日に発表され、イタリアのパドヴァにあるSIGIR 2025のLiveRAGワークショップで受賞した。
• 参考スコア（独自算出の注目度）: 10.33475098016246
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The LiveRAG Challenge at SIGIR 2025, held between March and May 2025, provided a competitive platform for advancing Retrieval-Augmented Generation (RAG) technologies. Participants from academia and industry were invited to develop a RAG-based question-answering system using a fixed corpus (Fineweb-10BT) and a common open-source LLM (Falcon3-10B-Instruct). The goal was to facilitate challenging comparisons of retrieval and prompting strategies. During the Live Challenge Day, 70 teams from 27 different countries provided answers and supportive information to 500 unseen questions within a strict two-hour time window. Evaluation was conducted in two stages: first an automated LLM-as-a-judge approach was used to compute correctness and faithfulness score, then a manual review of top ranked submissions was conducted. The finalists were announced on June 12, 2025, with prizes awarded during the LiveRAG Workshop at SIGIR 2025 in Padua, Italy.
• Abstract（参考訳）: 2025年3月から5月にかけて開催されたSIGIR 2025のLiveRAG Challengeでは、レトリーバル・アグレゲード・ジェネレーション(RAG)技術の発展のための競争プラットフォームが提供された。 学術・産業の参加者は, 固定コーパス (Fineweb-10BT) と共通オープンソース LLM (Falcon3-10B-Instruct) を用いてRAGに基づく質問応答システムの開発に招待された。 目標は、検索と戦略の挑戦的な比較を促進することであった。 ライブチャレンジデーでは、27カ国から70チームが、厳格な2時間の時間枠内で500の目に見えない質問に回答と支援情報を提供した。 LLM-as-a-judge による正当性評価と信頼度評価の2段階に分けて評価を行った。 ファイナリストは2025年6月12日に発表され、イタリアのパドヴァにあるSIGIR 2025のLiveRAGワークショップで受賞した。

関連論文リスト

• Benchmarking Generalizable Bimanual Manipulation: RoboTwin Dual-Arm Collaboration Challenge at CVPR 2025 MEIS Workshop [120.2806035123366]
  RoboTwin Dual-Arm Collaboration Challengeは、CVPR 2025の第2回MeISワークショップで行われた。 ライバルは、剛性、変形性、触覚ベースのシナリオをカバーする17のデュアルアーム操作タスクに完全に取り組んだ。 コンペティションの設定、タスク設計、評価方法論、重要な発見と今後の方向性について概説する。
  論文  参考訳（メタデータ） (2025-06-29T17:56:41Z)
• Knowledge-Aware Diverse Reranking for Cross-Source Question Answering [9.788039182463768]
  本稿では,SIGIR 2025 LiveRAG コンペティションにおける Team Marikarp のソリューションについて述べる。 コンペティションの評価セットは、インターネットコーパスからDataMorganaによって自動生成され、幅広いターゲットトピックを含んでいた。 提案した知識対応多種多様なRAGパイプラインは,コンペで1位となった。
  論文  参考訳（メタデータ） (2025-06-25T14:23:21Z)
• RMIT-ADM+S at the SIGIR 2025 LiveRAG Challenge [4.364909807482374]
  本稿では,SIGIR 2025 LiveRAG ChallengeにおけるRMIT--ADM+S参加について述べる。 我々のGAG(Generation-Retrieval-Augmented Generation)アプローチは、元の質問とともに、検索フェーズで使用される仮説的な回答を生成することに依存しています。 システムアーキテクチャと設計選択の背後にある根拠について説明する。
  論文  参考訳（メタデータ） (2025-06-17T13:41:12Z)
• NTIRE 2025 Challenge on Image Super-Resolution ($\times$4): Methods and Results [159.15538432295656]
  NTIRE 2025イメージ超解像(4ドル)チャレンジは、CVPR 2025の第10回NETREワークショップのコンペティションのひとつ。 この課題は、低分解能(LR)画像から高分解能(HR)画像を復元することを目的としている。 286人の参加者が参加し、25チームが有効なエントリーを提出した。
  論文  参考訳（メタデータ） (2025-04-20T12:08:22Z)
• [Call for Papers] The 2nd BabyLM Challenge: Sample-efficient pretraining on a developmentally plausible corpus [81.34965784440176]
  このCfPはBabyLM Challenge 2024-2025のルールを提供する。 課題の全体的目標は同じままです。 私たちは緩い線を紙の線で置き換える。 事前学習に関するルールを緩和します。 マルチモーダル・ヴィジュアル・アンド・ランゲージ・トラックを導入する。
  論文  参考訳（メタデータ） (2024-04-09T11:04:50Z)
• The NeurIPS 2022 Neural MMO Challenge: A Massively Multiagent Competition with Specialization and Trade [41.639843908635875]
  NeurIPS-2022 Neural MMO Challengeには500人が参加し、1,600以上の応募があった。 今年の競技は最新のv1.6 Neural MMOで行われ、新しい装備、戦闘、取引、より良いスコアシステムが導入されている。 本稿では,課題の設計と成果を要約し,学習方法のベンチマークとして,この環境の可能性について考察する。
  論文  参考訳（メタデータ） (2023-11-07T04:14:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。