論文の概要: Overview of the TREC 2021 deep learning track

• arxiv url: http://arxiv.org/abs/2507.08191v1
• Date: Thu, 10 Jul 2025 21:58:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-14 18:03:54.187666
• Title: Overview of the TREC 2021 deep learning track
• Title（参考訳）: TREC 2021深層学習コースの概要
• Authors: Nick Craswell, Bhaskar Mitra, Emine Yilmaz, Daniel Campos, Jimmy Lin,
• Abstract要約: TRECディープラーニングトラックの3年目です。 私たちはMS MARCOデータセットを活用し、数十万の人間が注釈付きトレーニングラベルをパスと文書ランキングの両方で利用できるようにした。 大規模プレトレインニグを用いたディープニューラルランキングモデルは、今年も従来の検索方法より優れています。
• 参考スコア（独自算出の注目度）: 68.66107744993546
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This is the third year of the TREC Deep Learning track. As in previous years, we leverage the MS MARCO datasets that made hundreds of thousands of human annotated training labels available for both passage and document ranking tasks. In addition, this year we refreshed both the document and the passage collections which also led to a nearly four times increase in the document collection size and nearly $16$ times increase in the size of the passage collection. Deep neural ranking models that employ large scale pretraininig continued to outperform traditional retrieval methods this year. We also found that single stage retrieval can achieve good performance on both tasks although they still do not perform at par with multistage retrieval pipelines. Finally, the increase in the collection size and the general data refresh raised some questions about completeness of NIST judgments and the quality of the training labels that were mapped to the new collections from the old ones which we discuss in this report.
• Abstract（参考訳）: TRECディープラーニングトラックの3年目です。 以前のように、私たちはMS MARCOデータセットを利用して、何十万もの人間の注釈付きトレーニングラベルを、パスと文書のランク付けタスクの両方で利用できるようにしました。 さらに今年は、ドキュメントコレクションとパスコレクションの両方をリフレッシュし、ドキュメントコレクションのサイズが4倍近く増加し、パスコレクションのサイズが16ドル近く増加した。 大規模プレトレインニグを用いたディープニューラルランキングモデルは、今年も従来の検索方法より優れています。 また,シングルステージ検索は,マルチステージ検索パイプラインと同等に動作しないにもかかわらず,両方のタスクにおいて良好な性能が得られることがわかった。 最後に,NIST判定の完全性や,本報告で論じる旧コレクションから新たなコレクションにマッピングされたトレーニングラベルの品質について,コレクションサイズの増加と一般データリフレッシュが疑問を呈している。

関連論文リスト

• Overview of the TREC 2022 deep learning track [67.86242254073656]
  TRECディープラーニングトラックの4年目です。 私たちは、何十万もの人間が注釈付きトレーニングラベルを利用できるようにしたMS MARCOデータセットを活用しています。 前年と同様、大規模事前学習を用いたディープニューラルネットワークのランキングモデルは、従来の検索方法より優れていた。
  論文  参考訳（メタデータ） (2025-07-10T20:48:22Z)
• Towards Efficient Active Learning in NLP via Pretrained Representations [1.90365714903665]
  ファインチューニング大型言語モデル(LLM)は、今や幅広いアプリケーションにおけるテキスト分類の一般的なアプローチである。 能動学習ループ内でのLLMの事前学習表現を用いて,このプロセスを大幅に高速化する。 私たちの戦略は、アクティブな学習ループを通した微調整と同じようなパフォーマンスを得るが、計算コストは桁違いに低い。
  論文  参考訳（メタデータ） (2024-02-23T21:28:59Z)
• Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
  本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。 3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
  論文  参考訳（メタデータ） (2023-05-03T14:45:34Z)
• Can BERT Refrain from Forgetting on Sequential Tasks? A Probing Study [68.75670223005716]
  BERTのような事前学習型言語モデルでは,メモリリプレイが少なくても,逐次学習が可能であることが判明した。 実験の結果,BERT は従来学習したタスクに対して,極めて疎らなリプレイや,さらにはリプレイを行なわずに,長期間にわたって高品質な表現を生成できることが判明した。
  論文  参考訳（メタデータ） (2023-03-02T09:03:43Z)
• Dataset Distillation: A Comprehensive Review [76.26276286545284]
  データセット蒸留(DD)は、トレーニングされたモデルが元のデータセットでトレーニングされたデータセットに匹敵するパフォーマンスを得るために、合成サンプルを含むはるかに小さなデータセットを導出することを目的としている。 本稿ではDDの最近の進歩とその応用について概説する。
  論文  参考訳（メタデータ） (2023-01-17T17:03:28Z)
• NEVIS'22: A Stream of 100 Tasks Sampled from 30 Years of Computer Vision Research [96.53307645791179]
  我々は,100以上の視覚的分類タスクのストリームからなるベンチマークであるNever-Ending VIsual-classification Stream (NEVIS'22)を紹介する。 分類に制限されているにもかかわらず、OCR、テクスチャ分析、シーン認識など、様々なタスクが生成される。 NEVIS'22は、タスクの規模と多様性のために、現在のシーケンシャルな学習アプローチに対して前例のない課題を提起している。
  論文  参考訳（メタデータ） (2022-11-15T18:57:46Z)
• PASH at TREC 2021 Deep Learning Track: Generative Enhanced Model for Multi-stage Ranking [20.260222175405215]
  本稿では,TREC 2021 Deep Learning TrackにおけるPASHの参加について述べる。 リコール段階ではスパース法と高密度検索法を組み合わせたスキームを採用する。 多段階ランキングフェーズでは、ポイントワイドとペアワイドランキング戦略が使用される。
  論文  参考訳（メタデータ） (2022-05-18T04:38:15Z)
• Overview of the TREC 2020 deep learning track [30.531644711518414]
  今年は文書検索タスクとパス検索タスクがあり、それぞれに何十万もの人手によるトレーニングクエリがあります。 我々は,シングルショットTRECスタイルの評価を用いて評価を行い,大規模データを利用できる場合にどのランキング手法が最適かを示す。 今年はさらに、BERTスタイルの事前トレーニングを持つランク付け者が、大規模なデータ体制における他のランク付けよりも優れているという証拠があります。
  論文  参考訳（メタデータ） (2021-02-15T16:47:00Z)
• SupMMD: A Sentence Importance Model for Extractive Summarization using Maximum Mean Discrepancy [92.5683788430012]
  SupMMDは、カーネルの2サンプルテストと最大の相違点に基づく、ジェネリックおよび更新の要約のための新しいテクニックである。 DUC-2004 および TAC-2009 データセット上での現在の技術状況を満たしたり超えたりすることで,SupMMD の総合的および更新的要約タスクにおける有効性を示す。
  論文  参考訳（メタデータ） (2020-10-06T09:26:55Z)
• Overview of the TREC 2019 deep learning track [36.23357487158591]
  Deep Learning TrackはTREC 2019の新しいトラックで、大規模データ体制におけるアドホックランキングの研究を目的としている。 大規模な人間ラベルのトレーニングセットを備えた最初のトラックであり、2つのタスクに対応する2つのセットを導入している。 今年、15のグループは、ディープラーニング、トランスファーラーニング、伝統的なIRランキング手法の様々な組み合わせを使用して、合計75のランを提出した。
  論文  参考訳（メタデータ） (2020-03-17T17:12:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。