論文の概要: TREC Deep Learning Track: Reusable Test Collections in the Large Data Regime

• arxiv url: http://arxiv.org/abs/2104.09399v1
• Date: Mon, 19 Apr 2021 15:41:28 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 14:22:16.587806
• Title: TREC Deep Learning Track: Reusable Test Collections in the Large Data Regime
• Title（参考訳）: TRECディープラーニングトラック:大規模データレジームで再利用可能なテストコレクション
• Authors: Nick Craswell, Bhaskar Mitra, Emine Yilmaz, Daniel Campos, Ellen M. Voorhees and Ian Soboroff
• Abstract要約: 本稿では,TREC DLテストコレクションの再利用を3つの方法で支援する。 まず、データセットを詳細に記述し、明確に文書化し、それ以外はトラックガイドラインに散らばっているいくつかの詳細を記述します。 第2に,データセットを再利用する場合,反復や選択バイアスのリスクがあるため,trac dlデータを用いた論文作成のベストプラクティスを過大評価することなく記述する。
• 参考スコア（独自算出の注目度）: 33.202007333667375
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: The TREC Deep Learning (DL) Track studies ad hoc search in the large data regime, meaning that a large set of human-labeled training data is available. Results so far indicate that the best models with large data may be deep neural networks. This paper supports the reuse of the TREC DL test collections in three ways. First we describe the data sets in detail, documenting clearly and in one place some details that are otherwise scattered in track guidelines, overview papers and in our associated MS MARCO leaderboard pages. We intend this description to make it easy for newcomers to use the TREC DL data. Second, because there is some risk of iteration and selection bias when reusing a data set, we describe the best practices for writing a paper using TREC DL data, without overfitting. We provide some illustrative analysis. Finally we address a number of issues around the TREC DL data, including an analysis of reusability.
• Abstract（参考訳）: TREC Deep Learning (DL) Trackは、大規模なデータ体制におけるアドホック検索を研究する。 これまでの結果は、大きなデータを持つ最良のモデルがディープニューラルネットワークであることを示している。 本稿では,TREC DLテストコレクションの再利用を3つの方法で支援する。 まず、データセットを詳細に記述し、明確に文書化し、それ以外はトラックガイドライン、概要論文、および関連するMS MARCOリーダーボードページに散らばっているいくつかの詳細を記述します。 この記述は、新規参入者がtrac dlデータを簡単に利用できるように意図している。 第2に,データセットを再利用する場合,反復や選択バイアスのリスクがあるため,trac dlデータを用いた論文作成のベストプラクティスを過大評価することなく記述する。 いくつか説明的な分析を行う。 最後に、trac dlデータに関する多くの問題に対処し、再利用可能性の分析を含む。

関連論文リスト

• DRUPI: Dataset Reduction Using Privileged Information [20.59889438709671]
  データセットリダクション(DR)は、ターゲットタスクのパフォーマンスを維持しながら、大規模なデータセットからより小さなサブセットにサンプルを選択または蒸留する。 本稿では,DRUPI(Privleged Information)を用いたデータセットリダクションについて紹介する。 我々の研究結果によると、効果的な特徴ラベルは過度に差別的かつ過度に多様性があり、中程度のレベルがデータセットの有効性を改善するのに最適であることが判明した。
  論文  参考訳（メタデータ） (2024-10-02T14:49:05Z)
• Soft Prompt Tuning for Augmenting Dense Retrieval with Large Language Models [29.735976068474105]
  本稿では,拡張Dense検索(DR)モデルのためのソフトプロンプトチューニングを提案する。 各タスクに対して,限られた真実データに基づいて,タスク固有のソフトプロンプトを最適化するために,ソフトプロンプトチューニングを利用する。 我々は、弱いタグ付きクエリの品質をさらに向上させるために、高品質な文書クエリペアを選択するフィルタを設計する。
  論文  参考訳（メタデータ） (2023-07-17T07:55:47Z)
• Zero-Shot Listwise Document Reranking with a Large Language Model [58.64141622176841]
  本稿では,タスク固有の学習データを用いることなく,言語モデル(LRL)を用いたリスワイズ・リランカを提案する。 3つのTRECウェブサーチデータセットの実験により、LRLは第1段検索結果の再ランク付け時にゼロショットポイントワイズ法より優れるだけでなく、最終段再ランカとしても機能することが示された。
  論文  参考訳（メタデータ） (2023-05-03T14:45:34Z)
• AnnoLLM: Making Large Language Models to Be Better Crowdsourced Annotators [98.11286353828525]
  GPT-3.5シリーズのモデルは、様々なNLPタスクにまたがる顕著な少数ショットとゼロショットの能力を示している。 本稿では,2段階のアプローチを取り入れたAnnoLLMを提案する。 我々はAnnoLLMを用いた対話型情報検索データセットを構築した。
  論文  参考訳（メタデータ） (2023-03-29T17:03:21Z)
• Data leakage in cross-modal retrieval training: A case study [16.18916188804986]
  提案したSoundDescベンチマークデータセットは,BBC Sound EffectsのWebページから自動的にソースされる。 SoundDescには、トレーニングデータを評価データに漏洩させる複数の重複が含まれていることが判明した。 オンラインで利用可能なデータセットに対して、新たなトレーニング、検証、テストの分割を提案します。
  論文  参考訳（メタデータ） (2023-02-23T09:51:03Z)
• Learning Instructions with Unlabeled Data for Zero-Shot Cross-Task Generalization [68.91386402390403]
  本研究では,学習中の命令をよりよく活用するために,Unlabeled Data Augmented Instruction Tuning (UDIT)を提案する。 タスクやデータセットのさまざまなシナリオにおいて,UDITの有効性を示すための広範な実験を行う。
  論文  参考訳（メタデータ） (2022-10-17T15:25:24Z)
• A Large Scale Search Dataset for Unbiased Learning to Rank [51.97967284268577]
  我々は、非バイアス学習のためのBaidu-ULTRデータセットをランク付けする。 ランダムに12億の検索セッションと7,008のエキスパートアノテートクエリをサンプリングする。 1)本来のセマンティックな特徴と,使用が容易な事前学習言語モデル,(2)位置,表示高さ,抽象表現などの十分な表示情報,(3)居住時間のような検索結果ページ(SERP)に対するリッチなユーザフィードバックを提供する。
  論文  参考訳（メタデータ） (2022-07-07T02:37:25Z)
• Analyzing Dynamic Adversarial Training Data in the Limit [50.00850852546616]
  動的逆データ収集(DADC)は、このような多様なトレーニングセットを生成するためのアプローチとして、約束を守る。 本研究は,NLIの20ラウンドを少数の前提項で収集する,長期DADCに関する最初の研究である。 DADCの例でトレーニングされたモデルでは、専門家が計算したテストセットのエラーが、非敵のデータでトレーニングされたモデルよりも26%少なくなります。
  論文  参考訳（メタデータ） (2021-10-16T08:48:52Z)
• Boosting offline handwritten text recognition in historical documents with few labeled lines [5.9207487081080705]
  大規模データベースからより小さな歴史データベースへの転送学習の方法を分析する。 第2に、TLとデータ拡張を効率的に組み合わせる手法を解析する。 トレーニングセットにおける誤りラベリングの効果を緩和するアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-12-04T11:59:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。