論文の概要: How Different are Pre-trained Transformers for Text Ranking?

• arxiv url: http://arxiv.org/abs/2204.07233v1
• Date: Tue, 5 Apr 2022 10:48:52 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-24 16:10:32.524496
• Title: How Different are Pre-trained Transformers for Text Ranking?
• Title（参考訳）: テキストランキングのための事前学習されたトランスフォーマーは、どう違うのか?
• Authors: David Rau and Jaap Kamps
• Abstract要約: トレーニング済みの大きなトランスフォーマーは、従来の検索モデルやフィードバックアプローチよりもパフォーマンスが大幅に向上している。 本稿では,BERT ベースのクロスエンコーダと従来の BM25 ランキングを比較した。 BERTの強みと弱みを識別する関連性の概念には,今後の改善に向けた研究を促す重要な違いがある。
• 参考スコア（独自算出の注目度）: 2.227822766415462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In recent years, large pre-trained transformers have led to substantial gains in performance over traditional retrieval models and feedback approaches. However, these results are primarily based on the MS Marco/TREC Deep Learning Track setup, with its very particular setup, and our understanding of why and how these models work better is fragmented at best. We analyze effective BERT-based cross-encoders versus traditional BM25 ranking for the passage retrieval task where the largest gains have been observed, and investigate two main questions. On the one hand, what is similar? To what extent does the neural ranker already encompass the capacity of traditional rankers? Is the gain in performance due to a better ranking of the same documents (prioritizing precision)? On the other hand, what is different? Can it retrieve effectively documents missed by traditional systems (prioritizing recall)? We discover substantial differences in the notion of relevance identifying strengths and weaknesses of BERT that may inspire research for future improvement. Our results contribute to our understanding of (black-box) neural rankers relative to (well-understood) traditional rankers, help understand the particular experimental setting of MS-Marco-based test collections.
• Abstract（参考訳）: 近年、大規模な事前学習型トランスフォーマーは、従来の検索モデルやフィードバックアプローチよりも性能が大幅に向上している。 しかし、これらの結果は主にMS Marco/TREC Deep Learning Trackのセットアップに基づいており、そのセットアップは非常に特化しています。 本稿では, BERT ベースのクロスエンコーダと従来の BM25 ランキングを比較し, 2 つの主要な問題について検討する。 一方、類似点は何か? 従来のランク付けの能力はすでにどの程度まで含まれていますか? 同じ文書のランキング(優先順位付けの精度)が良くなったことで、パフォーマンスが向上するのでしょうか? それに対して、何が違うのか? 従来のシステムでは見落としていたドキュメント(リコール優先)を効果的に取得できるのでしょうか? BERTの強度と弱さを識別する関連性の概念には,今後の改善に向けた研究を促す重要な違いがある。 この結果は,MS-Marcoをベースとしたテストコレクションの特定の実験的な設定を理解する上で,従来の(十分に理解された)ランキングに対する(ブラックボックス)ニューラルネットワークローダの理解に寄与する。

関連論文リスト

• Increasing Students' Engagement to Reminder Emails Through Multi-Armed Bandits [60.4933541247257]
  本稿では,学生が週毎のメールリマインダーとどのように関わり,時間管理の習慣を構築するかについて,実世界の適応実験を行った。 適応実験にマルチアーマド・バンド(MAB)アルゴリズムを用いると、より良い結果が得られる可能性が高まる。 我々は、これらの適応アルゴリズムの問題点を強調します。例えば、大きな違いがない場合の腕の活用などです。
  論文  参考訳（メタデータ） (2022-08-10T00:30:52Z)
• What Can Secondary Predictions Tell Us? An Exploration on Question-Answering with SQuAD-v2.0 [0.0]
  我々は、例の黄金のランク(GR)を、根拠となる真実と正確に一致する最も自信のある予測のランクとして定義する。 我々が分析した16の変圧器モデルでは、第2の予測空間における正確に一致した黄金の答えの大部分は、最上位に非常に近い位置にある。 GRIM(Golden Rank Interpolated Median)と呼ばれる,テストセット全体の新しい集計統計を導出する。
  論文  参考訳（メタデータ） (2022-06-29T01:17:47Z)
• Learning to Win Lottery Tickets in BERT Transfer via Task-agnostic Mask Training [55.43088293183165]
  近年の研究では、BERTのような事前学習言語モデル(PLM)には、元のPLMと同じような変換学習性能を持つマッチングワークが含まれていることが示されている。 本稿では, BERTworksがこれらの研究で示された以上の可能性を秘めていることを示す。 我々は、サブネットワークの普遍的な転送可能性を維持することを目的として、事前学習タスクのモデル重みよりも二項マスクを訓練する。
  論文  参考訳（メタデータ） (2022-04-24T08:42:47Z)
• Efficient Few-Shot Object Detection via Knowledge Inheritance [62.36414544915032]
  Few-shot Object Detection (FSOD) は、未確認のタスクに少ないトレーニングサンプルで適応できるジェネリック検出器を学習することを目的としている。 計算量の増加を伴わない効率的なプレトレイン・トランスファー・フレームワーク(PTF)のベースラインを提案する。 また,予測された新しいウェイトと事前訓練されたベースウェイトとのベクトル長の不整合を軽減するために,適応長再スケーリング(ALR)戦略を提案する。
  論文  参考訳（メタデータ） (2022-03-23T06:24:31Z)
• Procedural Content Generation: Better Benchmarks for Transfer Reinforcement Learning [2.0196229393131726]
  強化学習の移行は、より早く学習し、より複雑な方法を学ぶことを約束する。 2018年からのディープラーニングの採用は驚くほど遅かったことに注意が必要だ。 ディープラーニングはTRLの最大の課題である一般化をまだ解決していない。
  論文  参考訳（メタデータ） (2021-05-31T08:21:03Z)
• Distilling Knowledge via Knowledge Review [69.15050871776552]
  教師と学生のネットワーク間の接続経路のクロスレベル要因を研究し、その大きな重要性を明らかにします。 知識蒸留において初めて, クロスステージ接続経路が提案されている。 最終的に設計されたネストでコンパクトなフレームワークは、無視できるオーバーヘッドを必要とし、さまざまなタスクで他のメソッドよりも優れています。
  論文  参考訳（メタデータ） (2021-04-19T04:36:24Z)
• Information Ranking Using Optimum-Path Forest [5.696039065328918]
  The performance of Optimum-Path Forest (OPF) based approach was compared to the well-known SVM-Rank pairwise technique and a baseline based on distance calculation。 実験の結果、計算負荷の点で従来の技術よりも精度と性能が優れていた。
  論文  参考訳（メタデータ） (2021-02-16T02:01:29Z)
• Pretrained Transformers for Text Ranking: BERT and Beyond [53.83210899683987]
  このサーベイは、トランスフォーマーとして知られるニューラルネットワークアーキテクチャによるテキストランキングの概要を提供する。 トランスフォーマーと自己教師型事前学習の組み合わせは、自然言語処理のパラダイムシフトの原因となっている。
  論文  参考訳（メタデータ） (2020-10-13T15:20:32Z)
• A Pairwise Probe for Understanding BERT Fine-Tuning on Machine Reading Comprehension [9.446041739364135]
  本稿では,機械読解(MRC)タスクにおけるBERTの微調整を理解するためのペアワイズプローブを提案する。 ペアワイズ探索タスクにより、各レイヤの事前学習および微調整されたBERTの隠れ表現の性能を比較する。 我々の実験分析は、非常に自信のある結論をもたらす。
  論文  参考訳（メタデータ） (2020-06-02T02:12:19Z)
• Sharing Matters for Generalization in Deep Metric Learning [22.243744691711452]
  本研究は,アノテーションやデータトレーニングを必要とせずに,クラスを分離した特徴を学習する方法を検討する。 我々のアプローチを新しいトリプルトサンプリング戦略として定式化することにより、最近のランキング損失フレームワークに容易に適用できる。
  論文  参考訳（メタデータ） (2020-04-12T10:21:15Z)
• Pre-training Tasks for Embedding-based Large-scale Retrieval [68.01167604281578]
  本稿では,大規模クエリ文書検索問題について考察する。 クエリ(例えば質問)が与えられたら、関連するドキュメントのセットを大きなドキュメントコーパスから返します。 本稿では, 組込み型トランスフォーマーモデルの学習の鍵となる要素が, 事前学習作業のセットであることを示す。
  論文  参考訳（メタデータ） (2020-02-10T16:44:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。