Fugu-MT 論文翻訳(概要): PASH at TREC 2021 Deep Learning Track: Generative Enhanced Model for Multi-stage Ranking

論文の概要: PASH at TREC 2021 Deep Learning Track: Generative Enhanced Model for Multi-stage Ranking

arxiv url: http://arxiv.org/abs/2205.11245v2
Date: Tue, 24 May 2022 14:35:43 GMT
ステータス: 処理完了
システム内更新日: 2022-06-06 06:24:32.228524
Title: PASH at TREC 2021 Deep Learning Track: Generative Enhanced Model for Multi-stage Ranking
Title（参考訳）: TREC 2021ディープラーニングトラックにおけるPASH:多段階ランキング生成モデル
Authors: Yixuan Qiao, Hao Chen, Yongquan Lai, Jun Wang, Tuozhen Liu, Xianbin Ye, Rui Fang, Peng Gao, Wenfeng Xie, Guotong Xie
Abstract要約: 本稿では,TREC 2021 Deep Learning TrackにおけるPASHの参加について述べる。リコール段階ではスパース法と高密度検索法を組み合わせたスキームを採用する。多段階ランキングフェーズでは、ポイントワイドとペアワイドランキング戦略が使用される。
参考スコア（独自算出の注目度）: 16.200486967568775
License: http://creativecommons.org/licenses/by/4.0/
Abstract: This paper describes the PASH participation in TREC 2021 Deep Learning Track. In the recall stage, we adopt a scheme combining sparse and dense retrieval method. In the multi-stage ranking phase, point-wise and pair-wise ranking strategies are used one after another based on model continual pre-trained on general knowledge and document-level data. Compared to TREC 2020 Deep Learning Track, we have additionally introduced the generative model T5 to further enhance the performance.
Abstract（参考訳）: 本稿では,TREC 2021 Deep Learning TrackにおけるPASHの参加について述べる。リコール段階ではスパース法と高密度検索法を組み合わせたスキームを採用する。多段階ランキングフェーズでは、一般知識と文書レベルのデータに基づいて事前訓練されたモデル継続に基づいて、ポイントワイドおよびペアワイドランキング戦略が次々と使用される。 TREC 2020 Deep Learning Trackと比較して、我々はさらに性能を高めるために生成モデルT5を導入した。

関連論文リスト

SmurfCat at SemEval-2024 Task 6: Leveraging Synthetic Data for Hallucination Detection [51.99159169107426]
本稿では,SemEval-2024幻覚検出タスクのための新しいシステムを提案する。我々の調査は、モデル予測と基準基準を比較するための様々な戦略にまたがっている。強力なパフォーマンス指標を示す3つの異なる方法を紹介します。
論文参考訳（メタデータ） (2024-04-09T09:03:44Z)
InternLM2 Technical Report [159.70692271378581]
本稿では,オープンソースのLarge Language Models (LLM) であるInternLM2を紹介する。 InternLM2の事前トレーニングプロセスは細部まで詳細に書かれており、多様なデータ型の準備が強調されている。 InternLM2は、4kトークンでトレーニングされた長期的依存関係を効率的にキャプチャし、事前トレーニングおよび微調整の段階で32kトークンに進む。
論文参考訳（メタデータ） (2024-03-26T00:53:24Z)
Continual Learning with Pre-Trained Models: A Survey [61.97613090666247]
継続的な学習は、新しい知識を学ぶ際に、かつての知識の破滅的な忘れを克服することを目的としている。本稿では, PTM を用いた CL の最近の進歩を包括的に調査する。
論文参考訳（メタデータ） (2024-01-29T18:27:52Z)
When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
論文参考訳（メタデータ） (2023-12-16T17:13:08Z)
PILOT: A Pre-Trained Model-Based Continual Learning Toolbox [71.63186089279218]
本稿では,PILOTとして知られるモデルベース連続学習ツールボックスについて紹介する。一方、PILOTはL2P、DualPrompt、CODA-Promptといった事前学習モデルに基づいて、最先端のクラスインクリメンタル学習アルゴリズムを実装している。一方、PILOTは、事前学習されたモデルの文脈に典型的なクラス増分学習アルゴリズムを適合させ、それらの効果を評価する。
論文参考訳（メタデータ） (2023-09-13T17:55:11Z)
Hybrid Retrieval and Multi-stage Text Ranking Solution at TREC 2022 Deep Learning Track [22.81602641419962]
本稿では,ハイブリッドテキスト検索と多段階テキストランキング法について解説する。ランキング段階では,大規模な事前学習言語モデルに基づく対話型ランキングモデルに加えて,軽量なサブランクモジュールも提案する。本モデルでは, 通過ランキングと文書ランキングの試験セットにおいて, それぞれ第1位と第4位を達成している。
論文参考訳（メタデータ） (2023-08-23T09:56:59Z)
Progressive Prompts: Continual Learning for Language Models [38.80713056417491]
言語モデルにおける継続学習のためのシンプルで効率的なアプローチであるProgressive Promptsを紹介します。プログレッシブ・プロンプト(Progressive Prompts)はタスクごとに新しいソフト・プロンプトを学習し、事前に学習したプロンプトで順次抵抗する。標準連続学習ベンチマークの実験は、我々のアプローチが最先端の手法より優れていることを示している。
論文参考訳（メタデータ） (2023-01-29T00:17:38Z)
Predicting Query-Item Relationship using Adversarial Training and Robust Modeling Techniques [2.4442957793630584]
本稿では,検索クエリ-イテム関係の予測に有効な方法を提案する。我々は,事前学習したトランスモデルとLSTMモデルを組み合わせて,対向学習を用いてモデルロバスト性を向上する。当社の戦略を応用して、KDDカップ2022製品代替分類タスクで10位を獲得しました。
論文参考訳（メタデータ） (2022-08-23T06:10:06Z)
Unifying Language Learning Paradigms [96.35981503087567]
データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
論文参考訳（メタデータ） (2022-05-10T19:32:20Z)
Overview of the TREC 2020 deep learning track [30.531644711518414]
今年は文書検索タスクとパス検索タスクがあり、それぞれに何十万もの人手によるトレーニングクエリがあります。我々は,シングルショットTRECスタイルの評価を用いて評価を行い,大規模データを利用できる場合にどのランキング手法が最適かを示す。今年はさらに、BERTスタイルの事前トレーニングを持つランク付け者が、大規模なデータ体制における他のランク付けよりも優れているという証拠があります。
論文参考訳（メタデータ） (2021-02-15T16:47:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。