論文の概要: Challenging Decoder helps in Masked Auto-Encoder Pre-training for Dense Passage Retrieval

• arxiv url: http://arxiv.org/abs/2305.13197v1
• Date: Mon, 22 May 2023 16:27:10 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-23 14:27:21.593739
• Title: Challenging Decoder helps in Masked Auto-Encoder Pre-training for Dense Passage Retrieval
• Title（参考訳）: Challenging Decoderは、Dense Passage RetrievalのためのMasked Auto-Encoder事前トレーニングを支援する
• Authors: Zehan Li, Yanzhao Zhang, Dingkun Long, Pengjun Xie
• Abstract要約: Masked Auto-Encoder (MAE) 事前トレーニングアーキテクチャが最も有望である。 本稿では,デコーダの難易度を高めるために,ポイントワイド相互情報に基づく新しいトークン重要マスキング戦略を提案する。
• 参考スコア（独自算出の注目度）: 10.905033385938982
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, various studies have been directed towards exploring dense passage retrieval techniques employing pre-trained language models, among which the masked auto-encoder (MAE) pre-training architecture has emerged as the most promising. The conventional MAE framework relies on leveraging the passage reconstruction of decoder to bolster the text representation ability of encoder, thereby enhancing the performance of resulting dense retrieval systems. Within the context of building the representation ability of the encoder through passage reconstruction of decoder, it is reasonable to postulate that a ``more demanding'' decoder will necessitate a corresponding increase in the encoder's ability. To this end, we propose a novel token importance aware masking strategy based on pointwise mutual information to intensify the challenge of the decoder. Importantly, our approach can be implemented in an unsupervised manner, without adding additional expenses to the pre-training phase. Our experiments verify that the proposed method is both effective and robust on large-scale supervised passage retrieval datasets and out-of-domain zero-shot retrieval benchmarks.
• Abstract（参考訳）: 近年,マスク付きオートエンコーダ(MAE)事前学習アーキテクチャが最も有望であるような,事前学習言語モデルを用いた密流路探索手法の探索に向けて,様々な研究が進められている。 従来のMAEフレームワークは、デコーダのパス再構成を利用してエンコーダのテキスト表現能力を向上し、結果として発生する高密度検索システムの性能を向上させる。 デコーダのパス再構成によるエンコーダの表現能力構築のコンテキスト内では、 ``more demanding''デコーダが対応するエンコーダの能力の増大を必要とすると仮定することは合理的である。 そこで本稿では,デコーダの難易度を高めるために,ポイントワイド相互情報に基づく新しいトークン重要マスキング戦略を提案する。 重要なのは、事前トレーニングフェーズに追加費用を追加することなく、教師なしの方法で実施できることです。 提案手法は,大規模トラクショナルパス検索データセットとドメイン外ゼロショット検索ベンチマークにおいて有効かつ堅牢であることを確認した。

関連論文リスト

• $ε$-VAE: Denoising as Visual Decoding [61.29255979767292]
  生成モデリングにおいて、トークン化は複雑なデータをコンパクトで構造化された表現に単純化し、より効率的で学習可能な空間を作り出す。 現在の視覚的トークン化手法は従来のオートエンコーダフレームワークに依存しており、エンコーダはデータを潜在表現に圧縮し、デコーダは元の入力を再構築する。 具体的には,デコーダを拡散処理に置き換え,ノイズを反復的に除去して元のイメージを復元し,エンコーダが提供する潜伏者によって誘導される。 再建(rFID)と生成品質(ジェネレーション品質)の両面からアプローチを評価する。
  論文  参考訳（メタデータ） (2024-10-05T08:27:53Z)
• Drop your Decoder: Pre-training with Bag-of-Word Prediction for Dense Passage Retrieval [26.00149743478937]
  マスケードオートエンコーダの事前学習は,高密度検索システムの初期化・拡張技術として広く普及している。 マスク付きオートエンコーダのデコーダを、完全に単純化されたBag-of-Word予測タスクに置き換えることで、従来のMAEの修正を提案する。 提案手法は,新たなパラメータを必要とせずに,大規模検索ベンチマークにおける最先端の検索性能を実現する。
  論文  参考訳（メタデータ） (2024-01-20T15:02:33Z)
• Tram: A Token-level Retrieval-augmented Mechanism for Source Code Summarization [76.57699934689468]
  ニューラルモデルの性能を高めるために,デコーダ側で詳細なTokenレベル検索強化機構(Tram)を提案する。 文脈的コードセマンティクスの取得におけるトークンレベルの検索の課題を克服するために,コードセマンティクスを個々の要約トークンに統合することを提案する。
  論文  参考訳（メタデータ） (2023-05-18T16:02:04Z)
• ConTextual Mask Auto-Encoder for Dense Passage Retrieval [49.49460769701308]
  CoT-MAEは,高密度経路抽出のための簡易かつ効果的な生成前訓練法である。 文のセマンティクスを高密度ベクトルに圧縮する学習は、自己教師付きおよび文脈教師付きマスキングによる自動エンコーディングによって行われる。 我々は,大規模経路探索ベンチマークの実験を行い,強力なベースラインよりも大幅に改善されたことを示す。
  論文  参考訳（メタデータ） (2022-08-16T11:17:22Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)
• Beyond Single Stage Encoder-Decoder Networks: Deep Decoders for Semantic Image Segmentation [56.44853893149365]
  セマンティックセグメンテーションのための単一エンコーダ-デコーダ手法は、セマンティックセグメンテーションの品質とレイヤー数あたりの効率の観点からピークに達している。 そこで本研究では,より多くの情報コンテンツを取得するために,浅層ネットワークの集合を用いたデコーダに基づく新しいアーキテクチャを提案する。 アーキテクチャをさらに改善するために,ネットワークの注目度を高めるために,クラスの再バランスを目的とした重み関数を導入する。
  論文  参考訳（メタデータ） (2020-07-19T18:44:34Z)
• Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding [59.48857453699463]
  シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。 近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。 本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
  論文  参考訳（メタデータ） (2020-05-16T20:00:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。