論文の概要: Sparsifying Sparse Representations for Passage Retrieval by Top-$k$ Masking

• arxiv url: http://arxiv.org/abs/2112.09628v1
• Date: Fri, 17 Dec 2021 16:59:40 GMT
• ステータス: 処理完了
• システム内更新日: 2021-12-20 15:59:05.241473
• Title: Sparsifying Sparse Representations for Passage Retrieval by Top-$k$ Masking
• Title（参考訳）: Top-k$ Masking によるパス検索のためのスパース表現
• Authors: Jheng-Hong Yang, Xueguang Ma, Jimmy Lin
• Abstract要約: 本稿では,行程検索のための語彙表現をスパース化するための,単純かつ効果的なアプローチについて述べる。 我々はSPLADE上に、空間性を制御するためのトップ$のマスキングスキームを導入し、マスク付き表現をコークスして非マスキング表現を模倣する自己学習手法を構築した。
• 参考スコア（独自算出の注目度）: 36.34100532217221
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Sparse lexical representation learning has demonstrated much progress in improving passage retrieval effectiveness in recent models such as DeepImpact, uniCOIL, and SPLADE. This paper describes a straightforward yet effective approach for sparsifying lexical representations for passage retrieval, building on SPLADE by introducing a top-$k$ masking scheme to control sparsity and a self-learning method to coax masked representations to mimic unmasked representations. A basic implementation of our model is competitive with more sophisticated approaches and achieves a good balance between effectiveness and efficiency. The simplicity of our methods opens the door for future explorations in lexical representation learning for passage retrieval.
• Abstract（参考訳）: 疎語彙表現学習は、DeepImpact、uniCOIL、SPLADEといった近年のモデルにおいて、パス検索の有効性を向上する上で大きな進歩を示している。 本稿では,スパルサリティ制御のためのトップ$k$マスキングスキームと,非マスキング表現を模倣するためにマスキング表現をコックスする自己学習手法を導入することで,パス検索の語彙表現をスパーサライズするための単純かつ効果的なアプローチについて述べる。 我々のモデルの基本実装は、より洗練されたアプローチと競合し、有効性と効率のバランスが良い。 本手法の単純さは,経路探索のための語彙表現学習における今後の探索の扉を開く。

関連論文リスト

• Understanding Masked Autoencoders From a Local Contrastive Perspective [80.57196495601826]
  Masked AutoEncoder (MAE)は、シンプルだが効果的なマスキングと再構築戦略によって、自己指導型学習の分野に革命をもたらした。 そこで我々は,MaEの再構成的側面とコントラスト的側面の両方を解析するために,ローカルコントラストMAEと呼ばれる新しい経験的枠組みを導入する。
  論文  参考訳（メタデータ） (2023-10-03T12:08:15Z)
• MA2CL:Masked Attentive Contrastive Learning for Multi-Agent Reinforcement Learning [128.19212716007794]
  我々はtextbfMulti-textbfAgent textbfMasked textbfAttentive textbfContrastive textbfLearning (MA2CL) という効果的なフレームワークを提案する。 MA2CLは、潜伏空間におけるマスクされたエージェント観察を再構築することにより、時間的およびエージェントレベルの予測の両方の学習表現を奨励する。 提案手法は,様々なMARLアルゴリズムの性能とサンプル効率を大幅に向上させ,様々な視覚的,状態的シナリオにおいて,他の手法よりも優れる。
  論文  参考訳（メタデータ） (2023-06-03T05:32:19Z)
• Retrieval Oriented Masking Pre-training Language Model for Dense Passage Retrieval [16.592276887533714]
  Masked Language Modeling (MLM) は、事前学習プロセスの主要なサブタスクである。 従来のランダムマスキング戦略は、パス検索タスクに制限のある多数のトークンを選択する傾向にある。 本稿では,より重要なトークンがマスクアウトされる確率の高い検索指向マスキング(ROM)戦略を提案する。
  論文  参考訳（メタデータ） (2022-10-27T02:43:48Z)
• Exploring Target Representations for Masked Autoencoders [78.57196600585462]
  目的表現の注意深い選択は、よい表現を学ぶために不要であることを示す。 本研究では,多段階のマスク蒸留パイプラインを提案し,無作為なモデルを教師として利用する。 自己指導型自己指導法を非自明なマージンで上回り, 自己指導型教員(dBOT)によるマスク付き知識蒸留を行う手法を提案する。
  論文  参考訳（メタデータ） (2022-09-08T16:55:19Z)
• Mask-based Latent Reconstruction for Reinforcement Learning [58.43247393611453]
  マスクをベースとした遅延再構成(MLR)は,空間的および時間的マスキング画素を用いた観測から潜在空間の完全な状態表現を予測するために提案される。 広汎な実験により,MLRは深部強化学習における試料効率を著しく向上させることが示された。
  論文  参考訳（メタデータ） (2022-01-28T13:07:11Z)
• Heterogeneous Contrastive Learning: Encoding Spatial Information for Compact Visual Representations [183.03278932562438]
  本稿では,エンコーディング段階に空間情報を加えることで,対照的な目的と強いデータ拡張操作の間の学習の不整合を緩和する効果的な手法を提案する。 提案手法は,視覚表現の効率を向上し,自己指導型視覚表現学習の今後の研究を刺激する鍵となるメッセージを提供する。
  論文  参考訳（メタデータ） (2020-11-19T16:26:25Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。