論文の概要: Less is More: Pre-training a Strong Siamese Encoder Using a Weak Decoder

• arxiv url: http://arxiv.org/abs/2102.09206v1
• Date: Thu, 18 Feb 2021 08:08:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-19 14:18:02.548358
• Title: Less is More: Pre-training a Strong Siamese Encoder Using a Weak Decoder
• Title（参考訳）: less is more: 弱いデコーダを用いた強力なシアムエンコーダの事前トレーニング
• Authors: Shuqi Lu, Chenyan Xiong, Di He, Guolin Ke, Waleed Malik, Zhicheng Dou, Paul Bennett, Tieyan Liu, Arnold Overwijk
• Abstract要約: 多くの実世界のアプリケーションはSiameseネットワークを使用して、テキストシーケンスを大規模に効率的にマッチングします。 本稿では,シームズアーキテクチャにおけるシーケンスマッチング専用の言語モデルを事前学習する。
• 参考スコア（独自算出の注目度）: 75.84152924972462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Many real-world applications use Siamese networks to efficiently match text sequences at scale, which require high-quality sequence encodings. This paper pre-trains language models dedicated to sequence matching in Siamese architectures. We first hypothesize that a representation is better for sequence matching if the entire sequence can be reconstructed from it, which, however, is unlikely to be achieved in standard autoencoders: A strong decoder can rely on its capacity and natural language patterns to reconstruct and bypass the needs of better sequence encodings. Therefore we propose a new self-learning method that pretrains the encoder with a weak decoder, which reconstructs the original sequence from the encoder's [CLS] representations but is restricted in both capacity and attention span. In our experiments on web search and recommendation, the pre-trained SEED-Encoder, "SiamEsE oriented encoder by reconstructing from weak decoder", shows significantly better generalization ability when fine-tuned in Siamese networks, improving overall accuracy and few-shot performances. Our code and models will be released.
• Abstract（参考訳）: 多くの実世界のアプリケーションはSiameseネットワークを使用して、高品質のシーケンスエンコーディングを必要とする大規模なテキストシーケンスを効率的にマッチングします。 本稿では,シームズアーキテクチャにおけるシーケンスマッチング専用の言語モデルを事前学習する。 まず、シーケンス全体の再構成が可能ならば、表現はシーケンスマッチングに適している、という仮説を立てる。しかし、標準的なオートエンコーダでは達成できない: 強力なデコーダは、そのキャパシティと自然言語パターンに依存して、より優れたシーケンスエンコーディングの必要性を回避できる。 そこで本研究では,エンコーダの[cls]表現から元のシーケンスを再構成するが,キャパシティと注意範囲は制限される,弱いデコーダでエンコーダを事前学習する新しい自己学習手法を提案する。 web 検索とレコメンデーションに関する実験では,事前学習したシードエンコーダである "siamese oriented encoder by reconstructioning from weak decoder" が,siamese ネットワークで微調整を行った場合の一般化能力が著しく向上し,全体的な精度が向上した。 コードとモデルはリリースされます。

関連論文リスト

• Decoder-Only or Encoder-Decoder? Interpreting Language Model as a Regularized Encoder-Decoder [75.03283861464365]
  seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。 伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。 最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
  論文  参考訳（メタデータ） (2023-04-08T15:44:29Z)
• Machine Learning-Aided Efficient Decoding of Reed-Muller Subcodes [59.55193427277134]
  Reed-Muller (RM) 符号は、一般的なバイナリインプットメモリレス対称チャネルの容量を達成する。 RM符号は制限されたレートのみを許容する。 効率的なデコーダは、RM符号に対して有限長で利用可能である。
  論文  参考訳（メタデータ） (2023-01-16T04:11:14Z)
• Transformer with Tree-order Encoding for Neural Program Generation [8.173517923612426]
  木に基づく位置エンコーディングと、トランスフォーマーのための自然言語サブワード語彙の共有を導入する。 その結果,木に基づく位置符号化と自然言語サブワード語彙の共有を併用することで,逐次的位置符号化よりも生成性能が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-05-30T12:27:48Z)
• UniXcoder: Unified Cross-Modal Pre-training for Code Representation [65.6846553962117]
  プログラミング言語のためのクロスモーダル事前学習モデルUniXcoderを提案する。 木の構造情報を全て保持するシーケンス構造でASTを変換する1対1のマッピング手法を提案する。 我々は,UniXcoderを9つのデータセット上で5つのコード関連タスクで評価する。
  論文  参考訳（メタデータ） (2022-03-08T04:48:07Z)
• Adversarial Neural Networks for Error Correcting Codes [76.70040964453638]
  機械学習(ML)モデルの性能と適用性を高めるための一般的なフレームワークを紹介する。 本稿では,MLデコーダと競合する識別器ネットワークを組み合わせることを提案する。 我々のフレームワークはゲーム理論であり、GAN(Generative Adversarial Network)によって動機付けられている。
  論文  参考訳（メタデータ） (2021-12-21T19:14:44Z)
• Cross-Thought for Sentence Encoder Pre-training [89.32270059777025]
  Cross-Thoughtは、事前トレーニングシーケンスエンコーダに対する新しいアプローチである。 我々は、Transformerベースのシーケンスエンコーダを、多数の短いシーケンスに対してトレーニングする。 質問応答とテキストのエンコーダタスクの実験は、事前学習したエンコーダが最先端のエンコーダより優れていることを示す。
  論文  参考訳（メタデータ） (2020-10-07T21:02:41Z)
• Recurrent autoencoder with sequence-aware encoding [0.0]
  本稿では,1次元畳み込み層を用いたシーケンシャル・アウェア・エンコーディングによるオートエンコーダアーキテクチャを提案する。 提案手法が標準RAEよりも優れており,トレーニングプロセスは桁違いに高速であることを示す。
  論文  参考訳（メタデータ） (2020-09-15T20:51:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。