論文の概要: Triple-Encoders: Representations That Fire Together, Wire Together
- arxiv url: http://arxiv.org/abs/2402.12332v1
- Date: Mon, 19 Feb 2024 18:06:02 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 15:09:46.969715
- Title: Triple-Encoders: Representations That Fire Together, Wire Together
- Title(参考訳): triple-encoders: 一緒に発射し、接続する表現
- Authors: Justus-Jonas Erker, Florian Mai, Nils Reimers, Gerasimos Spanakis,
Iryna Gurevych
- Abstract要約: 本研究では,独立に符号化された発話から分散発話混合を効率的に計算する三重エンコーダを提案する。
トリプルエンコーダはバイエンコーダよりも大幅に改善され、シングルベクトル表現モデルよりもゼロショットの一般化が向上することがわかった。
- 参考スコア(独自算出の注目度): 54.87828827014223
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: Search-based dialog models typically re-encode the dialog history at every
turn, incurring high cost. Curved Contrastive Learning, a representation
learning method that encodes relative distances between utterances into the
embedding space via a bi-encoder, has recently shown promising results for
dialog modeling at far superior efficiency. While high efficiency is achieved
through independently encoding utterances, this ignores the importance of
contextualization. To overcome this issue, this study introduces
triple-encoders, which efficiently compute distributed utterance mixtures from
these independently encoded utterances through a novel hebbian inspired
co-occurrence learning objective without using any weights. Empirically, we
find that triple-encoders lead to a substantial improvement over bi-encoders,
and even to better zero-shot generalization than single-vector representation
models without requiring re-encoding. Our code/model is publicly available.
- Abstract(参考訳): 検索ベースのダイアログモデルは通常、各ターンでダイアログ履歴を再エンコードし、高いコストがかかる。
音声間の相対的距離をバイエンコーダで符号化する表現学習法であるCurved Contrastive Learningは,最近,対話モデリングにおいて,はるかに優れた効率で有望な結果を示した。
発話を独立してエンコードすることで高い効率を達成するが、文脈化の重要性は無視される。
そこで本研究では,これら独立に符号化された発話から,ヘビアンにインスパイアされた共起学習目標を重みを使わずに効率よく分散発話混在を計算できる三重エンコーダを提案する。
経験的に、トリプルエンコーダはバイエンコーダよりも大幅に改善され、また再エンコーダを必要としない単一ベクトル表現モデルよりもゼロショットの一般化も改善される。
コード/モデルが公開されています。
関連論文リスト
- Extreme Encoder Output Frame Rate Reduction: Improving Computational
Latencies of Large End-to-End Models [59.57732929473519]
エンコーダに複数のフレーム削減層を適用し,少数の出力フレームにエンコーダ出力を圧縮する。
入力音声の2.56秒毎に1つのエンコーダ出力フレームを生成できることを示す。
論文 参考訳(メタデータ) (2024-02-27T03:40:44Z) - Decoder-Only or Encoder-Decoder? Interpreting Language Model as a
Regularized Encoder-Decoder [75.03283861464365]
seq2seqタスクは、与えられた入力ソースシーケンスに基づいてターゲットシーケンスを生成することを目的としている。
伝統的に、seq2seqタスクのほとんどはエンコーダによって解決され、ソースシーケンスとデコーダをエンコードしてターゲットテキストを生成する。
最近、デコーダのみの言語モデルをseq2seqタスクに直接適用する、多くの新しいアプローチが出現しました。
論文 参考訳(メタデータ) (2023-04-08T15:44:29Z) - LoopITR: Combining Dual and Cross Encoder Architectures for Image-Text
Retrieval [117.15862403330121]
共同学習のためのネットワークにおいて,デュアルエンコーダとクロスエンコーダを組み合わせたLoopITRを提案する。
具体的には、二重エンコーダをクロスエンコーダに強陰性を与え、より識別性の高いクロスエンコーダを用いてその予測を二重エンコーダに戻す。
論文 参考訳(メタデータ) (2022-03-10T16:41:12Z) - Trans-Encoder: Unsupervised sentence-pair modelling through self- and
mutual-distillations [22.40667024030858]
バイエンコーダは固定次元の文表現を生成し、計算効率が良い。
クロスエンコーダは、アテンションヘッドを利用して、より優れたパフォーマンスのために文間相互作用を利用することができる。
Trans-Encoderは、2つの学習パラダイムを反復的なジョイントフレームワークに統合し、拡張されたバイ・エンコーダとクロス・エンコーダを同時に学習する。
論文 参考訳(メタデータ) (2021-09-27T14:06:47Z) - Uni-Encoder: A Fast and Accurate Response Selection Paradigm for
Generation-Based Dialogue Systems [17.041715422600504]
我々はUni-Encoderと呼ばれる新しい符号化パラダイムを開発した。
コンテクストを一度だけエンコードしながら、クロスエンコーダのように各ペアに完全に注意を払っている。
計算効率の高い4つのベンチマークデータセットに対して、最先端の新たな結果を得る。
論文 参考訳(メタデータ) (2021-06-02T16:14:51Z) - Dual Encoding for Video Retrieval by Text [49.34356217787656]
本稿では,ビデオやクエリを独自の高密度表現に符号化する2つのディープエンコーディングネットワークを提案する。
まず、特定のシングルレベルエンコーダを利用する先行技術と異なり、提案するネットワークはマルチレベルエンコーダを実行する。
第2に、概念ベースまたは潜在空間ベースのいずれかである従来の共通空間学習アルゴリズムとは異なり、ハイブリッド空間学習を導入する。
論文 参考訳(メタデータ) (2020-09-10T15:49:39Z) - Learning Autoencoders with Relational Regularization [89.53065887608088]
データ分散のオートエンコーダを学習するための新しいフレームワークを提案する。
エンフレレーショナル正規化によるモデルと対象分布の差を最小限にする
我々はこのフレームワークを2つのスケーラブルアルゴリズムで実装し、確率的および決定論的オートエンコーダの両方に適用する。
論文 参考訳(メタデータ) (2020-02-07T17:27:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。