Fugu-MT 論文翻訳(概要): MetricBERT: Text Representation Learning via Self-Supervised Triplet Training

論文の概要: MetricBERT: Text Representation Learning via Self-Supervised Triplet Training

arxiv url: http://arxiv.org/abs/2208.06610v1
Date: Sat, 13 Aug 2022 09:52:58 GMT
ステータス: 処理完了
システム内更新日: 2022-08-16 13:33:23.673760
Title: MetricBERT: Text Representation Learning via Self-Supervised Triplet Training
Title（参考訳）: MetricBERT: 自己監督型トリプルトトレーニングによるテキスト表現学習
Authors: Itzik Malkiel, Dvir Ginzburg, Oren Barkan, Avi Caciularu, Yoni Weill, Noam Koenigstein
Abstract要約: MetricBERTは、よく定義された類似度メトリックにテキストを埋め込むことを学ぶ。 MetricBERTは最先端の代替品よりも優れており、時にはかなりの差がある。
参考スコア（独自算出の注目度）: 26.66640112616559
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: We present MetricBERT, a BERT-based model that learns to embed text under a well-defined similarity metric while simultaneously adhering to the ``traditional'' masked-language task. We focus on downstream tasks of learning similarities for recommendations where we show that MetricBERT outperforms state-of-the-art alternatives, sometimes by a substantial margin. We conduct extensive evaluations of our method and its different variants, showing that our training objective is highly beneficial over a traditional contrastive loss, a standard cosine similarity objective, and six other baselines. As an additional contribution, we publish a dataset of video games descriptions along with a test set of similarity annotations crafted by a domain expert.
Abstract（参考訳）: 本研究では,‘従来の’マスク付き言語タスクに固執しながら,よく定義された類似度メトリクスにテキストを埋め込むことを学ぶbertベースのモデルであるmetricbertを提案する。私たちは、MetricBERTが最先端の代替品より優れていることを示すレコメンデーションのために類似性を学習する下流タスクに焦点を当てています。提案手法とその変種を広範囲に評価し,従来のコントラスト損失,標準コサイン類似性目標,その他6種類のベースラインに対して,トレーニング目標が極めて有益であることを示す。追加の貢献として、私たちは、ビデオゲームの説明のデータセットと、ドメインエキスパートが作成した類似性アノテーションのテストセットを公開します。

関連論文リスト

Deep Boosting Learning: A Brand-new Cooperative Approach for Image-Text Matching [53.05954114863596]
画像テキストマッチングのための新しいDeep Boosting Learning (DBL)アルゴリズムを提案する。アンカーブランチは、まずデータプロパティに関する洞察を提供するために訓練される。ターゲットブランチは、一致したサンプルと未一致のサンプルとの相対距離をさらに拡大するために、より適応的なマージン制約を同時に課される。
論文参考訳（メタデータ） (2024-04-28T08:44:28Z)
AspectCSE: Sentence Embeddings for Aspect-based Semantic Textual Similarity Using Contrastive Learning and Structured Knowledge [4.563449647618151]
文埋め込みのアスペクトベースのコントラスト学習手法であるAspectCSEを提案する。アスペクト固有の情報検索タスクにおいて,複数アスペクトの埋め込みが単一アスペクトの埋め込みよりも優れていることを示す。
論文参考訳（メタデータ） (2023-07-15T17:01:56Z)
Multi-Similarity Contrastive Learning [4.297070083645049]
本稿では,複数の類似度指標の監視を共同で活用することにより,一般化可能な埋め込みを学習する新しいマルチ相似コントラスト損失(MSCon)を提案する。本手法は, 類似度の不確実性に基づいて, 比較類似度重み付けを自動的に学習する。我々は、MSConでトレーニングされたネットワークが、ドメイン内およびドメイン外設定で最先端のベースラインより優れていることを実証的に示す。
論文参考訳（メタデータ） (2023-07-06T01:26:01Z)
Beyond Contrastive Learning: A Variational Generative Model for Multilingual Retrieval [109.62363167257664]
本稿では,多言語テキスト埋め込み学習のための生成モデルを提案する。我々のモデルは、$N$言語で並列データを操作する。本手法は, 意味的類似性, ビットクストマイニング, 言語間質問検索などを含む一連のタスクに対して評価を行う。
論文参考訳（メタデータ） (2022-12-21T02:41:40Z)
Emotions are Subtle: Learning Sentiment Based Text Representations Using Contrastive Learning [6.6389732792316005]
比較学習の埋め込みを感情分析タスクに拡張する。これらの埋め込みの微調整は、BERTベースの埋め込みの微調整よりも改善されていることを示す。
論文参考訳（メタデータ） (2021-12-02T08:29:26Z)
Pre-training Language Model Incorporating Domain-specific Heterogeneous Knowledge into A Unified Representation [49.89831914386982]
本研究では, 構造化されていないテキスト, 半構造化されたテキスト, 十分に構造化されたテキストを含む, あらゆる形式のテキストに対して, 統一された事前学習言語モデル (PLM) を提案する。提案手法は,データの1/4のみを用いて,プレーンテキストの事前学習に優れる。
論文参考訳（メタデータ） (2021-09-02T16:05:24Z)
On Learning Text Style Transfer with Direct Rewards [101.97136885111037]
平行コーパスの欠如により、テキストスタイルの転送タスクの教師付きモデルを直接訓練することは不可能である。我々は、当初、微調整されたニューラルマシン翻訳モデルに使用されていた意味的類似度指標を活用している。我々のモデルは、強いベースラインに対する自動評価と人的評価の両方において大きな利益をもたらす。
論文参考訳（メタデータ） (2020-10-24T04:30:02Z)
RecoBERT: A Catalog Language Model for Text-Based Recommendations [32.40792615018446]
RecoBERTは、テキストベースのアイテムレコメンデーションのためのカタログ化された言語モデルを学ぶためのBERTベースのアプローチである。専門的なワインレビューに基づく類似性を用いたワインレコメンデーションのための新しい言語理解タスクを提案する。
論文参考訳（メタデータ） (2020-09-25T14:23:38Z)
Memory-Augmented Relation Network for Few-Shot Learning [114.47866281436829]
本研究では,新しい距離学習手法であるメモリ拡張リレーショナルネットワーク(MRN)について検討する。 MRNでは、作業状況と視覚的に類似したサンプルを選択し、重み付け情報伝搬を行い、選択したサンプルから有用な情報を注意深く集約し、その表現を強化する。我々は、MRNが祖先よりも大幅に向上し、他の数発の学習手法と比較して、競争力や性能が向上することを示した。
論文参考訳（メタデータ） (2020-05-09T10:09:13Z)
DiVA: Diverse Visual Feature Aggregation for Deep Metric Learning [83.48587570246231]
視覚的類似性は多くのコンピュータビジョンアプリケーションにおいて重要な役割を果たす。ディープ・メトリック・ラーニング(DML)は、そのような類似性を学ぶための強力なフレームワークである。我々は,概念的に異なるデータ関係を対象とする複数の補完学習タスクを提案し,研究する。我々は、訓練信号を集約する単一モデルを学び、その結果、強力な一般化と最先端のパフォーマンスが得られる。
論文参考訳（メタデータ） (2020-04-28T12:26:50Z)
Evaluating Online Continual Learning with CALM [3.49781504808707]
オンライン連続学習は、1つ以上の例を観察することなく、連続したデータストリームを通じて学習する。本稿では,言語モデリングに基づくOCLの新しいベンチマークを提案する。また、この設定における破滅的忘れについての新しい指標を提案し、専門家の組成に基づいて複数のベースラインモデルを評価する。
論文参考訳（メタデータ） (2020-04-07T13:17:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。