Fugu-MT 論文翻訳(概要): Representation biases in sentence transformers

論文の概要: Representation biases in sentence transformers

arxiv url: http://arxiv.org/abs/2301.13039v1
Date: Mon, 30 Jan 2023 16:35:23 GMT
ステータス: 処理完了
システム内更新日: 2023-01-31 13:55:42.909275
Title: Representation biases in sentence transformers
Title（参考訳）: 文変換における表現バイアス
Authors: Dmitry Nikolaev and Sebastian Pad\'o
Abstract要約: 我々は,SOTA文変換器が強い名目参加型バイアスを有することを示す。文のペア間のCのコサイン類似性は、名詞の参加者の集合の重なりによってより強く決定される。
参考スコア（独自算出の注目度）: 1.2129015549576372
License: http://creativecommons.org/licenses/by-nc-nd/4.0/
Abstract: Variants of the BERT architecture specialised for producing full-sentence representations often achieve better performance on downstream tasks than sentence embeddings extracted from vanilla BERT. However, there is still little understanding of what properties of inputs determine the properties of such representations. In this study, we construct several sets of sentences with pre-defined lexical and syntactic structures and show that SOTA sentence transformers have a strong nominal-participant-set bias: cosine similarities between pairs of sentences are more strongly determined by the overlap in the set of their noun participants than by having the same predicates, lengthy nominal modifiers, or adjuncts. At the same time, the precise syntactic-thematic functions of the participants are largely irrelevant.
Abstract（参考訳）: フル文表現に特化しているBERTアーキテクチャの変数は、バニラBERTから抽出した文の埋め込みよりも、ダウンストリームタスクのパフォーマンスが向上する。しかし、入力のどの性質がそのような表現の性質を決定するかはまだ分かっていない。本研究では,先行した語彙構造と構文構造を持つ文の集合を構築し,SOTA文トランスフォーマーが強い名声-参加者セットバイアスを有することを示す。同時に、参加者の正確な統語論的機能はほとんど無関係である。

関連論文リスト

Strengthening Structural Inductive Biases by Pre-training to Perform Syntactic Transformations [75.14793516745374]
中間学習によりトランスフォーマーの構造的帰納バイアスを強化することを提案する。実験の結果,チャンキングなどの構文的タスクのわずかな学習に有効であることが確認された。分析の結果,中間的事前学習は,どのトークンにシナティクス変換を適用する必要があるかを追尾する注意を喚起することが明らかとなった。
論文参考訳（メタデータ） (2024-07-05T14:29:44Z)
Sub-Sentence Encoder: Contrastive Learning of Propositional Semantic Representations [102.05351905494277]
サブ文エンコーダ(Sub-sentence encoder)は、テキストの微細な意味表現のためのコンテクスト埋め込みモデルである。文エンコーダと比較して,サブ文エンコーダは推論コストと空間複雑さのレベルが同じであることを示す。
論文参考訳（メタデータ） (2023-11-07T20:38:30Z)
Bridging Continuous and Discrete Spaces: Interpretable Sentence Representation Learning via Compositional Operations [80.45474362071236]
文の合成意味論が埋め込み空間における構成操作として直接反映できるかどうかは不明である。文埋め込み学習のためのエンドツーエンドフレームワークであるInterSentを提案する。
論文参考訳（メタデータ） (2023-05-24T00:44:49Z)
Sentence Representations via Gaussian Embedding [15.235687410343171]
GaussCSEは文埋め込みのための対照的な学習フレームワークである。文間の非対称関係と、包含関係を識別するための類似度尺度を扱うことができる。実験の結果,ガウスCSEは自然言語推論タスクにおける従来の手法と同じ性能を達成できた。
論文参考訳（メタデータ） (2023-05-22T12:51:38Z)
Towards Structure-aware Paraphrase Identification with Phrase Alignment Using Sentence Encoders [4.254099382808598]
本稿では,文エンコーダとアライメント成分の組合せとして,各文を述語-代名詞の一覧として表現することを提案する。実験結果から,アライメント成分は様々な文エンコーダの性能向上と解釈可能性の向上をもたらすことがわかった。
論文参考訳（メタデータ） (2022-10-11T09:52:52Z)
Interpreting BERT-based Text Similarity via Activation and Saliency Maps [26.279593839644836]
本稿では,事前学習したBERTモデルから推定される段落類似性を説明するための教師なし手法を提案する。一対の段落を見ると,各段落の意味を規定する重要な単語を識別し,各段落間の単語の一致を判定し,両者の類似性を説明する最も重要なペアを検索する。
論文参考訳（メタデータ） (2022-08-13T10:06:24Z)
Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on a Syntactic Task [70.29624135819884]
目的の構文テンプレート上で,BERTが語彙非依存の主観値数アグリーメント(NA)を実行できる範囲について検討した。名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。
論文参考訳（メタデータ） (2022-04-14T11:33:15Z)
Syntactic Perturbations Reveal Representational Correlates of Hierarchical Phrase Structure in Pretrained Language Models [22.43510769150502]
文レベルの構文のどの側面がベクターベースの言語表現によってキャプチャされるのかは、完全には分かっていない。このプロセスでは,トランスフォーマーが文のより大きな部分の層に感性を持たせることが示され,階層的な句構造が重要な役割を果たしている。
論文参考訳（メタデータ） (2021-04-15T16:30:31Z)
Syntactic Structure Distillation Pretraining For Bidirectional Encoders [49.483357228441434]
本稿では,BERTプレトレーニングに構文バイアスを注入するための知識蒸留手法を提案する。我々は,構文的 LM から単語の周辺分布を抽出する。本研究は,大量のデータを利用する表現学習者においても,構文バイアスの利点を示すものである。
論文参考訳（メタデータ） (2020-05-27T16:44:01Z)
BURT: BERT-inspired Universal Representation from Twin Structure [89.82415322763475]
BURT (BERT inspired Universal Representation from Twin Structure) は任意の粒度の入力シーケンスに対して普遍的で固定サイズの表現を生成することができる。提案するBURTは,Siameseネットワークを採用し,自然言語推論データセットから文レベル表現を学習し,パラフレーズ化データセットから単語/フレーズレベル表現を学習する。我々は,STSタスク,SemEval2013 Task 5(a) など,テキスト類似性タスクの粒度によってBURTを評価する。
論文参考訳（メタデータ） (2020-04-29T04:01:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。