論文の概要: On Affine Homotopy between Language Encoders

• arxiv url: http://arxiv.org/abs/2406.02329v1
• Date: Tue, 4 Jun 2024 13:58:28 GMT
• ステータス: 処理完了
• システム内更新日: 2024-06-05 16:10:55.345720
• Title: On Affine Homotopy between Language Encoders
• Title（参考訳）: 言語エンコーダ間のアフィンホモトピーについて
• Authors: Robin SM Chan, Reda Boumasmoud, Anej Svete, Yuxin Ren, Qipeng Guo, Zhijing Jin, Shauli Ravfogel, Mrinmaya Sachan, Bernhard Schölkopf, Mennatallah El-Assady, Ryan Cotterell,
• Abstract要約: 言語エンコーダのエファフィンアライメント特性について検討する。 アフィンアライメントは基本的には類似性の非対称な概念であるが、外生的類似性についてはいまだに有益である。
• 参考スコア（独自算出の注目度）: 127.55969928213248
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained language encoders -- functions that represent text as vectors -- are an integral component of many NLP tasks. We tackle a natural question in language encoder analysis: What does it mean for two encoders to be similar? We contend that a faithful measure of similarity needs to be \emph{intrinsic}, that is, task-independent, yet still be informative of \emph{extrinsic} similarity -- the performance on downstream tasks. It is common to consider two encoders similar if they are \emph{homotopic}, i.e., if they can be aligned through some transformation. In this spirit, we study the properties of \emph{affine} alignment of language encoders and its implications on extrinsic similarity. We find that while affine alignment is fundamentally an asymmetric notion of similarity, it is still informative of extrinsic similarity. We confirm this on datasets of natural language representations. Beyond providing useful bounds on extrinsic similarity, affine intrinsic similarity also allows us to begin uncovering the structure of the space of pre-trained encoders by defining an order over them.
• Abstract（参考訳）: 事前訓練された言語エンコーダ -- テキストをベクトルとして表現する関数 -- は、多くのNLPタスクの不可欠なコンポーネントである。 言語エンコーダ分析における自然な問題に対処する: 2つのエンコーダが類似することの意味は何か? 我々は、類似性の忠実な尺度は、タスク非依存でありながら、下流タスクにおけるパフォーマンスである \emph{extrinsic} の類似性についての情報である \emph{intrinsic} である必要があると主張する。 2つのエンコーダは、それらが \emph{homotopic} である場合、すなわち変換を通して整列できる場合、類似していると考えるのが一般的である。 本稿では,言語エンコーダの 'emph{affine} アライメントの特性と,その外生的類似性への影響について考察する。 アフィンアライメントは基本的には類似性の非対称な概念であるが、外生的類似性についてはいまだに有益である。 我々はこれを自然言語表現のデータセットで確認する。 外部類似性に関する有用な境界を提供する以外に、アフィン固有類似性は、それらの上の順序を定義することによって、事前学習されたエンコーダの空間の構造を明らかにすることができる。

関連論文リスト

• Towards Universality: Studying Mechanistic Similarity Across Language Model Architectures [49.24097977047392]
  本稿では,言語モデリングの主流となる2つのアーキテクチャ,すなわち Transformers と Mambas について検討する。 我々はこれらのモデルから解釈可能な特徴を分離するためにスパースオートエンコーダ(SAE)を用いることを提案し、これらの2つのモデルでほとんどの特徴が似ていることを示す。
  論文  参考訳（メタデータ） (2024-10-09T08:28:53Z)
• Do Vision and Language Encoders Represent the World Similarly? [22.70701869402434]
  CLIPのようなアライメントされたテキストイメージエンコーダは、視覚言語タスクのデファクトモデルになっている。 非整列および整列エンコーダの表現空間は意味論的に類似していることがわかった。 CLIPのようなアライメントエンコーダに統計的に類似性がない場合、アライメントされていないエンコーダのマッチングがトレーニングなしで存在することを示す。
  論文  参考訳（メタデータ） (2024-01-10T15:51:39Z)
• PESTS: Persian_English Cross Lingual Corpus for Semantic Textual Similarity [5.439505575097552]
  言語間セマンティック類似性モデルでは、言語間セマンティック類似性データセットが利用できないため、機械翻訳を用いる。 ペルシャ語は低資源言語の1つであり、二つの言語の文脈を理解できるモデルの必要性は、これまで以上に感じられる。 本稿では,ペルシア語と英語の文間の意味的類似性のコーパスを,言語専門家を用いて初めて作成した。
  論文  参考訳（メタデータ） (2023-05-13T11:02:50Z)
• How Do Transformers Learn Topic Structure: Towards a Mechanistic Understanding [56.222097640468306]
  我々は、トランスフォーマーが「意味構造」を学ぶ方法の機械的理解を提供する 数学的解析とウィキペディアデータの実験を組み合わせることで、埋め込み層と自己保持層がトピック構造をエンコードしていることを示す。
  論文  参考訳（メタデータ） (2023-03-07T21:42:17Z)
• Attributable Visual Similarity Learning [90.69718495533144]
  本稿では、画像間のより正確で説明可能な類似度測定のための帰属的視覚類似度学習(AVSL)フレームワークを提案する。 人間の意味的類似性認知に動機づけられた2つの画像とグラフとの類似性を表現するために,一般化された類似性学習パラダイムを提案する。 CUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、既存の深い類似性学習方法よりも大幅に改善されたことを示している。
  論文  参考訳（メタデータ） (2022-03-28T17:35:31Z)
• Semantics-aware Attention Improves Neural Machine Translation [35.32217580058933]
  意味情報をトランスフォーマーに注入する2つの新しいパラメータフリー手法を提案する。 そのような方法の1つはエンコーダ上でSASA(Scene-Aware Self-Attention)ヘッドを介して動作する。 もうひとつのデコーダは,Scene-Aware Cross-Attention (SACrA) ヘッダによるものだ。
  論文  参考訳（メタデータ） (2021-10-13T17:58:22Z)
• Rethinking Positional Encoding in Language Pre-training [111.2320727291926]
  絶対的な位置符号化では、位置埋め込みと単語埋め込みに適用される付加操作が混合相関をもたらすことを示す。 我々はtextbfUntied textPositional textbfEncoding (T) を用いた textbfTransformer という新しい位置符号化手法を提案する。
  論文  参考訳（メタデータ） (2020-06-28T13:11:02Z)
• Word Rotator's Distance [50.67809662270474]
  テキスト類似性を評価する上での鍵となる原則は、単語のアライメントを考慮した2つのテキスト間の意味的重複度を測定することである。 単語ベクトルのノルムは単語の重要度によいプロキシであり、その角度は単語類似度によいプロキシであることを示す。 本稿では,まず単語ベクトルをノルムと方向に分解し,アライメントに基づく類似性を計算する手法を提案する。
  論文  参考訳（メタデータ） (2020-04-30T17:48:42Z)
• Contextual Lensing of Universal Sentence Representations [4.847980206213336]
  本研究ではコンテキスト指向の普遍文ベクトルを誘導する手法であるContextual Lensingを提案する。 我々は,言語類似性の概念を,コアとなる普遍行列表現を与えられた少数のレンズパラメータに焦点を合わせることが可能であることを示す。
  論文  参考訳（メタデータ） (2020-02-20T17:06:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。