Fugu-MT 論文翻訳(概要): Circles are like Ellipses, or Ellipses are like Circles? Measuring the Degree of Asymmetry of Static and Contextual Embeddings and the Implications to Representation Learning

論文の概要: Circles are like Ellipses, or Ellipses are like Circles? Measuring the Degree of Asymmetry of Static and Contextual Embeddings and the Implications to Representation Learning

arxiv url: http://arxiv.org/abs/2012.01631v1
Date: Thu, 3 Dec 2020 01:48:37 GMT
ステータス: 処理完了
システム内更新日: 2021-05-24 04:41:29.058822
Title: Circles are like Ellipses, or Ellipses are like Circles? Measuring the Degree of Asymmetry of Static and Contextual Embeddings and the Implications to Representation Learning
Title（参考訳）: 円は楕円形か、楕円形は円形か? 静的および文脈的埋め込みの非対称性の測定とその表現学習への応用
Authors: Wei Zhang and Murray Campbell and Yang Yu and Sadhana Kumaravel
Abstract要約: 3つのよく知られたデータセットを用いて、埋め込みの非対称性符号化に関する洞察を得る。我々は,論理的に正当化可能なベイズ非対称性スコアを導出するために,多数のウィキペディアコンテキストを用いて,BERTの条件確率(言語モデルとして)を探索する。非対称性の判断とベイズ的アプローチは、内在的評価に文脈的埋め込みを評価する新しい視点を提供する。
参考スコア（独自算出の注目度）: 14.58167663777083
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Human judgments of word similarity have been a popular method of evaluating the quality of word embedding. But it fails to measure the geometry properties such as asymmetry. For example, it is more natural to say "Ellipses are like Circles" than "Circles are like Ellipses". Such asymmetry has been observed from a psychoanalysis test called word evocation experiment, where one word is used to recall another. Although useful, such experimental data have been significantly understudied for measuring embedding quality. In this paper, we use three well-known evocation datasets to gain insights into asymmetry encoding of embedding. We study both static embedding as well as contextual embedding, such as BERT. Evaluating asymmetry for BERT is generally hard due to the dynamic nature of embedding. Thus, we probe BERT's conditional probabilities (as a language model) using a large number of Wikipedia contexts to derive a theoretically justifiable Bayesian asymmetry score. The result shows that contextual embedding shows randomness than static embedding on similarity judgments while performing well on asymmetry judgment, which aligns with its strong performance on "extrinsic evaluations" such as text classification. The asymmetry judgment and the Bayesian approach provides a new perspective to evaluate contextual embedding on intrinsic evaluation, and its comparison to similarity evaluation concludes our work with a discussion on the current state and the future of representation learning.
Abstract（参考訳）: 単語類似性の人間の判断は、単語埋め込みの品質を評価する一般的な方法である。しかし、非対称性などの幾何学的性質を測定することができない。例えば、"Ellipss are like Circles"は"Circles are like Ellipses"よりも、"Ellipss are like Circles"と言う方が自然である。このような非対称性は、単語誘発実験と呼ばれる精神分析テストから観察され、ある単語が別の単語を思い出すのに使われる。有用ではあるが, 埋込み品質の測定には, このような実験データが著しく検討されている。本稿では,埋め込みの非対称性符号化に関する洞察を得るために,よく知られた3つの実行データセットを用いる。 BERTのような静的埋め込みとコンテキスト埋め込みの両方について検討する。 BERT の非対称性を評価することは、一般に埋め込みの動的な性質のために難しい。そこで我々は,多くのウィキペディア文脈を用いて,BERTの条件付き確率(言語モデル)を探索し,理論的に正当化可能なベイズ非対称性スコアを導出する。その結果, 文脈埋め込みは, 類似性判定に静的埋め込みよりもランダム性を示し, 非対称性判定によく対応し, テキスト分類などの「外部評価」に強く対応していることがわかった。非対称性判断とベイズ的アプローチは、内在的評価に文脈埋め込みを組み込む新しい視点を与え、類似性評価との比較は、現在および表現学習の将来についての議論で、我々の研究を結論づける。

関連論文リスト

Learning Infinitesimal Generators of Continuous Symmetries from Data [15.42275880523356]
1-パラメータ群で定義された変換に基づく新しい対称性学習アルゴリズムを提案する。この手法は最小限の帰納バイアスに基づいて構築され、リー群に根付いた一般的な対称性だけでなく、非線形発生器由来の対称性にまで拡張される。
論文参考訳（メタデータ） (2024-10-29T08:28:23Z)
SymmetryLens: A new candidate paradigm for unsupervised symmetry learning via locality and equivariance [0.0]
我々は、生データから始まる新しい教師なし対称性学習法を開発した。この対称性と局所性の結合は,エントロピー推定のために開発された特別な最適化手法とともに,高度に安定なシステムをもたらすことを実証する。私たちが考える対称性の作用は群表現であるが、このアプローチは非可換リー群のより一般的な非線形作用に一般化される可能性があると信じている。
論文参考訳（メタデータ） (2024-10-07T17:40:51Z)
Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。本稿では,基準自由度に欠陥があるかどうかを考察する。 GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
論文参考訳（メタデータ） (2024-02-18T12:36:23Z)
Rethinking Evaluation Metrics of Open-Vocabulary Segmentaion [78.76867266561537]
評価プロセスは、予測された真理のカテゴリと基底的真理のカテゴリの類似性を考慮せずに、クローズドセットのメトリクスに大きく依存している。この問題に対処するため、まず2つのカテゴリー語間の11の類似度の測定を行った。我々は,3つのオープン語彙セグメンテーションタスクに適した,オープンmIoU,オープンAP,オープンPQという新しい評価指標を設計した。
論文参考訳（メタデータ） (2023-11-06T18:59:01Z)
Relational Sentence Embedding for Flexible Semantic Matching [86.21393054423355]
文埋め込みの可能性を明らかにするための新しいパラダイムとして,文埋め込み(Sentence Embedding, RSE)を提案する。 RSEは文関係のモデル化に有効で柔軟性があり、一連の最先端の埋め込み手法より優れている。
論文参考訳（メタデータ） (2022-12-17T05:25:17Z)
On the Intrinsic and Extrinsic Fairness Evaluation Metrics for Contextualized Language Representations [74.70957445600936]
様々な自然言語処理タスクの公平度を測定するために、複数のメトリクスが導入された。これらの指標は,(1)下流アプリケーションにおけるフェアネスを評価する遠因性指標と,(2)上流言語表現モデルにおけるフェアネスを推定する遠因性指標の2つのカテゴリに大別することができる。
論文参考訳（メタデータ） (2022-03-25T22:17:43Z)
Just Rank: Rethinking Evaluation with Word and Sentence Similarities [105.5541653811528]
埋め込みの本質的な評価はかなり遅れていますそして過去10年間重要な更新は行われていません本稿ではまず,単語と文の埋め込み評価におけるゴールドスタンダードとして意味的類似性を用いた問題点を指摘する。本稿では,下流タスクとより強い相関関係を示すEvalRankという本質的な評価手法を提案する。
論文参考訳（メタデータ） (2022-03-05T08:40:05Z)
Frequency-based Distortions in Contextualized Word Embeddings [29.88883761339757]
本研究は,文脈化単語埋め込みの幾何学的特徴を2つの新しいツールを用いて探究する。高頻度と低頻度の単語は、その表現幾何学に関して大きく異なる。 BERT-Baseは、北米やヨーロッパ諸国よりも南アメリカとアフリカ諸国の差別化が難しい。
論文参考訳（メタデータ） (2021-04-17T06:35:48Z)
Inferring symmetry in natural language [6.962103403356227]
自然言語における動詞述語の対称性を推定するための方法論的枠組みを提案する。我々の研究は、自然言語における対称性に対する既存のアプローチを統合し、対称性推論が最先端の言語モデルにおける体系性をどのように改善するかを示唆している。
論文参考訳（メタデータ） (2020-10-16T01:25:01Z)
Breaking Symmetries of the Reservoir Equations in Echo State Networks [0.0]
最も一般的なセットアップは有害な対称性を持ち、ミラー・トラクターと呼ばれるものを予測することに繋がる。同様の問題が一般的な文脈で起こりうるので、いくつかの設計の成功や失敗を説明するためにそれらを使用します。
論文参考訳（メタデータ） (2020-09-21T16:00:22Z)
Debiased Contrastive Learning [64.98602526764599]
我々は,同ラベルデータポイントのサンプリングを補正する,偏りのあるコントラスト目的の開発を行う。実証的に、提案する目的は、視覚、言語、強化学習ベンチマークにおける表現学習の最先端を一貫して上回る。
論文参考訳（メタデータ） (2020-07-01T04:25:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。