論文の概要: Probing BERT in Hyperbolic Spaces

• arxiv url: http://arxiv.org/abs/2104.03869v1
• Date: Thu, 8 Apr 2021 16:24:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-09 16:05:18.706600
• Title: Probing BERT in Hyperbolic Spaces
• Title（参考訳）: 双曲空間におけるBERTの探索
• Authors: Boli Chen, Yao Fu, Guangwei Xu, Pengjun Xie, Chuanqi Tan, Mosha Chen, Liping Jing
• Abstract要約: この研究は、階層構造に対するより良い帰納的バイアスを示す幾何学的特殊空間、双曲空間の族を考える。 明確に定義された階層を持つ Poincare サブスペースにこれらの埋め込みを投影する Poincare プローブを紹介します。 語彙的に制御された文脈化が埋め込みの幾何的局在をいかに変えるかを示す。
• 参考スコア（独自算出の注目度）: 28.764397101583047
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recently, a variety of probing tasks are proposed to discover linguistic properties learned in contextualized word embeddings. Many of these works implicitly assume these embeddings lay in certain metric spaces, typically the Euclidean space. This work considers a family of geometrically special spaces, the hyperbolic spaces, that exhibit better inductive biases for hierarchical structures and may better reveal linguistic hierarchies encoded in contextualized representations. We introduce a Poincare probe, a structural probe projecting these embeddings into a Poincare subspace with explicitly defined hierarchies. We focus on two probing objectives: (a) dependency trees where the hierarchy is defined as head-dependent structures; (b) lexical sentiments where the hierarchy is defined as the polarity of words (positivity and negativity). We argue that a key desideratum of a probe is its sensitivity to the existence of linguistic structures. We apply our probes on BERT, a typical contextualized embedding model. In a syntactic subspace, our probe better recovers tree structures than Euclidean probes, revealing the possibility that the geometry of BERT syntax may not necessarily be Euclidean. In a sentiment subspace, we reveal two possible meta-embeddings for positive and negative sentiments and show how lexically-controlled contextualization would change the geometric localization of embeddings. We demonstrate the findings with our Poincare probe via extensive experiments and visualization. Our results can be reproduced at https://github.com/FranxYao/PoincareProbe.
• Abstract（参考訳）: 近年,文脈化単語埋め込みで学習される言語特性を探索する様々な探索課題が提案されている。 これらの作品の多くは、これらの埋め込みが特定の計量空間(一般にユークリッド空間)にあることを暗黙的に仮定している。 この研究は、階層構造に対するより良い帰納的バイアスを示し、文脈化表現にエンコードされた言語階層を明らかにする、幾何学的特殊空間の族である双曲空間を考える。 我々は、これらの埋め込みを明示的に定義された階層を持つポインケア部分空間に投影する構造プローブであるポインケアプローブを導入する。 a) 階層構造が頭部依存構造として定義される依存木,(b) 階層構造が単語の極性(肯定性と否定性)として定義される語彙的感情。 我々は、プローブのキーデシプラタムは言語構造の存在に対する感度であると主張している。 典型的なコンテキスト型埋め込みモデルであるBERTにプローブを適用した。 構文部分空間において、このプローブはユークリッドプローブよりも木構造を回復し、bert構文の幾何が必ずしもユークリッドではない可能性を明らかにする。 感情サブスペースでは、ポジティブな感情とネガティブな感情に対する2つのメタ埋め込みの可能性を明らかにし、語彙的に制御された文脈化が埋め込みの幾何学的局在をどのように変えるかを示す。 本研究の成果は,広範囲な実験と可視化を通じて実証した。 結果はhttps://github.com/franxyao/poincareprobeで再生できます。

関連論文リスト

• PE: A Poincare Explanation Method for Fast Text Hierarchy Generation [16.059322030238384]
  本稿では,双曲空間との特徴的相互作用をモデル化するための新しい手法であるPoincare Explanation(PE)を提案する。 具体的には、テキスト階層の構築を、双曲空間に散在する木を見つけるものとして捉えている。
  論文  参考訳（メタデータ） (2024-03-25T09:04:14Z)
• A Geometric Notion of Causal Probing [91.14470073637236]
  言語モデルの表現空間では、動詞数のような概念に関するすべての情報が線形部分空間に符号化される。 理想線型概念部分空間を特徴づける内在的基準のセットを与える。 LEACEは概念情報の約半分を含む1次元の部分空間を返す。
  論文  参考訳（メタデータ） (2023-07-27T17:57:57Z)
• A Method for Studying Semantic Construal in Grammatical Constructions with Interpretable Contextual Embedding Spaces [11.564029462243631]
  本研究では,大言語モデルを用いた文法構成における意味論的コンストラクトについて検討する。 対象位置にある単語は、対象位置にある単語と全く同じ単語よりも、より有効なものとして解釈されることを示す。 本手法は, 特定のレキセムから抽象化された, テンポラティクスレベルでの構文構成の分布的意味を探索することができる。
  論文  参考訳（メタデータ） (2023-05-29T20:30:38Z)
• HyperMiner: Topic Taxonomy Mining with Hyperbolic Embedding [54.52651110749165]
  本稿では,単語や話題を表現するために,メタボリック埋め込みを導入した新しいフレームワークを提案する。 双曲空間のツリー様性により、下層のセマンティック階層はより解釈可能なトピックをマイニングするためによりうまく利用することができる。
  論文  参考訳（メタデータ） (2022-10-16T02:54:17Z)
• Geometry Interaction Knowledge Graph Embeddings [153.69745042757066]
  ユークリッド空間,双曲空間,超球空間間の空間構造を対話的に学習する幾何学的相互作用知識グラフ埋め込み(GIE)を提案する。 提案したGIEは、よりリッチなリレーショナル情報、モデルキー推論パターンをキャプチャし、エンティティ間の表現的セマンティックマッチングを可能にする。
  論文  参考訳（メタデータ） (2022-06-24T08:33:43Z)
• Clustering and Network Analysis for the Embedding Spaces of Sentences and Sub-Sentences [69.3939291118954]
  本稿では,文とサブ文の埋め込みを対象とする包括的クラスタリングとネットワーク解析について検討する。 その結果,1つの手法が最もクラスタリング可能な埋め込みを生成することがわかった。 一般に、スパン部分文の埋め込みは、原文よりもクラスタリング特性が優れている。
  論文  参考訳（メタデータ） (2021-10-02T00:47:35Z)
• Cross-Lingual BERT Contextual Embedding Space Mapping with Isotropic and Isometric Conditions [7.615096161060399]
  並列コーパスを利用した文脈認識・辞書フリーマッピング手法について検討する。 本研究は, 正規化文脈埋め込み空間における等方性, 等方性, 等方性の間の密接な関係を解明するものである。
  論文  参考訳（メタデータ） (2021-07-19T22:57:36Z)
• Introducing Orthogonal Constraint in Structural Probes [0.2538209532048867]
  言語ベクトル空間の線形射影を同型空間回転と線形スケーリング方向に分解する。 提案手法がマルチタスク環境で実行可能であることを実験的に示す。
  論文  参考訳（メタデータ） (2020-12-30T17:14:25Z)
• Intrinsic Probing through Dimension Selection [69.52439198455438]
  現代のほとんどのNLPシステムは、様々なタスクにおいて驚くほど高いパフォーマンスが得られる事前訓練された文脈表現を使用している。 このような高いパフォーマンスは、ある種の言語構造がこれらの表現に根ざしない限りはあり得ず、それを探究する研究が盛んに行われている。 本稿では,言語情報が表現内でどのように構造化されているかを示す内在的探索と,先行研究で広く普及している外在的探索とを区別し,抽出に成功したことを示すことによって,そのような情報の存在を主張するのみである。
  論文  参考訳（メタデータ） (2020-10-06T15:21:08Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。