論文の概要: Cross-Lingual BERT Contextual Embedding Space Mapping with Isotropic and Isometric Conditions

• arxiv url: http://arxiv.org/abs/2107.09186v1
• Date: Mon, 19 Jul 2021 22:57:36 GMT
• ステータス: 処理完了
• システム内更新日: 2021-07-21 15:03:02.903389
• Title: Cross-Lingual BERT Contextual Embedding Space Mapping with Isotropic and Isometric Conditions
• Title（参考訳）: 等方性および等尺性条件を用いた言語間bertコンテキスト埋め込み空間マッピング
• Authors: Haoran Xu and Philipp Koehn
• Abstract要約: 並列コーパスを利用した文脈認識・辞書フリーマッピング手法について検討する。 本研究は, 正規化文脈埋め込み空間における等方性, 等方性, 等方性の間の密接な関係を解明するものである。
• 参考スコア（独自算出の注目度）: 7.615096161060399
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Typically, a linearly orthogonal transformation mapping is learned by aligning static type-level embeddings to build a shared semantic space. In view of the analysis that contextual embeddings contain richer semantic features, we investigate a context-aware and dictionary-free mapping approach by leveraging parallel corpora. We illustrate that our contextual embedding space mapping significantly outperforms previous multilingual word embedding methods on the bilingual dictionary induction (BDI) task by providing a higher degree of isomorphism. To improve the quality of mapping, we also explore sense-level embeddings that are split from type-level representations, which can align spaces in a finer resolution and yield more precise mapping. Moreover, we reveal that contextual embedding spaces suffer from their natural properties -- anisotropy and anisometry. To mitigate these two problems, we introduce the iterative normalization algorithm as an imperative preprocessing step. Our findings unfold the tight relationship between isotropy, isometry, and isomorphism in normalized contextual embedding spaces.
• Abstract（参考訳）: 通常、線形直交変換マッピングは、静的な型レベルの埋め込みを整列して共有意味空間を構築することで学習される。 文脈埋め込みがよりリッチな意味的特徴を含むという分析から,並列コーパスを用いて文脈認識と辞書フリーなマッピング手法を検討する。 文脈埋め込み空間マッピングは、より高度な同型性を提供することで、バイリンガル辞書誘導(BDI)タスクにおける従来の多言語単語埋め込み手法よりも大幅に優れていることを示す。 マッピングの質を向上させるため、私たちはまた、空間をより詳細な解像度で整列し、より正確なマッピングをもたらすタイプレベルの表現から分割されるセンスレベルの埋め込みについても検討します。 さらに, 文脈埋め込み空間は自然特性, 異方性, 異方性に悩まされている。 この2つの問題を緩和するために,逐次正規化アルゴリズムを命令的前処理ステップとして導入する。 本研究は, 正規化文脈埋め込み空間における等方性, 等長性, および同型性の間の密接な関係を明らかにする。

関連論文リスト

• Relative Representations: Topological and Geometric Perspectives [53.88896255693922]
  相対表現はゼロショットモデルの縫合に対する確立されたアプローチである。 相対変換において正規化手順を導入し、非等方的再スケーリングや置換に不変となる。 第二に、クラス内のクラスタリングを促進するトポロジカル正規化損失である、微調整された相対表現におけるトポロジカルデシフィケーションの展開を提案する。
  論文  参考訳（メタデータ） (2024-09-17T08:09:22Z)
• EmerDiff: Emerging Pixel-level Semantic Knowledge in Diffusion Models [52.3015009878545]
  我々は、追加の訓練をすることなく、きめ細かなセグメンテーションマップを生成できる画像セグメンタを開発した。 低次元特徴写像の空間的位置と画像画素間の意味的対応を同定する。 大規模な実験では、生成したセグメンテーションマップがよく説明され、画像の細部を捉えることが示されている。
  論文  参考訳（メタデータ） (2024-01-22T07:34:06Z)
• IsoVec: Controlling the Relative Isomorphism of Word Embedding Spaces [24.256732557154486]
  単語埋め込み学習の結果、基礎となる空間が非同型となるという、欠陥のある言語間マッピングの根本原因に対処する。 我々は、Skip-gram損失関数に直接同型のグローバル測度を組み込み、訓練された単語埋め込み空間の相対同型を増大させることに成功した。
  論文  参考訳（メタデータ） (2022-10-11T02:29:34Z)
• Graph Adaptive Semantic Transfer for Cross-domain Sentiment Classification [68.06496970320595]
  クロスドメイン感情分類(CDSC)は、ソースドメインから学んだ伝達可能なセマンティクスを使用して、ラベルなしのターゲットドメインにおけるレビューの感情を予測することを目的としている。 本稿では、単語列と構文グラフの両方からドメイン不変セマンティクスを学習できる適応型構文グラフ埋め込み法であるグラフ適応意味伝達(GAST)モデルを提案する。
  論文  参考訳（メタデータ） (2022-05-18T07:47:01Z)
• Marginal Contrastive Correspondence for Guided Image Generation [58.0605433671196]
  例題に基づく画像翻訳は、条件入力と2つの異なる領域からの例題間の密接な対応を確立する。 既存の作業は、2つのドメインにまたがる機能的距離を最小化することで、ドメイン間の通信を暗黙的に構築する。 本稿では,MCL-Net(Marginal Contrastive Learning Network)の設計を行った。
  論文  参考訳（メタデータ） (2022-04-01T13:55:44Z)
• The Low-Dimensional Linear Geometry of Contextualized Word Representations [27.50785941238007]
  ELMOおよびBERTにおける文脈化単語表現の線形幾何学について検討する。 様々な言語特徴が低次元部分空間に符号化されていることを示す。
  論文  参考訳（メタデータ） (2021-05-15T00:58:08Z)
• Zero-Shot Cross-Lingual Dependency Parsing through Contextual Embedding Transformation [7.615096161060399]
  クロスリンガル埋め込み空間マッピングは通常、静的ワードレベル埋め込みで研究される。 感覚レベルと辞書のない文脈埋め込みアライメントアプローチを検討する。 組み込み変換によって構築された概念共有空間によるゼロショット依存性解析の実験は、多言語埋め込みを使用して最先端の方法を大幅に上回る。
  論文  参考訳（メタデータ） (2021-03-03T06:50:43Z)
• Introducing Orthogonal Constraint in Structural Probes [0.2538209532048867]
  言語ベクトル空間の線形射影を同型空間回転と線形スケーリング方向に分解する。 提案手法がマルチタスク環境で実行可能であることを実験的に示す。
  論文  参考訳（メタデータ） (2020-12-30T17:14:25Z)
• RatE: Relation-Adaptive Translating Embedding for Knowledge Graph Completion [51.64061146389754]
  複素空間における新たな重み付き積の上に構築された関係適応変換関数を提案する。 次に、関係適応型翻訳埋め込み(RatE)アプローチを示し、各グラフを3倍にスコアする。
  論文  参考訳（メタデータ） (2020-10-10T01:30:30Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)
• Filtered Inner Product Projection for Crosslingual Embedding Alignment [28.72288652451881]
  フィルタ内積投影(FIPP)は、埋め込みを共通表現空間にマッピングする手法である。 FIPPは、ソースとターゲットの埋め込みが異なる次元である場合でも適用可能である。 提案手法は,MUSEデータセット上の既存の手法よりも,様々な言語ペアに対して優れていることを示す。
  論文  参考訳（メタデータ） (2020-06-05T19:53:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。