Fugu-MT 論文翻訳(概要): Mitigating Semantic Leakage in Cross-lingual Embeddings via Orthogonality Constraint

論文の概要: Mitigating Semantic Leakage in Cross-lingual Embeddings via Orthogonality Constraint

arxiv url: http://arxiv.org/abs/2409.15664v1
Date: Tue, 24 Sep 2024 02:01:52 GMT
ステータス: 処理完了
システム内更新日: 2024-09-26 11:19:39.680488
Title: Mitigating Semantic Leakage in Cross-lingual Embeddings via Orthogonality Constraint
Title（参考訳）: 直交性制約による言語間埋め込みにおける意味漏洩の軽減
Authors: Dayeon Ki, Cheonbok Park, Hyunjoong Kim,
Abstract要約: 現在の不整合表現学習法はセマンティックリークに悩まされている。我々は,新しい学習目標orthogonAlity Constraint LEarning(ORACLE)を提案する。 ORACLEはクラス内のクラスタリングとクラス間の分離という2つのコンポーネントの上に構築されている。 ORACLE目標を用いたトレーニングは,意味的漏洩を効果的に低減し,埋め込み空間内の意味的アライメントを高めることを実証する。
参考スコア（独自算出の注目度）: 6.880579537300643
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Accurately aligning contextual representations in cross-lingual sentence embeddings is key for effective parallel data mining. A common strategy for achieving this alignment involves disentangling semantics and language in sentence embeddings derived from multilingual pre-trained models. However, we discover that current disentangled representation learning methods suffer from semantic leakage - a term we introduce to describe when a substantial amount of language-specific information is unintentionally leaked into semantic representations. This hinders the effective disentanglement of semantic and language representations, making it difficult to retrieve embeddings that distinctively represent the meaning of the sentence. To address this challenge, we propose a novel training objective, ORthogonAlity Constraint LEarning (ORACLE), tailored to enforce orthogonality between semantic and language embeddings. ORACLE builds upon two components: intra-class clustering and inter-class separation. Through experiments on cross-lingual retrieval and semantic textual similarity tasks, we demonstrate that training with the ORACLE objective effectively reduces semantic leakage and enhances semantic alignment within the embedding space.
Abstract（参考訳）: 言語間文埋め込みにおける文脈表現の正確な整合は、効果的な並列データマイニングの鍵となる。このアライメントを達成するための一般的な戦略は、多言語事前学習モデルから派生した文の埋め込みにおいて意味論と言語を分離することである。しかし,現状の非絡み合い表現学習手法は意味的リークに悩まされていることが判明した。このことは意味論と言語表現の効果的な切り離しを妨げ、文の意味を特異的に表現する埋め込みを検索することが困難になる。この課題に対処するために, 意味と言語埋め込みの直交性を確保するために, ORACLE (ORthogonAlity Constraint LEarning) を新たに提案する。 ORACLEはクラス内のクラスタリングとクラス間の分離という2つのコンポーネントの上に構築されている。言語間検索と意味的テキスト類似性タスクの実験を通じて,ORACLE目標を用いたトレーニングが意味的漏洩を効果的に低減し,埋め込み空間内での意味的アライメントを高めることを実証した。

関連論文リスト

Spatial Semantic Recurrent Mining for Referring Image Segmentation [63.34997546393106]
高品質なクロスモーダリティ融合を実現するために,Stextsuperscript2RMを提案する。これは、言語特徴の分散、空間的意味的再帰的分離、パーセマンティック・セマンティック・バランシングという三部作の作業戦略に従う。提案手法は他の最先端アルゴリズムに対して好適に機能する。
論文参考訳（メタデータ） (2024-05-15T00:17:48Z)
Pixel Sentence Representation Learning [67.4775296225521]
本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
論文参考訳（メタデータ） (2024-02-13T02:46:45Z)
DenoSent: A Denoising Objective for Self-Supervised Sentence Representation Learning [59.4644086610381]
本稿では,他の視点,すなわち文内視点から継承する新たな認知的目的を提案する。離散ノイズと連続ノイズの両方を導入することで、ノイズの多い文を生成し、モデルを元の形式に復元するように訓練する。我々の経験的評価は,本手法が意味的テキスト類似性(STS)と幅広い伝達タスクの両面で競合する結果をもたらすことを示した。
論文参考訳（メタデータ） (2024-01-24T17:48:45Z)
Breaking Down Word Semantics from Pre-trained Language Models through Layer-wise Dimension Selection [0.0]
本稿では,レイヤ間の中間出力にバイナリマスクを適用することにより,BERTから意味感覚を分離することを目的とする。 2つの異なる文の目的語が同じ意味を持つかどうかを判定するために、二分分類により、アンタングル埋め込みを評価する。
論文参考訳（メタデータ） (2023-10-08T11:07:19Z)
Cross-Align: Modeling Deep Cross-lingual Interactions for Word Alignment [63.0407314271459]
提案したCross-Alignは、5つの言語ペアのうち4つで最先端(SOTA)のパフォーマンスを達成する。実験の結果,提案したCross-Alignは5つの言語ペアのうち4つで最先端(SOTA)のパフォーマンスを達成することがわかった。
論文参考訳（メタデータ） (2022-10-09T02:24:35Z)
Robust Unsupervised Cross-Lingual Word Embedding using Domain Flow Interpolation [48.32604585839687]
従来の敵対的アプローチは、並列データ無しに言語間単語埋め込みを誘導する有望な結果を示している。そこで本研究では,滑らかなブリッジングのための中間空間列を提案する。
論文参考訳（メタデータ） (2022-10-07T04:37:47Z)
Integrating Language Guidance into Vision-based Deep Metric Learning [78.18860829585182]
埋め込み空間として意味的類似性を符号化した距離空間を学習することを提案する。これらの空間は、トレーニング中に見られるもの以外のクラスに転送可能であるべきである。これにより、学習された埋め込み空間は不完全な意味的コンテキストを符号化し、クラス間の意味的関係を誤って表現する。
論文参考訳（メタデータ） (2022-03-16T11:06:50Z)
Contrastive Video-Language Segmentation [41.1635597261304]
本稿では,ビデオコンテンツ中の自然言語文によって参照される特定のオブジェクトをセグメント化する問題に焦点をあてる。本研究では, 視覚的・言語的モダリティを, 対照的な学習目的を通した明示的な方法で解釈することを提案する。
論文参考訳（メタデータ） (2021-09-29T01:40:58Z)
Cross-lingual Word Sense Disambiguation using mBERT Embeddings with Syntactic Dependencies [0.0]
言語間の単語感覚の曖昧さ (WSD) は、与えられた文脈にまたがるあいまいな単語の曖昧さに対処する。 BERT埋め込みモデルは、単語の文脈情報に有効であることが証明されている。このプロジェクトは、構文情報がどのようにBERT埋め込みに追加され、セマンティクスと構文を組み込んだ単語埋め込みの両方をもたらすかを調査します。
論文参考訳（メタデータ） (2020-12-09T20:22:11Z)
Robust Cross-lingual Embeddings from Parallel Sentences [65.85468628136927]
本稿では,文整合コーパスを利用して頑健な言語間単語表現を実現するCBOW手法のバイリンガル拡張を提案する。提案手法は,他のすべての手法と比較して,言語間文検索性能を著しく向上させる。また、ゼロショットのクロスランガル文書分類タスクにおいて、ディープRNN法と同等性を実現する。
論文参考訳（メタデータ） (2019-12-28T16:18:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。