論文の概要: A Simple and Effective Method To Eliminate the Self Language Bias in Multilingual Representations

• arxiv url: http://arxiv.org/abs/2109.04727v1
• Date: Fri, 10 Sep 2021 08:15:37 GMT
• ステータス: 処理完了
• システム内更新日: 2021-09-13 21:19:10.882976
• Title: A Simple and Effective Method To Eliminate the Self Language Bias in Multilingual Representations
• Title（参考訳）: 多言語表現における自己言語バイアスの簡易かつ効果的な除去法
• Authors: Ziyi Yang, Yinfei Yang, Daniel Cer and Eric Darve
• Abstract要約: 言語に依存しない意味言語情報の分離は、多言語表現モデルのための新たな研究方向である。 言語情報除去(LIR)は,多言語データに基づいて事前学習した多言語表現における意味関連コンポーネントから言語識別情報を抽出する。 LIRは、弱アライメント多言語システムでは、意味空間の主成分が言語アイデンティティ情報をエンコードしていることを明らかにする。
• 参考スコア（独自算出の注目度）: 7.571549274473274
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language agnostic and semantic-language information isolation is an emerging research direction for multilingual representations models. We explore this problem from a novel angle of geometric algebra and semantic space. A simple but highly effective method "Language Information Removal (LIR)" factors out language identity information from semantic related components in multilingual representations pre-trained on multi-monolingual data. A post-training and model-agnostic method, LIR only uses simple linear operations, e.g. matrix factorization and orthogonal projection. LIR reveals that for weak-alignment multilingual systems, the principal components of semantic spaces primarily encodes language identity information. We first evaluate the LIR on a cross-lingual question answer retrieval task (LAReQA), which requires the strong alignment for the multilingual embedding space. Experiment shows that LIR is highly effectively on this task, yielding almost 100% relative improvement in MAP for weak-alignment models. We then evaluate the LIR on Amazon Reviews and XEVAL dataset, with the observation that removing language information is able to improve the cross-lingual transfer performance.
• Abstract（参考訳）: 言語非依存かつ意味論的情報分離は、多言語表現モデルの新たな研究方向である。 我々はこの問題を幾何学代数と意味空間の新しい角度から探求する。 多言語データに事前学習された多言語表現における意味関連成分から言語識別情報を取り出す簡易かつ高効率な「言語情報除去(lir)」手法 ポストトレーニングおよびモデル非依存の手法であるLIRは、行列分解や直交射影といった単純な線形演算のみを使用する。 LIRは、弱アライメント多言語システムでは、意味空間の主成分が言語アイデンティティ情報をエンコードしていることを明らかにする。 我々はまず,多言語埋め込み空間の強いアライメントを必要とする言語間質問応答検索タスク(LAReQA)について,LIRを評価する。 実験により、LIRがこの課題に対して極めて効果的であり、弱配向モデルに対するMAPの相対的な改善がほぼ100%であることが示された。 次に、Amazon ReviewsおよびXEVALデータセット上のLIRを評価し、言語情報を削除することにより、言語間転送性能が向上することを示す。

関連論文リスト

• Zero-shot Cross-lingual Transfer Learning with Multiple Source and Target Languages for Information Extraction: Language Selection and Adversarial Training [38.19963761398705]
  本稿では,近年のIEコーパスにおける多言語多言語変換可能性(多言語間移動学習)に関する詳細な解析を行う。 まず、単一言語のパフォーマンスと幅広い言語に基づく距離の相関について検討する。 次に,複数の言語が学習・評価プロセスに関与している,より一般的なゼロショット多言語転送設定について検討する。
  論文  参考訳（メタデータ） (2024-11-13T17:13:25Z)
• Lens: Rethinking Multilingual Enhancement for Large Language Models [70.85065197789639]
  Lensは、大規模言語モデル(LLM)の多言語機能を強化する新しいアプローチである LLMの上位層から言語に依存しない、言語固有のサブ空間内の隠された表現を操作できる。 既存のポストトレーニング手法に比べて計算資源がはるかに少ないため、優れた結果が得られる。
  論文  参考訳（メタデータ） (2024-10-06T08:51:30Z)
• Language Representations Can be What Recommenders Need: Findings and Potentials [57.90679739598295]
  先進的なLM表現から線形にマッピングされた項目表現は、より優れたレコメンデーション性能が得られることを示す。 この結果は、先進言語表現空間と効果的な項目表現空間との同型性を示唆している。 本研究は,自然言語処理とリコメンデーションシステムコミュニティの両方に刺激を与える言語モデリングと行動モデリングの関連性を強調した。
  論文  参考訳（メタデータ） (2024-07-07T17:05:24Z)
• Crosslingual Capabilities and Knowledge Barriers in Multilingual Large Language Models [62.91524967852552]
  大規模言語モデル(LLM)は、多言語コーパスの事前訓練のため、一般的に多言語である。 しかし、これらのモデルは言語間で対応する概念を関連付けることができ、効果的にクロスランガルなのでしょうか? 本研究は,言語横断的課題に関する6つの技術 LLM の評価を行った。
  論文  参考訳（メタデータ） (2024-06-23T15:15:17Z)
• Discovering Low-rank Subspaces for Language-agnostic Multilingual Representations [38.56175462620892]
  ML-LM(ML-LM)は,ゼロショット言語間移動の顕著な能力を示す。 多言語埋め込み空間から言語固有の要素を投影する新しい視点を提案する。 本手法を適用すれば,ML-LMよりも一貫した改善が期待できることを示す。
  論文  参考訳（メタデータ） (2024-01-11T09:54:11Z)
• GradSim: Gradient-Based Language Grouping for Effective Multilingual Training [13.730907708289331]
  勾配類似度に基づく言語グループ化手法GradSimを提案する。 3つの多言語ベンチマークデータセットに対する実験により、最大のパフォーマンス向上につながることが示された。 言語的特徴の他に、データセットのトピックは言語グループ化において重要な役割を果たす。
  論文  参考訳（メタデータ） (2023-10-23T18:13:37Z)
• Multilingual Entity and Relation Extraction from Unified to Language-specific Training [29.778332361215636]
  エンティティと関係抽出タスクの既存のアプローチは、主に英語のコーパスに焦点を当て、他の言語を無視している。 言語干渉を軽減するために,2段階の多言語学習手法と,Multilingual Entity and Relation extract framework (mERE) と呼ばれるジョイントモデルを提案する。 本手法はモノリンガル法と多言語ベースライン法の両方に優れる。
  論文  参考訳（メタデータ） (2023-01-11T12:26:53Z)
• Language Agnostic Multilingual Information Retrieval with Contrastive Learning [59.26316111760971]
  本稿では,多言語情報検索システムの学習方法を提案する。 並列コーパスと非並列コーパスを利用して、事前訓練された多言語言語モデルを改善する。 我々のモデルは少数のパラレル文でもうまく機能する。
  論文  参考訳（メタデータ） (2022-10-12T23:53:50Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。