論文の概要: X-SNS: Cross-Lingual Transfer Prediction through Sub-Network Similarity

• arxiv url: http://arxiv.org/abs/2310.17166v1
• Date: Thu, 26 Oct 2023 05:39:49 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-27 21:52:11.948880
• Title: X-SNS: Cross-Lingual Transfer Prediction through Sub-Network Similarity
• Title（参考訳）: X-SNS:サブネットワーク類似性による言語間移動予測
• Authors: Taejun Yun, Jinhyeon Kim, Deokyeong Kang, Seong Hoon Lim, Jihoon Kim, Taeuk Kim
• Abstract要約: クロスランガルトランスファー(XLT)は、微調整プロセスに含まれていない言語で評価された場合、タスク上での性能をある程度保持する多言語言語モデルである。 本稿では,XLTの文脈における言語間の互換性を予測するプロキシとして,2言語間のサブネットワーク類似性の利用を提案する。
• 参考スコア（独自算出の注目度）: 19.15213046428148
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cross-lingual transfer (XLT) is an emergent ability of multilingual language models that preserves their performance on a task to a significant extent when evaluated in languages that were not included in the fine-tuning process. While English, due to its widespread usage, is typically regarded as the primary language for model adaption in various tasks, recent studies have revealed that the efficacy of XLT can be amplified by selecting the most appropriate source languages based on specific conditions. In this work, we propose the utilization of sub-network similarity between two languages as a proxy for predicting the compatibility of the languages in the context of XLT. Our approach is model-oriented, better reflecting the inner workings of foundation models. In addition, it requires only a moderate amount of raw text from candidate languages, distinguishing it from the majority of previous methods that rely on external resources. In experiments, we demonstrate that our method is more effective than baselines across diverse tasks. Specifically, it shows proficiency in ranking candidates for zero-shot XLT, achieving an improvement of 4.6% on average in terms of NDCG@3. We also provide extensive analyses that confirm the utility of sub-networks for XLT prediction.
• Abstract（参考訳）: クロスリンガルトランスファー(XLT)は、微調整プロセスに含まれない言語で評価された場合、タスク上での性能をある程度保持する多言語言語モデルの創発的能力である。 広く使われている英語は、様々なタスクにおけるモデル適応の第一言語と見なされているが、近年の研究では、特定の条件に基づいて最適なソース言語を選択することで、XLTの有効性を増幅できることが示されている。 本稿では,XLTの文脈における言語間の互換性を予測するプロキシとして,2言語間のサブネットワーク類似性の利用を提案する。 我々のアプローチはモデル指向であり、基礎モデルの内側の動作をより良く反映する。 加えて、候補言語から適度な量の原文しか必要とせず、外部リソースに依存する従来の手法のほとんどと区別する。 実験では,提案手法が様々なタスクにまたがるベースラインよりも有効であることを示す。 具体的には、ゼロショットXLTのランキング候補の熟練度を示し、NDCG@3で平均4.6%向上した。 xlt予測のためのサブネットワークの有用性を確認する広範な分析も提供する。

関連論文リスト

• Analysis of Multi-Source Language Training in Cross-Lingual Transfer [6.992785466925966]
  言語間移動(XLT)法はこのデータ不足問題に対処するのに寄与している。 XLT(Multi-Source Language Training (MSLT)-leads)と呼ばれる手法における複数のソース言語の使用により、異なる言語に対する埋め込み空間のミキシングが増加することを示す。 一方,任意の組み合わせのソース言語を使用することで,性能が常に向上するとは限らないことが判明した。
  論文  参考訳（メタデータ） (2024-02-21T06:37:07Z)
• Soft Language Clustering for Multilingual Model Pre-training [57.18058739931463]
  本稿では,インスタンスを条件付きで符号化するためのフレキシブルガイダンスとして,コンテキスト的にプロンプトを検索するXLM-Pを提案する。 我々のXLM-Pは、(1)言語間における言語不変および言語固有知識の軽量なモデリングを可能にし、(2)他の多言語事前学習手法との容易な統合を可能にする。
  論文  参考訳（メタデータ） (2023-06-13T08:08:08Z)
• Model and Data Transfer for Cross-Lingual Sequence Labelling in Zero-Resource Settings [10.871587311621974]
  我々は、ゼロショット設定に適用された高容量多言語言語モデルが、データベースのクロスランガルトランスファーアプローチより一貫して優れていることを実験的に実証した。 この結果の詳細な分析は、言語使用における重要な違いによる可能性があることを示唆している。 また,高容量多言語言語モデルが利用できない場合,データに基づく多言語間移動アプローチが競争力のある選択肢であることも示唆した。
  論文  参考訳（メタデータ） (2022-10-23T05:37:35Z)
• Nearest Neighbour Few-Shot Learning for Cross-lingual Classification [2.578242050187029]
  単純な近接数ショット(15サンプル)推論手法による言語間適応による分類作業 提案手法は,少数のラベル付きサンプルのみを対象とする従来の微調整を継続的に改善する。
  論文  参考訳（メタデータ） (2021-09-06T03:18:23Z)
• Unsupervised Domain Adaptation of a Pretrained Cross-Lingual Language Model [58.27176041092891]
  最近の研究は、大規模未ラベルテキストに対する言語間言語モデルの事前学習が、大幅な性能向上をもたらすことを示唆している。 本稿では,絡み合った事前学習した言語間表現からドメイン固有の特徴を自動的に抽出する,教師なし特徴分解手法を提案する。 提案モデルでは、相互情報推定を利用して、言語間モデルによって計算された表現をドメイン不変部分とドメイン固有部分に分解する。
  論文  参考訳（メタデータ） (2020-11-23T16:00:42Z)
• XL-WiC: A Multilingual Benchmark for Evaluating Semantic Contextualization [98.61159823343036]
  単語の意味を正確にモデル化する能力を評価するために,Word-in-Context データセット (WiC) を提案する。 我々は、XL-WiCという大規模なマルチ言語ベンチマークを提案し、12の新しい言語でゴールドスタンダードを特徴付けました。 実験結果から、ターゲット言語にタグ付けされたインスタンスが存在しない場合でも、英語データのみにトレーニングされたモデルは、競争力のあるパフォーマンスが得られることが示された。
  論文  参考訳（メタデータ） (2020-10-13T15:32:00Z)
• XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
  XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。 提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
  論文  参考訳（メタデータ） (2020-05-01T12:22:33Z)
• XGLUE: A New Benchmark Dataset for Cross-lingual Pre-training, Understanding and Generation [100.09099800591822]
  XGLUEは、大規模な言語間の事前トレーニングモデルのトレーニングに使用できる、新しいベンチマークデータセットである。 XGLUEは、自然言語理解と生成シナリオの両方をカバーする、11の多様化されたタスクを提供する。
  論文  参考訳（メタデータ） (2020-04-03T07:03:12Z)
• XTREME: A Massively Multilingual Multi-task Benchmark for Evaluating Cross-lingual Generalization [128.37244072182506]
  言語間TRansfer Evaluation of Multilinguals XTREMEは、40言語および9タスクにわたる多言語表現の言語間一般化能力を評価するためのベンチマークである。 我々は、英語でテストされたモデルは、多くのタスクにおいて人間のパフォーマンスに達するが、言語間変換されたモデルの性能にはまだ大きなギャップがあることを示した。
  論文  参考訳（メタデータ） (2020-03-24T19:09:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。