論文の概要: Zero-Compute Cross-Lingual Transferability Estimation Using Typological Feature Proxies
- arxiv url: http://arxiv.org/abs/2609.39640v1
- Date: Wed, 30 Sep 2026 12:45:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.784417
- Title: Zero-Compute Cross-Lingual Transferability Estimation Using Typological Feature Proxies
- Title（参考訳）: 類型的特徴量プロキシを用いたゼロコンピュートな言語間移動可能性の推定
- Abstract要約: 言語間移動は、ソース言語の知識がターゲット言語にどのような恩恵をもたらすかを記述する。
類型的データベースには、言語間移動に関する安価で高密度な信号が含まれていることを示す。
- 参考スコア（独自算出の注目度）: 7.912538352831035
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Cross-lingual transfer describes how knowledge in a source language benefits a target language. Measuring it quantitatively requires broad multilingual pre-training, as prior work has done with cross-lingual transfer matrices. We ask whether transfer is predictable from freely available typological features, and whether the prominence of high-resource source languages reflects typology or data quality and quantity. We show that typological databases contain cheap and dense signals about cross-lingual transfer. Our typology-only random forest on a 24-language prior-work transfer matrix scores leave-one-language-out $ρ{=}0.705$ and $R^2{=}0.49$, beating a non-typological control at $ρ{=}0.62$, which verifies the ability of typology-only predictions to reconstruct costly measured cross-lingual transfer. The signal survives leave-one-script-out and leave-one-family-out protocols, so script and family confounding do not explain the effect. By decomposing the transfer into a typology term and a resource-and-script bias term, we find the best-source ranking sensitive to this bias. In contrast, typology is not affected by this bias, which makes it a zero-compute screening tool that replaces hundreds of training runs with a model fit. Our code is available \href{https://github.com/dharmsen/typo-x-ling-transfer}{here}.
- Abstract（参考訳）: 言語間移動は、ソース言語の知識がターゲット言語にどのような恩恵をもたらすかを記述する。
定量的に測定するには多言語間の事前学習が必要である。
我々は,トランスファーが自由に利用できる類型的特徴から予測可能であるか,高ソース言語の優位性は,類型学やデータ品質や量に反映するかを問う。
類型的データベースには、言語間移動に関する安価で高密度な信号が含まれていることを示す。
タイポロジーのみのランダム・フォレストは24言語による事前作業行列上で,残語-out $ρ{=}0.705$ と $R^2{=}0.49$ を出力し,非タイポロジー制御を$ρ{=}0.62$ で打ち負かした。
シグナルは、一家族一家族一家族一家族一門のプロトコルを生き残るので、スクリプトと家族の共起は、その効果を説明しない。
タイポロジー項とリソース・アンド・スクリプトバイアス項への変換を分解することで、このバイアスに敏感な最良のソースランキングが見つかる。
これとは対照的に、このバイアスの影響を受けていないため、数百回のトレーニングをモデル適合で置き換える、ゼロコンピュートスクリーニングツールになっている。
私たちのコードは href{https://github.com/dharmsen/typo-x-ling-transfer}{here} で利用可能です。
関連論文リスト
- Untangling the Influence of Typology, Data and Model Architecture on Ranking Transfer Languages for Cross-Lingual POS Tagging [1.743739675178893]
言語間の伝達学習は、データの不足を克服するための貴重なツールである。
翻訳言語選択における言語型学、訓練データ、モデルアーキテクチャの正確な役割は、完全には理解されていない。
我々は、データセット固有の特徴と微粒な特徴の両方がトランスファー言語の選択にどのように影響するかを総合的に検討する。
論文 参考訳（メタデータ） (2025-03-25T18:05:40Z) - Unknown Script: Impact of Script on Cross-Lingual Transfer [2.5398014196797605]
言語間移動は、言語間で知識を伝達する効果的な方法となっている。
対象言語とそのスクリプトが事前訓練されたモデルの一部ではない場合を考える。
この結果から, 共通スクリプト, 言語類似性, モデルサイズよりも, トークン化の重要性が示唆された。
論文 参考訳（メタデータ） (2024-04-29T15:48:01Z) - Self-Augmentation Improves Zero-Shot Cross-Lingual Transfer [92.80671770992572]
言語間移動は多言語NLPにおける中心的なタスクである。
このタスクの以前の作業では、並列コーパス、バイリンガル辞書、その他の注釈付きアライメントデータを使用していた。
ゼロショットの言語間移動を改善するため, 単純で効果的なSALT法を提案する。
論文 参考訳（メタデータ） (2023-09-19T19:30:56Z) - Model and Data Transfer for Cross-Lingual Sequence Labelling in
Zero-Resource Settings [10.871587311621974]
我々は、ゼロショット設定に適用された高容量多言語言語モデルが、データベースのクロスランガルトランスファーアプローチより一貫して優れていることを実験的に実証した。
この結果の詳細な分析は、言語使用における重要な違いによる可能性があることを示唆している。
また,高容量多言語言語モデルが利用できない場合,データに基づく多言語間移動アプローチが競争力のある選択肢であることも示唆した。
論文 参考訳（メタデータ） (2022-10-23T05:37:35Z) - Analyzing Zero-shot Cross-lingual Transfer in Supervised NLP Tasks [6.7155846430379285]
ゼロショット言語間転送では、ある言語のコーパスでトレーニングされた教師付きnlpタスクが、追加のトレーニングなしで他の言語に直接適用されます。
最近導入されたクロス言語言語モデル(XLM)プリトレーニングは、トランスフォーマースタイルのネットワークでニューラルパラメータの共有をもたらす。
本稿では,XLM事前学習により生じる仮説上強い言語間移動特性を検証することを目的とする。
論文 参考訳（メタデータ） (2021-01-26T09:21:25Z) - Emergent Communication Pretraining for Few-Shot Machine Translation [66.48990742411033]
我々は、参照ゲームからの創発的コミュニケーションを介してニューラルネットワークを事前訓練する。
私たちの重要な前提は、実世界の環境の粗悪な近似として、画像に基づくコミュニケーションを基盤にすることで、帰納的に自然言語学習のモデルに偏りが生じる、ということです。
論文 参考訳（メタデータ） (2020-11-02T10:57:53Z) - From Zero to Hero: On the Limitations of Zero-Shot Cross-Lingual
Transfer with Multilingual Transformers [62.637055980148816]
言語モデリングの目的によって事前訓練された多言語トランスフォーマーは、NLPの事実上のデフォルト転送パラダイムとなっている。
膨大な多言語変換器による言語間変換は,リソースリーンシナリオや遠方言語では著しく効果が低いことを示す。
論文 参考訳（メタデータ） (2020-05-01T22:04:58Z) - XCOPA: A Multilingual Dataset for Causal Commonsense Reasoning [68.57658225995966]
XCOPA (Cross-lingual Choice of Plausible Alternatives) は11言語における因果コモンセンス推論のための多言語データセットである。
提案手法は,翻訳に基づく転送と比較して,現在の手法の性能が低下していることを明らかにする。
論文 参考訳（メタデータ） (2020-05-01T12:22:33Z) - Bridging Linguistic Typology and Multilingual Machine Translation with
Multi-View Language Representations [83.27475281544868]
特異ベクトル標準相関解析を用いて、各情報源からどのような情報が誘導されるかを調べる。
我々の表現は類型学を組み込み、言語関係と相関関係を強化する。
次に、多言語機械翻訳のための多視点言語ベクトル空間を利用して、競合する全体的な翻訳精度を実現する。
論文 参考訳（メタデータ） (2020-04-30T16:25:39Z) - Translation Artifacts in Cross-lingual Transfer Learning [51.66536640084888]
機械翻訳は、既存の言語間モデルに顕著な影響を与える微妙なアーティファクトを導入することができることを示す。
自然言語の推論では、前提と仮説を独立に翻訳することで、それらの間の語彙的重複を減らすことができる。
また、XNLIでは、それぞれ4.3点と2.8点の翻訳とゼロショットのアプローチを改善している。
論文 参考訳（メタデータ） (2020-04-09T17:54:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。