論文の概要: Quantitative Measurement of Language Distance among Closely Related Indo-European Languages Using Pretrained Language Models: A Case Study on the North Germanic Branch

• arxiv url: http://arxiv.org/abs/2609.34152v1
• Date: Mon, 28 Sep 2026 02:32:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-04 06:25:13.771451
• Title: Quantitative Measurement of Language Distance among Closely Related Indo-European Languages Using Pretrained Language Models: A Case Study on the North Germanic Branch
• Title（参考訳）: 事前学習型言語モデルを用いた近縁インド・ヨーロッパ語間の言語距離の定量的測定:北ゲルマン語分節を事例として
• Abstract要約: 本稿では,デンマーク語,ノルウェー語(Bokml),スウェーデン語(Bokml)の3つの北ゲルマン語に焦点を当て,事前訓練された言語モデルに基づく3次元定量的フレームワークを提案する。 タトエバコーパスから得られた150個の3言語並列文三重項を対照試料として, 2つの独立モデルにおける一貫した距離ランキングを得た。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Among closely related North Germanic languages, the quantification of language distance has traditionally relied on qualitative methods, lacking a unified multi-dimensional computational framework. Multilingual pretrained models based on the Transformer architecture can map texts from different languages into a shared vector space, enabling quantitative measurement of language distance. This paper focuses on the three North Germanic languages---Danish, Norwegian (Bokmål), and Swedish---and proposes a three-metric quantitative framework based on pretrained language models: (1)~sentence-level semantic distance, computed as cosine similarity between LaBSE and mBERT encodings of parallel sentences; (2)~orthographic fragmentation rate, measuring subword tokenization efficiency when cross-applying monolingual BERT vocabularies to parallel texts; (3)~MLM predictability, comparing prediction confidence and entropy in masked language modeling using mBERT across languages. Using 150 trilingual parallel sentence triplets from the Tatoeba corpus as controlled samples, we obtain consistent distance rankings on two independent models: LaBSE: da--no $0.012 < $ no--sv $0.016 < $ da--sv $0.020$; mBERT: da--no $0.016 < $ no--sv $0.045 \approx $ da--sv $0.046$. This ranking is consistent with the historical linguistic conclusion that ``400 years of Danish rule over Norway (1380--1814) led to highly cognate written languages.'' The three metrics---semantic, orthographic, and predictability---converge on the same conclusion, providing a reproducible computational framework for the quantitative study of distance among closely related languages, extensible in principle to more branches of the Indo-European language family, pending validation on additional language groups.
• Abstract（参考訳）: 北ゲルマン語と密接に関連する言語の中で、言語距離の定量化は伝統的に定性的手法に依存しており、多次元計算の枠組みが統一されていない。 Transformerアーキテクチャに基づく多言語事前学習モデルは、異なる言語からのテキストを共有ベクトル空間にマッピングし、言語距離の定量的測定を可能にする。 本論文は, デンマーク語, ノルウェー語 (Bokmål) とスウェーデン語 (スウェーデン語) の3つの北ゲルマン語に焦点をあて, 1) パラレル文のLaBSEとmBERTエンコーディングのコサイン類似性として計算された文レベルセマンティック距離, (2) パラレルテキストへのモノリンガルBERT語彙の相互適用時のサブワードトークン化効率, (3) -MLM予測可能性, およびmBERTを用いたマスク言語モデリングにおける予測信頼度とエントロピーを比較した3次元定量的フレームワークを提案する。 LaBSE: da-no $0.012 < $ no-sv $0.016 < $ da-sv $0.020$; mBERT: da-no $0.016 < $ no-sv $0.045 \approx $ da-sv $0.046$。 このランキングは「『ノルウェーにおけるデンマーク支配の400年(1380年-1814年)は高度に協調した言語に導かれた」という歴史的言語学的結論と一致しており、この3つの指標-意味論的、正書法的、予測可能性--は同じ結論に収束し、近縁な言語間の距離の定量的研究のための再現可能な計算枠組みを提供し、原則としてインド・ヨーロッパ語族の多くの支流に拡張され、追加の言語群に対する検証が保留されている。

関連論文リスト

• Can Embedding Similarity Predict Cross-Lingual Transfer? A Systematic Study on African Languages [12.074798555934855]
  低リソースのアフリカ言語のためのNLPシステムを構築するためには、言語間移動が不可欠である。 816回の移動実験において,5つの埋め込み類似度指標を系統的に評価した。 その結果,コサインギャップと検索に基づく指標が転送成功を確実に予測できることが判明した。
  論文  参考訳（メタデータ） (2026-01-06T16:39:28Z)
• UniMax: Fairer and more Effective Language Sampling for Large-Scale Multilingual Pretraining [92.3702056505905]
  我々は,尾語への過剰適合を軽減しつつ,より均一なヘッド言語カバレッジを提供する新しいサンプリング手法UniMaxを提案する。 We found that UniMax are outperforming standard temperature-based sample, and the benefit persistent as scale increased。
  論文  参考訳（メタデータ） (2023-04-18T17:45:50Z)
• VECO 2.0: Cross-lingual Language Model Pre-training with Multi-granularity Contrastive Learning [56.47303426167584]
  複数粒度アライメントを持つコントラスト学習に基づく言語間事前学習モデルVECO2.0を提案する。 具体的には、シーケンス・ツー・シーケンスアライメントが誘導され、並列対の類似性を最大化し、非並列対を最小化する。 トークン・ツー・トークンのアライメントは、シソーラス辞書を介して発掘された同義トークンと、バイリンガルな例の他の未使用トークンとのギャップを埋めるために統合される。
  論文  参考訳（メタデータ） (2023-04-17T12:23:41Z)
• OneAligner: Zero-shot Cross-lingual Transfer with One Rich-Resource Language Pair for Low-Resource Sentence Retrieval [91.76575626229824]
  文検索タスク用に特別に設計されたアライメントモデルであるOneAlignerを提案する。 大規模並列多言語コーパス(OPUS-100)の全ての言語ペアで訓練すると、このモデルは最先端の結果が得られる。 実験結果から,文アライメントタスクの性能はモノリンガルおよび並列データサイズに大きく依存することがわかった。
  論文  参考訳（メタデータ） (2022-05-17T19:52:42Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)
• Probing Multilingual BERT for Genetic and Typological Signals [28.360662552057324]
  我々は多言語BERT(mBERT)の層を探索し,100言語にわたる系統的および地理的言語信号について検討した。 我々は,言語木を推定・評価するために,言語距離を用い,四重項木距離の点から基準系木に近いことが判明した。
  論文  参考訳（メタデータ） (2020-11-04T00:03:04Z)
• Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
  本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。 AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。 実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
  論文  参考訳（メタデータ） (2020-10-15T18:34:13Z)
• A Generalized Constraint Approach to Bilingual Dictionary Induction for Low-Resource Language Families [1.0312968200748118]
  密接に関連する言語に対する制約に基づくバイリンガル語彙帰納法を提案する。 我々はコグネート同義語を多対多の翻訳対を得るために同定する。
  論文  参考訳（メタデータ） (2020-10-05T23:41:04Z)
• Knowledge Distillation for Multilingual Unsupervised Neural Machine Translation [61.88012735215636]
  unsupervised neural machine translation (UNMT) は、最近、いくつかの言語対に対して顕著な結果を得た。 UNMTは単一の言語ペア間でのみ翻訳することができ、同時に複数の言語ペアに対して翻訳結果を生成することはできない。 本稿では,1つのエンコーダと1つのデコーダを用いて13言語間を翻訳する簡単な手法を実証的に紹介する。
  論文  参考訳（メタデータ） (2020-04-21T17:26:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。