論文の概要: Universal Conceptual Structure in Neural Translation: Probing NLLB-200's Multilingual Geometry
- arxiv url: http://arxiv.org/abs/2603.02258v1
- Date: Fri, 27 Feb 2026 22:51:01 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-04 21:38:10.471831
- Title: Universal Conceptual Structure in Neural Translation: Probing NLLB-200's Multilingual Geometry
- Title（参考訳）: ニューラル翻訳における普遍的概念構造:NLLB-200の多言語幾何学
- Authors: Kyle Elliott Mathewson,
- Abstract要約: 本稿では,200言語エンコーダ・デコーダ変換器であるMetaのNLLB-200の表現幾何学について検討する。
その結果, モデル埋め込み距離は, 自動類似性判断プログラムの系統的距離と大きく相関していることがわかった。
われわれはこれらの現象を探索するためのオープンソースのインタラクティブツールキットInterpretCognatesをリリースした。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Do neural machine translation models learn language-universal conceptual representations, or do they merely cluster languages by surface similarity? We investigate this question by probing the representation geometry of Meta's NLLB-200, a 200-language encoder-decoder Transformer, through six experiments that bridge NLP interpretability with cognitive science theories of multilingual lexical organization. Using the Swadesh core vocabulary list embedded across 135 languages, we find that the model's embedding distances significantly correlate with phylogenetic distances from the Automated Similarity Judgment Program ($ρ= 0.13$, $p = 0.020$), demonstrating that NLLB-200 has implicitly learned the genealogical structure of human languages. We show that frequently colexified concept pairs from the CLICS database exhibit significantly higher embedding similarity than non-colexified pairs ($U = 42656$, $p = 1.33 \times 10^{-11}$, $d = 0.96$), indicating that the model has internalized universal conceptual associations. Per-language mean-centering of embeddings improves the between-concept to within-concept distance ratio by a factor of 1.19, providing geometric evidence for a language-neutral conceptual store analogous to the anterior temporal lobe hub identified in bilingual neuroimaging. Semantic offset vectors between fundamental concept pairs (e.g., man to woman, big to small) show high cross-lingual consistency (mean cosine = 0.84), suggesting that second-order relational structure is preserved across typologically diverse languages. We release InterpretCognates, an open-source interactive toolkit for exploring these phenomena, alongside a fully reproducible analysis pipeline.
- Abstract（参考訳）: ニューラルマシン翻訳モデルは言語・ユニバーサルの概念表現を学ぶのか、それとも単に表面的類似性によってクラスタ言語を学習するのだろうか?
我々は,多言語語彙の認知科学理論によるNLP解釈性を橋渡しする6つの実験を通して,メタの200言語エンコーダデコーダであるNLLB-200の表現幾何学を探索することにより,この問題を考察する。
スワデシュのコア語彙リストを135言語に埋め込んだ結果,NLLB-200がヒト言語の系統構造を暗黙的に学習したことを示す自動類似性判断プログラム(ρ = 0.13$, $p = 0.020$)の系統的距離と,モデルの埋め込み距離が有意に相関していることが判明した。
ここでは,CLICSデータベースから頻繁に収集される概念ペアが,非照合ペアよりもはるかに高い埋め込み類似性を示すことを示す(U = 42656$, $p = 1.33 \times 10^{-11}$, $d = 0.96$)。
埋め込みの言語ごとの平均中心化は、概念と概念内距離の比を1.19倍に改善し、バイリンガル・ニューロイメージングで特定される前側頭葉ハブに類似した言語ニュートラルの概念的ストアの幾何学的証拠を提供する。
基本概念対(例えば、男性と女性、大～小)間のセマンティックオフセットベクトルは、高い言語間整合性を示す(平均コサイン = 0.84)。
われわれはこれらの現象を探索するためのオープンソースのインタラクティブツールキットであるInterpretCognatesと、完全に再現可能な分析パイプラインをリリースした。
関連論文リスト
- Subword-Based Comparative Linguistics across 242 Languages Using Wikipedia Glottosets [0.1682277069379282]
サブワードに基づく手法を用いて,242のラテン文字言語とキリル文字言語の大規模比較研究を行った。
提案手法では,ウィキペディアのランクに基づく単語ベクトルを用いて語彙,語彙の発散,言語的類似度を大規模に解析する。
論文 参考訳（メタデータ） (2026-01-26T18:55:28Z) - Modality Matching Matters: Calibrating Language Distances for Cross-Lingual Transfer in URIEL+ [4.262015666551064]
タイプマッチング言語距離のためのフレームワークを提案する。
距離タイプ毎に新しい構造認識表現を提案する。
我々はこれらの信号を頑健でタスクに依存しない複合距離に統一する。
論文 参考訳（メタデータ） (2025-10-22T03:59:19Z) - Mechanistic Understanding and Mitigation of Language Confusion in English-Centric Large Language Models [56.61984030508691]
言語混乱に関する最初の機械論的解釈可能性研究について述べる。
混乱点(CP)がこの現象の中心であることを示す。
比較分析によって同定された少数の臨界ニューロンを多言語で調整したニューロンで編集すると、混乱が著しく軽減されることがわかった。
論文 参考訳（メタデータ） (2025-05-22T11:29:17Z) - Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価する。
3つのニューラルアーキテクチャに対して、チョムスキー階層の様々な言語について結果を提供する。
我々の貢献は、将来の研究において、言語認識の主張を理論的に健全に検証するのに役立つだろう。
論文 参考訳（メタデータ） (2024-11-11T16:33:25Z) - A Crosslingual Investigation of Conceptualization in 1335 Languages [0.2216657815393579]
本稿では,1,335言語間の概念化の相違について,並列コーパスにおける概念の整合性について検討する。
本稿では,ソース言語の概念とターゲット言語文字列の集合との間に二部方向のアライメントグラフを作成する手法であるConceptualizerを提案する。
1つの概念(bird')に対する全言語にわたる詳細な言語分析と32のスワデシュ概念に対する金標準データの評価において、概念化器はアライメント精度が良いことを示す。
論文 参考訳（メタデータ） (2023-05-15T09:27:34Z) - Feature-rich multiplex lexical networks reveal mental strategies of
early language learning [0.7111443975103329]
FEature-Rich MUltiplex LEXical (FERMULEX) ネットワークについて述べる。
類似性は、知識のセマンティック/シンタクティック/音声学的側面にまたがる異種単語関連をモデル化する。
単語には、周波数、取得年齢、長さ、ポリセミーを含む多次元特徴埋め込みが組み込まれている。
論文 参考訳（メタデータ） (2022-01-13T16:44:51Z) - A Massively Multilingual Analysis of Cross-linguality in Shared
Embedding Space [61.18554842370824]
言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。
我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。
我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
論文 参考訳（メタデータ） (2021-09-13T21:05:37Z) - Neural Combinatory Constituency Parsing [12.914521751805658]
本モデルでは, ボトムアップ解析プロセスを, 1) タグ, ラベル, バイナリオリエンテーション, チャンクの分類と, 2) 計算した向きやチャンクに基づくベクトル構成に分解する。
二進法モデルでは、Penn TreebankのF1スコアは92.54であり、1327.2の送信/秒である。
XLNetのどちらのモデルも、ほぼ最先端の英語の精度を提供する。
論文 参考訳（メタデータ） (2021-06-12T05:14:16Z) - Explicit Alignment Objectives for Multilingual Bidirectional Encoders [111.65322283420805]
本稿では,多言語エンコーダAMBER(Aligned Multilingual Bi-directional EncodeR)の学習方法を提案する。
AMBERは、異なる粒度で多言語表現を整列する2つの明示的なアライメント目標を使用して、追加の並列データに基づいて訓練される。
実験結果から、AMBERは、シーケンスタグ付けで1.1平均F1スコア、XLMR-大規模モデル上での検索で27.3平均精度を得ることがわかった。
論文 参考訳（メタデータ） (2020-10-15T18:34:13Z) - Pre-training Multilingual Neural Machine Translation by Leveraging
Alignment Information [72.2412707779571]
mRASPは、汎用多言語ニューラルマシン翻訳モデルを事前訓練するためのアプローチである。
我々は,低,中,豊かな資源を含む多種多様な環境における42の翻訳方向の実験を行い,エキゾチックな言語対への変換を行った。
論文 参考訳（メタデータ） (2020-10-07T03:57:54Z) - Improving Massively Multilingual Neural Machine Translation and
Zero-Shot Translation [81.7786241489002]
ニューラルネットワーク翻訳(NMT)の多言語モデルは理論的には魅力的であるが、しばしばバイリンガルモデルに劣る。
我々は,多言語NMTが言語ペアをサポートするためにより強力なモデリング能力を必要とすることを論じる。
未知のトレーニング言語ペアの翻訳を強制するために,ランダムなオンライン翻訳を提案する。
論文 参考訳（メタデータ） (2020-04-24T17:21:32Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。