論文の概要: Multilingual Embedding Probes Fail to Generalize Across Learner Corpora

• arxiv url: http://arxiv.org/abs/2604.07095v1
• Date: Wed, 08 Apr 2026 13:47:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-09 17:30:51.562643
• Title: Multilingual Embedding Probes Fail to Generalize Across Learner Corpora
• Title（参考訳）: 学習者コーパスの一般化に失敗した多言語埋め込みプローブ
• Authors: Laurits Lyngbaek, Ross Deans Kristensen-McLachlan,
• Abstract要約: 我々は,9つのコーパスと7つの言語にわたる学習者テキストからCEFR習熟度を予測するために,隠れ状態のアクティベーションに関するプローブを訓練する。 分布評価では、プローブは強い性能を達成し、表面ベースラインを大幅に上回る。 クロスコーパス評価では、全てのプローブタイプとモデルサイズで性能が崩壊する。 これらの結果から,現在の多言語埋め込みは言語一般の習熟度を直接符号化するものではないことが示唆された。
• 参考スコア（独自算出の注目度）: 0.17188280334580197
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Do multilingual embedding models encode a language-general representation of proficiency? We investigate this by training linear and non-linear probes on hidden-state activations from Qwen3-Embedding (0.6B, 4B, 8B) to predict CEFR proficiency levels from learner texts across nine corpora and seven languages. We compare five probing architectures against a baseline trained on surface-level text features. Under in-distribution evaluation, probes achieve strong performance ($QWK\approx0.7$), substantially outperforming the surface baseline, with middle layers consistently yielding the best predictions. However, in cross-corpus evaluation performance collapses across all probe types and model sizes. Residual analysis reveals that out-of-distribution probes converge towards predicting uniformly distributed labels, indicating that the learned mappings capture corpus-specific distributional properties (topic, language, task type, rating methodology) rather than an abstract, transferable proficiency dimension. These results suggest that current multilingual embeddings do not straightforwardly encode language-general proficiency, with implications for representation-based approaches to proficiency-adaptive language technology.
• Abstract（参考訳）: 多言語埋め込みモデルは習熟度の言語一般表現を符号化しているか? Qwen3-Embedding (0.6B, 4B, 8B) の隠れ状態活性化に関する線形および非線形プローブを用いて,9つのコーパスと7つの言語にわたる学習者テキストからCEFRの習熟度を予測する。 表面レベルのテキスト機能に基づいてトレーニングされたベースラインに対して,5つの探索アーキテクチャを比較した。 分布評価では、プローブは強い性能(QWK\approx0.7$)を達成し、表面ベースラインを大幅に上回り、中間層が常に最高の予測を下す。 しかし、クロスコーパス評価では、全てのプローブタイプとモデルサイズで性能が崩壊する。 残差解析により、分布外プローブは一様分布ラベルの予測に収束し、学習された写像が抽象的かつ伝達可能な習熟度次元ではなく、コーパス固有の分布特性(トピック、言語、タスクタイプ、評価手法)を捉えていることが分かる。 これらの結果から,現在の多言語埋め込みは言語一般の習熟度を直接エンコードするものではないことが示唆され,表現ベースアプローチによる習熟度適応型言語技術への応用が示唆された。

関連論文リスト

• What Drives Cross-lingual Ranking? Retrieval Approaches with Multilingual Language Models [0.19116784879310025]
  リソース、スクリプト、埋め込みモデルにおける弱い言語間セマンティックアライメントの相違により、言語間情報検索は困難である。 既存のパイプラインは、しばしば翻訳と単言語検索に依存し、計算オーバーヘッドとノイズ、パフォーマンスを追加する。 この研究は、文書翻訳、事前訓練されたエンコーダによる多言語密集検索、単語、フレーズ、クエリー文書レベルのコントラスト学習、および3つのベンチマークデータセットにおけるクロスエンコーダの再ランク付けという、4つの介入タイプを体系的に評価する。
  論文  参考訳（メタデータ） (2025-11-24T17:17:40Z)
• Low-Resource English-Tigrinya MT: Leveraging Multilingual Models, Custom Tokenizers, and Clean Evaluation Benchmarks [6.177998679139308]
  ニューラルネットワーク翻訳(NMT)の進歩にもかかわらず、Tigrinyaのような低リソース言語はいまだに保存されていない。 本稿では,多言語事前学習モデルを用いた翻訳学習手法について検討し,形態的に豊かな低リソース言語に対する翻訳品質を向上させる。
  論文  参考訳（メタデータ） (2025-09-24T15:02:57Z)
• Optimal Transport Posterior Alignment for Cross-lingual Semantic Parsing [68.47787275021567]
  言語間のセマンティックパーシングは、高いソース言語(例えば英語)から少ないトレーニングデータを持つ低リソース言語へのパーシング能力を伝達する。 そこで本稿では,最適輸送を用いた係り受け変数間の言語間相違を明示的に最小化することで,言語間セマンティック解析のための新しい手法を提案する。
  論文  参考訳（メタデータ） (2023-07-09T04:52:31Z)
• T3L: Translate-and-Test Transfer Learning for Cross-Lingual Text Classification [50.675552118811]
  言語間テキスト分類は通常、様々な言語で事前訓練された大規模多言語言語モデル(LM)に基づいて構築される。 本稿では,古典的な「翻訳とテスト」パイプラインを再考し,翻訳と分類の段階を適切に分離することを提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:33:22Z)
• Enhancing Pashto Text Classification using Language Processing Techniques for Single And Multi-Label Analysis [0.0]
  本研究では,Pashtoテキストの自動分類システムの構築を目的とする。 平均テスト精度は94%だった。 DistilBERTのような事前訓練された言語表現モデルの使用は、有望な結果を示した。
  論文  参考訳（メタデータ） (2023-05-04T23:11:31Z)
• Retrieval-based Disentangled Representation Learning with Natural Language Supervision [61.75109410513864]
  本稿では,VDR(Vocabulary Disentangled Retrieval)を提案する。 提案手法では,両エンコーダモデルを用いて語彙空間におけるデータと自然言語の両方を表現する。
  論文  参考訳（メタデータ） (2022-12-15T10:20:42Z)
• From Good to Best: Two-Stage Training for Cross-lingual Machine Reading Comprehension [51.953428342923885]
  モデル性能を向上させるための2段階のアプローチを開発する。 我々は、トップk予測が正確な答えを含む確率を最大化するために、ハードラーニング(HL)アルゴリズムを設計する。 第2段階では, 正解と他の候補との微妙な違いを学習するために, 解答を意識したコントラスト学習機構が開発された。
  論文  参考訳（メタデータ） (2021-12-09T07:31:15Z)
• A Massively Multilingual Analysis of Cross-linguality in Shared Embedding Space [61.18554842370824]
  言語間モデルでは、多くの異なる言語に対する表現は同じ空間に存在している。 我々は,bitext検索性能の形式で,言語間アライメントのタスクベース尺度を計算した。 我々はこれらのアライメント指標の潜在的な予測因子として言語的、準言語的、および訓練関連の特徴について検討する。
  論文  参考訳（メタデータ） (2021-09-13T21:05:37Z)
• Cross-lingual Text Classification with Heterogeneous Graph Neural Network [2.6936806968297913]
  言語間テキスト分類は、ソース言語上の分類器を訓練し、その知識を対象言語に伝達することを目的としている。 近年の多言語事前学習言語モデル (mPLM) は言語間分類タスクにおいて顕著な結果をもたらす。 言語間テキスト分類のための言語内および言語間における異種情報を統合するための,単純かつ効果的な手法を提案する。
  論文  参考訳（メタデータ） (2021-05-24T12:45:42Z)
• TextFlint: Unified Multilingual Robustness Evaluation Toolkit for Natural Language Processing [73.16475763422446]
  NLPタスク(TextFlint)のための多言語ロバスト性評価プラットフォームを提案する。 普遍的なテキスト変換、タスク固有の変換、敵攻撃、サブポピュレーション、およびそれらの組み合わせを取り入れ、包括的な堅牢性分析を提供する。 TextFlintは、モデルの堅牢性の欠点に対処するために、完全な分析レポートとターゲットとした拡張データを生成します。
  論文  参考訳（メタデータ） (2021-03-21T17:20:38Z)
• A Bayesian Multilingual Document Model for Zero-shot Topic Identification and Discovery [1.9215779751499527]
  モデルは多言語シナリオへの BaySMM [Kesiraju et al 2020] の拡張である。 学習した不確実性を線形分類器で伝達し、ゼロショットの言語間話題識別に役立てる。 我々は、現在のデータセットを深く掘り下げることで、ゼロショット設定での言語間トピックの識別を再考する。
  論文  参考訳（メタデータ） (2020-07-02T19:55:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。