論文の概要: Language Models Are Borrowing-Blind: A Multilingual Evaluation of Loanword Identification across 10 Languages

• arxiv url: http://arxiv.org/abs/2510.26254v1
• Date: Thu, 30 Oct 2025 08:36:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-31 16:05:09.713534
• Title: Language Models Are Borrowing-Blind: A Multilingual Evaluation of Loanword Identification across 10 Languages
• Title（参考訳）: 言語モデルは空白である:10言語にわたる単語識別の多言語的評価
• Authors: Mérilin Sousa Silva, Sina Ahmadi,
• Abstract要約: 本稿では,大規模言語モデルを含む事前学習された言語モデルが,借用語識別に類似した能力を持っているかを検討する。 明示的な指示や文脈情報にもかかわらず,本研究の結果から,ローン語とネイティブ語を区別するにはモデルが不十分であることが示唆された。 本研究は,少数言語を対象としたNLPツールの開発や,支配言語からの語彙的圧力下でのコミュニティにおける言語保存支援に寄与する。
• 参考スコア（独自算出の注目度）: 2.9740076875957886
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Throughout language history, words are borrowed from one language to another and gradually become integrated into the recipient's lexicon. Speakers can often differentiate these loanwords from native vocabulary, particularly in bilingual communities where a dominant language continuously imposes lexical items on a minority language. This paper investigates whether pretrained language models, including large language models, possess similar capabilities for loanword identification. We evaluate multiple models across 10 languages. Despite explicit instructions and contextual information, our results show that models perform poorly in distinguishing loanwords from native ones. These findings corroborate previous evidence that modern NLP systems exhibit a bias toward loanwords rather than native equivalents. Our work has implications for developing NLP tools for minority languages and supporting language preservation in communities under lexical pressure from dominant languages.
• Abstract（参考訳）: 言語の歴史を通じて、単語はある言語から別の言語に借用され、次第に受信者の語彙に統合される。 話者はしばしばこれらの借用語を原語の語彙と区別することができ、特にバイリンガルのコミュニティでは、支配的な言語が少数言語に語彙的要素を連続的に課している。 本稿では,大規模言語モデルを含む事前学習された言語モデルが,借用語識別に類似した能力を持っているかを検討する。 10言語にまたがる複数のモデルを評価する。 明示的な指示や文脈情報にもかかわらず,本研究の結果から,ローン語とネイティブ語を区別するにはモデルが不十分であることが示唆された。 これらの知見は、現代のNLPシステムは、ネイティブな同値ではなくローンワードに対するバイアスを示すという過去の証拠を裏付けるものである。 本研究は,少数言語を対象としたNLPツールの開発や,支配言語からの語彙的圧力下でのコミュニティにおける言語保存支援に寄与する。

関連論文リスト

• Large Language Models Share Representations of Latent Grammatical Concepts Across Typologically Diverse Languages [15.203789021094982]
  大規模言語モデル(LLM)では、複数の言語がどのように学習され、エンコードされているか? Llama-3-8BとAya-23-8Bでスパースオートエンコーダを訓練し、抽象文法の概念が多くの言語で共有される特徴方向に符号化されることを実証する。
  論文  参考訳（メタデータ） (2025-01-10T21:18:21Z)
• The Role of Language Imbalance in Cross-lingual Generalisation: Insights from Cloned Language Experiments [57.273662221547056]
  本研究では,言語間一般化の非直感的な新規ドライバである言語不均衡について検討する。 学習中に支配的な言語が存在することが、あまり頻度の低い言語の性能を高めることを観察する。 分析を実言語に拡張するにつれ、頻繁な言語は依然として恩恵を受けていますが、言語不均衡が言語間の一般化を引き起こすかどうかは決定的ではありません。
  論文  参考訳（メタデータ） (2024-04-11T17:58:05Z)
• Multilingual Word Embeddings for Low-Resource Languages using Anchors and a Chain of Related Languages [54.832599498774464]
  我々は,言語連鎖に基づく新しいアプローチにより,多言語単語埋め込み(MWE)を構築することを提案する。 リソースの豊富なソースから始めて、ターゲットに到達するまで各言語をチェーンに順次追加することで、MWEを一度に1つの言語で構築します。 本手法は,4つの低リソース(5Mトークン)と4つの中程度の低リソース(50M)ターゲット言語を含む4つの言語ファミリーを対象としたバイリンガルレキシコン誘導法について検討した。
  論文  参考訳（メタデータ） (2023-11-21T09:59:29Z)
• The Less the Merrier? Investigating Language Representation in Multilingual Models [8.632506864465501]
  多言語モデルにおける言語表現について検討する。 我々は、コミュニティ中心のモデルが、低リソース言語で同じ家系の言語を区別する上で、より良い性能を発揮することを実験から観察した。
  論文  参考訳（メタデータ） (2023-10-20T02:26:34Z)
• Tokenization Impacts Multilingual Language Modeling: Assessing Vocabulary Allocation and Overlap Across Languages [3.716965622352967]
  サブワードトークン化器で観測される語彙表現と語彙重複の質を評価するための新しい基準を提案する。 以上の結果から,言語間の語彙の重複は,特定の下流課題に支障を来す可能性があることが示唆された。
  論文  参考訳（メタデータ） (2023-05-26T18:06:49Z)
• XLM-V: Overcoming the Vocabulary Bottleneck in Multilingual Masked Language Models [100.29953199404905]
  語彙重複の少ない言語間でのトークン共有を非強調化することにより,多言語語彙に拡張する新たなアプローチを提案する。 我々は100万のトークン語彙を持つ多言語言語モデルであるXLM-Vを訓練する。 XLM-V は低リソースの言語タスクに特に有効であり、マサハナーとアメリカの NLI では XLM-R を 11.2% と 5.8% で上回っている。
  論文  参考訳（メタデータ） (2023-01-25T09:15:17Z)
• Discovering Representation Sprachbund For Multilingual Pre-Training [139.05668687865688]
  多言語事前学習モデルから言語表現を生成し、言語分析を行う。 すべての対象言語を複数のグループにクラスタリングし、表現のスプラックバンドとして各グループに名前を付ける。 言語間ベンチマークで実験を行い、強いベースラインと比較して大幅な改善が達成された。
  論文  参考訳（メタデータ） (2021-09-01T09:32:06Z)
• Including Signed Languages in Natural Language Processing [48.62744923724317]
  署名された言語は、聴覚障害者や難聴者のコミュニケーションの主な手段です。 このポジショニングペーパーは、NLPコミュニティに対して、社会的および科学的影響の高い研究領域として署名された言語を含めるよう求めている。
  論文  参考訳（メタデータ） (2021-05-11T17:37:55Z)
• Improving Multilingual Models with Language-Clustered Vocabularies [8.587129426070979]
  本稿では,複数の自動派生言語クラスタの別々に訓練された語彙を組み合わせた多言語語彙生成のための新しい手法を提案する。 我々の実験は、主要なマルチ言語ベンチマークタスクにおける言語間の改善を示す。
  論文  参考訳（メタデータ） (2020-10-24T04:49:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。