論文の概要: MixLID: Token-Level Language Identification in Mixed-Language Text

• arxiv url: http://arxiv.org/abs/2610.16601v1
• Date: Mon, 12 Oct 2026 11:21:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.364123
• Title: MixLID: Token-Level Language Identification in Mixed-Language Text
• Title（参考訳）: MixLID:Mixed-Language テキストにおけるToken-Level言語識別
• Abstract要約: MixLIDは111の言語とスクリプトの組み合わせをサポートするトークンレベルの言語識別モデルである。 まず、モノリンガルな例の言語ラベルを使用して個々の言語を識別し、その後、混合言語データのトレーニングを継続する。 MixLIDはモノリンガルと混合言語の両方で幅広い言語で高いパフォーマンスを実現している。
• 参考スコア（独自算出の注目度）: 24.064060212702838
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Processing multilingual text requires both identifying a broad range of languages and distinguishing the language of each token in inputs containing multiple languages. We introduce MixLID, a token-level language identification model supporting 111 language-script combinations. MixLID follows a two-stage training process: it first learns to distinguish individual languages using the language labels of monolingual examples, then continues training on mixed-language data. The second stage uses concatenated examples from existing code-switching data alongside augmented examples created through word substitution based on correspondences between English source words and loanwords. For monolingual identification, MixLID outperforms all baselines in both accuracy and macro F1 on four benchmarks within the language coverage shared with each baseline. For mixed-language identification, it outperforms the baselines in identifying the language of individual tokens on every evaluated language pair. MixLID achieves high performance across a broad range of languages in both monolingual and mixed-language settings. The model is publicly available at https://huggingface.co/nlpai-lab/MixLID.
• Abstract（参考訳）: 多言語テキストを処理するには、幅広い言語を識別し、複数の言語を含む入力において各トークンの言語を区別する必要がある。 111の言語とスクリプトの組み合わせをサポートするトークンレベルの言語識別モデルであるMixLIDを紹介する。 MixLIDはまず、モノリンガルな例の言語ラベルを使用して個々の言語を識別し、その後、混合言語データのトレーニングを継続する。 第2段階では、既存のコードスイッチングデータと、英語のソース語とローン語との対応に基づく単語置換によって作成された拡張例を用いている。 モノリンガル識別のために、MixLIDは、各ベースラインで共有される言語カバレッジの4つのベンチマークにおいて、正確さとマクロF1の両方で全てのベースラインを上回ります。 混合言語識別では、評価された言語ペアごとに個々のトークンの言語を識別する際のベースラインよりも優れている。 MixLIDはモノリンガルと混合言語の両方で幅広い言語で高いパフォーマンスを実現している。 モデルはhttps://huggingface.co/nlpai-lab/MixLID.comで公開されている。

関連論文リスト

• IndicTriMix: Developing Language Identification Datasets and Models for Tri-Language Code-Mixing [3.4293055914377564]
  モノリンガルテキスト用に設計された従来の言語識別モデルは、コードミックス設定におけるトークンレベルの言語識別には適していない。 我々は,タスクをシーケンスラベリング問題として定式化し,コンテキスト変換モデル MuRIL と XLM-RoBERTa を微調整する。 3言語並列文を用いたコード混合生成の2つの手法を提案する。
  論文  参考訳（メタデータ） (2026-09-10T17:36:12Z)
• Tokenizing Crosslingual Homographs [8.254230288283258]
  多言語言語モデルは、限られた数のトークン単位内で複数の言語を表現するために、共有サブワード語彙に依存している。 我々はこの制限を言語間ホモグラフと偽の友人を通して検討する。 そこで本稿では,共有語彙単語の初期文字を置き換える言語固有の文字を用いた,単純なトークン化レベル介入を提案する。
  論文  参考訳（メタデータ） (2026-07-20T08:37:31Z)
• LangMAP: A Language-Adaptive Approach to Tokenization [30.443524396044428]
  LangMAPは、UnigramLMアルゴリズムを多言語設定に拡張するトークン化スキームである。 マルチ言語モデルをスクラッチからトレーニングしたり、事前訓練されたモデルのトークン化ツールを個別の言語に適応する際にも使用することができる。 言語ラベルはトレーニング時に必要とされているが、アルゴリズムの重要な特徴は、入力言語の知識なしに推論時に言語固有のトークン化を実行することである。
  論文  参考訳（メタデータ） (2026-06-22T16:32:00Z)
• Modular Sentence Encoders: Separating Language Specialization from Cross-Lingual Alignment [50.80949663719335]
  多言語文エンコーダ(MSE)は、多言語言語モデルを訓練し、異なる言語からの文を共有意味空間にマッピングすることで一般的に得られる。 MSEは、パラメータ共有による単言語表現精度の喪失である多言語性の呪いを受ける。 我々は、異なる言語間タスクの矛盾する要求を解決するために、2つの異なるタイプのデータで言語間アダプタを訓練する。
  論文  参考訳（メタデータ） (2024-07-20T13:56:39Z)
• Parrot: Multilingual Visual Instruction Tuning [66.65963606552839]
  既存の手法では、視覚エンコーダを教師付き微調整(SFT)を介してMLLM(Multimodal Large Language Models)と整列させるのが一般的である。 言語レベルでの視覚的トークンアライメントにテキストガイダンスを活用する新しいアプローチであるPARROTを提案する。 我々は6言語、15カテゴリ、12,000の質問からなる新しいベンチマークであるMassive Multilingual Multimodal Benchmark (MMMB)を紹介する。
  論文  参考訳（メタデータ） (2024-06-04T17:56:28Z)
• Code-mixed Sentiment and Hate-speech Prediction [2.9140539998069803]
  大規模言語モデルは、ほとんどの自然言語処理タスクを支配してきた。 我々は、英語・ヒンディー語・英語・スロベニア語用に、バイリンガルで事前訓練された4つのマスク付き言語モデルを作成しました。 複数の言語で単言語,バイリンガル,少数言語,大規模多言語モデルの評価を行った。
  論文  参考訳（メタデータ） (2024-05-21T16:56:36Z)
• MYTE: Morphology-Driven Byte Encoding for Better and Fairer Multilingual Language Modeling [70.34758460372629]
  多様な言語にまたがる一貫した大きさのセグメントで同一情報をエンコードする新しいパラダイムを導入する。 MYTEは99の言語すべてに対して短いエンコーディングを生成する。 これにより、多言語LMの性能が向上し、多言語間でのパープレキシティギャップが減少する。
  論文  参考訳（メタデータ） (2024-03-15T21:21:11Z)
• Towards Zero-Shot Code-Switched Speech Recognition [44.76492452463019]
  ゼロショット設定の下で,効率的な符号切替自動音声認識システム (ASR) の構築を目指す。 そこで本研究では,各単言語モジュールの音声セグメントを単言語スクリプトで不特定に書き起こすことにより,各単言語モジュールを単純化することを提案する。 本手法をエンドツーエンドの微分可能なニューラルネットワークに適用し、マンダリン英語SEAMEテストセットにおけるゼロショットCS ASRの有効性を実証する。
  論文  参考訳（メタデータ） (2022-11-02T19:52:54Z)
• How Good is Your Tokenizer? On the Monolingual Performance of Multilingual Language Models [96.32118305166412]
  本研究では,5つの単一言語下流タスクのセットに基づいて,事前学習可能な単言語モデルを持つ9種類の言語について検討した。 多言語モデルの語彙で適切に表現された言語は、単言語モデルよりも性能が著しく低下する。
  論文  参考訳（メタデータ） (2020-12-31T14:11:00Z)
• FILTER: An Enhanced Fusion Method for Cross-lingual Language Understanding [85.29270319872597]
  我々は,XLMファインタニングの入力として言語間データを利用する拡張融合法を提案する。 推論中は、ターゲット言語で入力されたテキストとソース言語の翻訳に基づいて予測を行う。 この問題に対処するため,対象言語における翻訳テキストのための自動生成ソフト擬似ラベルに基づくモデル学習のためのKL分割自己学習損失を提案する。
  論文  参考訳（メタデータ） (2020-09-10T22:42:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。