論文の概要: CHALIS: A Challenge Dataset for Language Identification in Difficult Scenarios

• arxiv url: http://arxiv.org/abs/2606.06088v1
• Date: Thu, 04 Jun 2026 12:26:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-05 22:39:44.784901
• Title: CHALIS: A Challenge Dataset for Language Identification in Difficult Scenarios
• Title（参考訳）: CHALIS:難易度シナリオにおける言語識別のための課題データセット
• Authors: Michal Tichý, Jindřich Libovický,
• Abstract要約: CHALIS(Challenging Language Identification Samples)は、言語識別における困難なケースに対応するために設計された、新しいベンチマークデータセットである。 私たちのデータセットには2つの部分があります: まず、相互に理解可能な言語対(チェコ語/スロベニア語/スペイン語/カタラン語/ポルトガル語/ガリシア語/デンマーク語/ノルウェー語)で共有された文を収集しました。 第二部では、複数のスクリプトにまたがってテキストを翻訳し、ダイアクリティカルを除去し、ホモグリフ攻撃をシミュレートし、インターネットスラングを使用する。
• 参考スコア（独自算出の注目度）: 0.35604294978773265
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present CHALIS (Challenging Language Identification Samples), a new benchmark dataset explicitly designed to address difficult cases in language identification: cousin languages and orthographic noise. Our dataset has two parts: First, we collected sentences shared across mutually intelligible language pairs (Czech/Slovak, Spanish/Catalan, Portuguese/Galician, Danish/Norwegian). The second part tests for orthography noise: we transliterate text across multiple scripts, remove diacritics, simulate homoglyph attacks, and use Internet slang. We evaluate four widely used language identification systems on CHALIS and demonstrate that all struggle substantially in these scenarios, especially on lower-resource languages within cousin pairs and on transliterated input. The resource is publicly available at https://huggingface.co/datasets/michal-tichy/CHALIS.
• Abstract（参考訳）: 本稿では,言語識別の難しさに対処するために設計された新しいベンチマークであるCHALIS(Challenging Language Identification Samples)を提案する。 まず、相互に理解可能な言語ペア(チェコ語/スロベニア語/スペイン語/カタラン語/ポルトガル語/ガリシア語/デンマーク語/ノルウェー語)で共有された文を収集しました。 第二部では、複数のスクリプトにまたがってテキストを翻訳し、ダイアクリティカルを除去し、ホモグリフ攻撃をシミュレートし、インターネットスラングを使用する。 我々は,CHALIS上で広く使用されている4つの言語識別システムを評価し,これらのシナリオにおいて,特に従兄弟組内の低リソース言語や翻訳入力において,全ての言語が実質的に苦労していることを示す。 リソースはhttps://huggingface.co/datasets/michal-tichy/CHALISで公開されている。

関連論文リスト

• MUSCAT: MUltilingual, SCientific ConversATion Benchmark [60.87925076316812]
  多言語音声技術の目標は、異なる言語を話す個人間のシームレスなコミュニケーションを容易にすることである。 この経験を生み出すためには、音声技術は、混合多言語入力、特定の語彙、コードスイッチングといったいくつかの課題に対処する必要がある。 本稿では,これらの課題に対処できるかどうかを問う,現在の音声認識(ASR)システムを評価するための新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2026-04-17T10:39:01Z)
• ILID: Native Script Language Identification for Indian Languages [0.0]
  言語識別のコア課題は、ノイズの多い、短い、そしてコード混在した環境で言語を区別することにある。 英語を含む23の言語と、その言語識別子をラベル付けした22の公用語からなる250K文のデータセットをリリースする。 我々のモデルは、言語識別タスクのための最先端の訓練済みトランスフォーマーモデルより優れています。
  論文  参考訳（メタデータ） (2025-07-16T01:39:32Z)
• Script-Agnostic Language Identification [21.19710835737713]
  コンカニ語、カシミリ語、パンジャービ語などの現代語は、複数の文字で同期的に書かれている。 いくつかの異なる実験手法を用いて,スクリプトに依存しない表現の学習を提案する。 単語レベルのスクリプトランダム化と複数のスクリプトで書かれた言語への露出は、下流のスクリプトに依存しない言語識別に非常に有用である。
  論文  参考訳（メタデータ） (2024-06-25T19:23:42Z)
• Script Normalization for Unconventional Writing of Under-Resourced Languages in Bilingual Communities [36.578851892373365]
  ソーシャルメディアは言語的に表現されていないコミュニティに、彼らの母国語でコンテンツを制作する素晴らしい機会を与えてきた。 本稿では、主にペルソ・アラビア文字で書かれたいくつかの言語に対するスクリプト正規化の問題に対処する。 各種ノイズレベルの合成データと変圧器モデルを用いて, この問題を効果的に再現できることを実証した。
  論文  参考訳（メタデータ） (2023-05-25T18:18:42Z)
• LIMIT: Language Identification, Misidentification, and Translation using Hierarchical Models in 350+ Languages [27.675441924635294]
  現在のシステムは世界の7000の言語の大部分を正確に識別することはできない。 まず、350以上の言語で50Kの多言語・並列児童話のコーパスMCS-350をコンパイルする。 言語識別のための新しい誤予測分解階層モデル LIMIt を提案する。
  論文  参考訳（メタデータ） (2023-05-23T17:15:43Z)
• READIN: A Chinese Multi-Task Benchmark with Realistic and Diverse Input Noises [87.70001456418504]
  我々は、Realistic and Diverse Input Noisesを用いた中国のマルチタスクベンチマークREADINを構築した。 READINには4つの多様なタスクとアノテータが含まれており、Pinyin入力と音声入力という2つの一般的な中国語入力方式で元のテストデータを再入力するよう要求する。 我々は、強化された事前訓練された言語モデルと、堅牢なトレーニング手法を用いて実験を行い、これらのモデルがREADINに顕著な性能低下を被ることがしばしば見いだされた。
  論文  参考訳（メタデータ） (2023-02-14T20:14:39Z)
• Speech-to-Speech Translation For A Real-world Unwritten Language [62.414304258701804]
  本研究では、ある言語から別の言語に音声を翻訳する音声音声翻訳(S2ST)について研究する。 我々は、トレーニングデータ収集、モデル選択、ベンチマークデータセットのリリースからエンドツーエンドのソリューションを提示します。
  論文  参考訳（メタデータ） (2022-11-11T20:21:38Z)
• ASR2K: Speech Recognition for Around 2000 Languages without Audio [100.41158814934802]
  対象言語に音声を必要としない音声認識パイプラインを提案する。 私たちのパイプラインは、音響、発音、言語モデルという3つのコンポーネントで構成されています。 我々は、1909年の言語をCrubadanと組み合わせて、大きな絶滅危惧言語n-gramデータベースを構築した。
  論文  参考訳（メタデータ） (2022-09-06T22:48:29Z)
• Challenge Dataset of Cognates and False Friend Pairs from Indian Languages [54.6340870873525]
  コニャートは異なる言語で同じテキストの複数の変種に存在する。 本稿では,12言語を対象とした2つのコグネートデータセットの作成について述べる。
  論文  参考訳（メタデータ） (2021-12-17T14:23:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。