論文の概要: One Threshold Does Not Fit All Languages: Language-Conditional Deferral for Reliable and Efficient Low-Resource Text Classification

• arxiv url: http://arxiv.org/abs/2609.37861v1
• Date: Tue, 29 Sep 2026 15:45:33 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-30 21:28:47.704365
• Title: One Threshold Does Not Fit All Languages: Language-Conditional Deferral for Reliable and Efficient Low-Resource Text Classification
• Title（参考訳）: One Thresholdはすべての言語に適合しない:信頼性と効率的な低リソーステキスト分類のための言語定義デフェデラル
• Abstract要約: 世界南部、アフリカ、アジア、ラテンアメリカの低所得国では、世界の言語の大半が話されている。 約束がすべての言語に届くかどうか尋ねるが、そうではない。 言語ごとのしきい値の推定では、すべての言語が再訓練せずに89.1%から91.0%に到達している。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In the Global South, the lower-income countries of Africa, Asia, and Latin America where most of the world's languages are spoken, a deployed text classifier usually runs on ordinary CPUs, serves many languages with a single model, has few labeled examples in any of them, and relies on people to catch its mistakes. Such a system is only useful if it can promise how often it will be wrong: at most a fixed fraction of the labels it assigns on its own may be incorrect, and everything else must go to a person. Split conformal prediction delivers this promise through a single confidence threshold, normally estimated on validation data pooled across languages. We ask whether the promise reaches every language, and it does not. On MasakhaNEWS (16 African languages) and AfriSenti (12 languages plus two never seen in training), a pooled threshold meets the 90% target on average but covers Somali at 77.5%, Tigrinya at 83.7%, and the two unseen languages at 77.5% and 81.2%. Estimating one threshold per language brings every language to between 89.1% and 91.0% without retraining, and it shows how unequal the cost of the promise is: keeping it means sending 43% of Somali news and over 80% of Amharic and Xitsonga tweets to a person, against under 8% of Nigerian Pidgin news. One or two hundred labels per language are enough and the models train in minutes on one CPU core, so the fix is affordable: calibrate, report, and budget human review one language at a time.
• Abstract（参考訳）: 世界のほとんどの言語が話されているアフリカ、アジア、ラテンアメリカの低所得国であるグローバル・サウスでは、デプロイされたテキスト分類器は通常のCPU上で動作し、単一のモデルで多くの言語を提供する。 そのようなシステムは、どの程度の頻度で間違いを犯すかを約束できる場合にのみ有用である。 分割整合予測は、言語にまたがる検証データに基づいて、単一の信頼しきい値を通じて、この約束を果たす。 約束がすべての言語に届くかどうか尋ねるが、そうではない。 マサハネWS(アフリカの言語16か国語)とアフリセンティ(訓練中の12か国語と2か国語2か国語)では、プールされた閾値は平均で90%の目標を満たすが、ソマリ語は77.5%、ティグリニャ語は83.7%、そして2つの未確認言語は77.5%と81.2%である。 言語ごとのしきい値を推定すると、すべての言語が再訓練なしで89.1%から91.0%に到達し、約束のコストが不平等であることが示される: ナイジェリアのピジンのニュースの8%以下に対して、ソマリ語ニュースの43%とアンハール語とキトソンガのツイートの80%を送信していることを意味する。 1言語あたり100から200のラベルが十分であり、モデルは1つのCPUコアで数分でトレーニングされる。

関連論文リスト

• How Many Labels Does a Language Need? Annotation Budgets and Cross-Lingual Pooling for African-Language Text Classification [0.0]
  我々は,2つのCPUコア上で,事前トレーニングされた重みを伴わず,アクセラレーションを伴わない,数秒でトレーニングする特性n-gram線形モデルを用いている。 トピック分類は全データマクロF1の90%に到達し、中央言語で約400のラベルを持つことを示す。 ベンチマークで他の言語の完全なトレーニングデータをポーリングすることは、小さな予算で、大きなものでは何の役にも立たない。
  論文  参考訳（メタデータ） (2026-09-29T15:54:30Z)
• The Curse of Multilinguality in Lexical Normalization [0.0]
  一般的なショートカットは、一度に複数の言語で単一のモデルをトレーニングすることである。 そのようなモデルをトレーニングすべき言語はいくつあるのか? 言語が他でのみトレーニングされている場合、正確性が最も高いのです。
  論文  参考訳（メタデータ） (2026-08-27T22:48:02Z)
• On the Off-Target Problem of Zero-Shot Multilingual Neural Machine Translation [104.85258654917297]
  識別対象言語信号の符号化に失敗すると、オフターゲットとなり、語彙距離が近くなることが判明した。 多言語語彙構築のための言語認識語彙共有(LAVS)を提案する。 我々は11言語で多言語機械翻訳ベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T12:43:31Z)
• Detecting Languages Unintelligible to Multilingual Models through Local Structure Probes [15.870989191524094]
  我々は、言語間モデルでよく理解されていない言語を検出するために、未理解のテキストのみを必要とする一般的なアプローチを開発する。 我々のアプローチは、もしモデルの理解が言語のテキストに対する摂動に無関心であるなら、その言語について限られた理解を持つ可能性が高いという仮説から導かれる。
  論文  参考訳（メタデータ） (2022-11-09T16:45:16Z)
• No Language Left Behind: Scaling Human-Centered Machine Translation [69.28110770760506]
  低レベルの言語と高レベルの言語のパフォーマンスギャップを狭めるためのデータセットとモデルを作成します。 何千ものタスクをトレーニングしながらオーバーフィッティングに対処するために,複数のアーキテクチャとトレーニングの改善を提案する。 本モデルでは,従来の最先端技術と比較して,BLEUの44%の改善を実現している。
  論文  参考訳（メタデータ） (2022-07-11T07:33:36Z)
• Language Contamination Explains the Cross-lingual Capabilities of English Pretrained Models [79.38278330678965]
  一般的な英語事前学習コーパスには、かなりの量の非英語テキストが含まれていることが判明した。 これにより、大規模なデータセットで数十億の外国語トークンが生成される。 そして、これらの少数の非英語データでさえ、それらに基づいて訓練されたモデルの言語間移動を促進することを実証する。
  論文  参考訳（メタデータ） (2022-04-17T23:56:54Z)
• \`It\`ak\'ur\`oso: Exploiting Cross-Lingual Transferability for Natural Language Generation of Dialogues in Low-Resource, African Languages [0.9511471519043974]
  本研究では,最先端のモノリンガルモデル(SoTA)から6つのアフリカ語への言語間移動の可能性について検討する。 言語はスワヒリ語、ヴロフ語、ハウサ語、ナイジェリア語、ピジン語、キンヤルワンダ語、ヨルバ語である。 結果は、深い単言語モデルが言語にまたがって一般化する抽象性を学ぶという仮説が成り立つことを示している。
  論文  参考訳（メタデータ） (2022-04-17T20:23:04Z)
• Towards Zero-shot Learning for Automatic Phonemic Transcription [82.9910512414173]
  より難しい問題は、トレーニングデータをゼロにする言語のための音素変換器を構築することだ。 我々のモデルは、トレーニングデータなしで、ターゲット言語で見知らぬ音素を認識できる。 標準的な多言語モデルよりも平均して7.7%の音素誤り率を実現している。
  論文  参考訳（メタデータ） (2020-02-26T20:38:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。