論文の概要: One Confidence Threshold, Unequal Coverage: Language Gaps in Typed Decision Interfaces and How Translating Inputs Reduces Them

• arxiv url: http://arxiv.org/abs/2610.37688v1
• Date: Sat, 17 Oct 2026 21:53:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-02 06:06:26.164132
• Title: One Confidence Threshold, Unequal Coverage: Language Gaps in Typed Decision Interfaces and How Translating Inputs Reduces Them
• Title（参考訳）: 信頼のしきい値、不等被覆:型決定インタフェースにおける言語ギャップと入力の翻訳がテーマを減らせる方法
• Abstract要約: 一つのしきい値が全ての言語に等しく型付き決定インターフェースを提供するかどうかを問う。 3つのベンダーのインターフェースは、それぞれ51言語で1000項目を分類し、閾値は0.9。 英語版では、平均で8.6-11.7ポイント、より頻繁に閾値をクリアする。
• 参考スコア（独自算出の注目度）: 5.487698651599371
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deployed classifiers often act on a prediction only when its confidence clears a threshold and pass the rest to a person. We ask whether one threshold serves all languages equally on typed decision interfaces, APIs that return a probability for each option of a fixed multiple-choice question. In a confirmatory study with a written analysis plan, three vendors' interfaces classified 1,000 MASSIVE items, each in 51 languages, with a threshold of 0.9. Even when a request is answered correctly in both English and another language, the English version clears the threshold more often, by 8.6-11.7 percentage points on average. Observed coverage, the share of requests handled automatically, is lower than English's in every other language, while the requests the gate handles are rarely wrong. The gap remains when every language is reweighted to the same accuracy, and a standard calibration metric (ECE) does not detect it on one interface. In exploratory analyses, English's coverage stays higher when each language gets its own threshold fitted to the same 5% error target. Translating inputs into English nearly closes the gap at 0.9 but leaves English ahead at that error target. Requests written natively in African languages show a gap in the same direction when English is their human translation. We recommend reporting per-language coverage at the operating threshold.
• Abstract（参考訳）: デプロイされた分類器は、信頼度が閾値をクリアし、残りを人に渡す場合にのみ、予測を行う。 1つのしきい値が、固定された複数の質問のそれぞれのオプションの確率を返すAPIである、型付き決定インターフェイス上で、すべての言語に等しく機能するかどうかを問う。 分析計画書による確認調査では、3つのベンダーのインターフェースが1,000のMASSIVE項目を51言語で分類し、閾値は0.9。 ある要求が英語と他の言語の両方で正しく答えられたとしても、英語版では平均8.6～11.7ポイントの閾値がより頻繁にクリアされる。 監視対象のカバレッジは、自動的に処理されるリクエストのシェアは、他のすべての言語の英語よりも低いが、ゲートが処理するリクエストは、ほとんど間違っていない。 ギャップは、すべての言語が同じ精度で重み付けされ、標準校正基準(ECE)が1つのインターフェイスでそれを検出しないときに残る。 探索的な分析では、各言語が同じ5%のエラーターゲットに適合した場合、英語のカバレッジは高いままである。 インプットを英語に翻訳すると、0.9の差はほぼ閉じるが、英語はそのエラーターゲットに先んじる。 アフリカ語でネイティブに書かれた要求は、英語が人間の翻訳である場合と同じ方向の差を示している。 運用しきい値における言語ごとのカバレッジの報告を推奨します。

関連論文リスト

• Disentangling Question, Response, and Verifier Languages in Multilingual P(True) Self-Evaluation [8.902793668615567]
  言語モデルが正しいかどうかを問うと、3つの言語が関係する。 信頼評価は3つをほとんど区別しない。 オープンウェイトモデルが10つある6言語による因子的設計では、それぞれ独立して異なる。
  論文  参考訳（メタデータ） (2026-10-23T04:20:43Z)
• Output Language Confusion under Multilingual Prompt Contamination [1.0139836117407375]
  軽量かつ完全に複製可能な評価プロトコルであるMDI(Multilingual Distractor Interference)を導入する。 TortfulQA と TriviaQA にまたがる5つの命令調整 LLM を8つの障害条件下で評価した。 Llama-3.1-8Bはヒンディー語に注意を払い、反応の58%はデバナガリ文字に切り替え、生の幻覚のプロキシは0.710である。
  論文  参考訳（メタデータ） (2026-10-02T07:16:48Z)
• Choosing the Right Language Mode at Inference Time for Multilingual Reliability [3.6095388702618405]
  大規模な言語モデルは、低級から中級の言語では推論に苦慮することが多い。 以前の研究によると、翻訳は、より強い英語中心の表現へのアクセスを支援することで、多言語推論を改善することができる。 これは、多言語の大言語モデルが確実に推論するためにどのくらいの翻訳が必要かという、中心的な疑問を提起する。
  論文  参考訳（メタデータ） (2026-09-04T02:36:26Z)
• Multilingual Verifier Bias in RLVR: Benchmark, Rollout Diagnosis, and the Cross-Lingual Selection Bottleneck [6.406377225565017]
  正確なマッチング検証器は、形式とスクリプトのバリエーションを言語依存の偽陰性報酬雑音に変換する。 マルチリンガルなRLVR報酬を監査するための再利用可能なプロトコルを提案する。
  論文  参考訳（メタデータ） (2026-06-17T15:55:54Z)
• Unlikelihood Tuning on Negative Samples Amazingly Improves Zero-Shot Translation [79.96416609433724]
  Zero-shot Translation (ZST)は、トレーニングデータにおいて、目に見えない言語ペア間の翻訳を目的としている。 推論中にゼロショット言語マッピングをガイドする一般的な方法は、ソースとターゲット言語IDを意図的に挿入することである。 近年の研究では、言語IDが時折ZSTタスクのナビゲートに失敗し、ターゲット外問題に悩まされることが示されている。
  論文  参考訳（メタデータ） (2023-09-28T17:02:36Z)
• On the Off-Target Problem of Zero-Shot Multilingual Neural Machine Translation [104.85258654917297]
  識別対象言語信号の符号化に失敗すると、オフターゲットとなり、語彙距離が近くなることが判明した。 多言語語彙構築のための言語認識語彙共有(LAVS)を提案する。 我々は11言語で多言語機械翻訳ベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2023-05-18T12:43:31Z)
• Delving Deeper into Cross-lingual Visual Question Answering [115.16614806717341]
  標準学習装置に簡単な修正を加えることで、モノリンガル英語のパフォーマンスへの移行ギャップを大幅に減らすことができることを示す。 多言語マルチモーダル変換器の多言語間VQAを多言語間VQAで解析する。
  論文  参考訳（メタデータ） (2022-02-15T18:22:18Z)
• AdaVQA: Overcoming Language Priors with Adapted Margin Cosine Loss [73.65872901950135]
  本研究は,特徴空間学習の観点から,言語先行問題に挑戦する試みである。 適応したマージンコサイン損失は、頻繁でスパースな回答特徴空間を区別するように設計されている。 実験の結果, 適応したマージンコサイン損失はベースラインモデルを大きく向上できることがわかった。
  論文  参考訳（メタデータ） (2021-05-05T11:41:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。