論文の概要: Calibration and Conformal Prediction for Medical Question Answering in Arabic and English: Evidence from Two Non-Parallel Benchmarks
- arxiv url: http://arxiv.org/abs/2611.16821v1
- Date: Thu, 12 Nov 2026 13:57:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.482551
- Title: Calibration and Conformal Prediction for Medical Question Answering in Arabic and English: Evidence from Two Non-Parallel Benchmarks
- Title(参考訳): アラビア語と英語における医学的質問応答の校正とコンフォーマル予測:2つの非パラレルベンチマークによる証拠
- Abstract要約: 大規模言語モデル (LLM) は、医学試験の質問に対してますますテストされている。
精度は、Qwenは0.561、Qwenは0.430、Jaisは0.369、0.308である。
自信のある質問は20%しか答えず、クウェンの英語の誤りは0.439から0.098に下がった。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Large language models (LLMs) are increasingly tested on medical exam questions, but accuracy alone does not show when an answer can be trusted. I study the calibration and uncertainty of two open-weight models, Qwen2.5-7B-Instruct and Jais-adapted-7B-chat (both run in 4-bit precision), on 2,816 English multiple-choice questions from MedMCQA and 4,927 Arabic multiple-choice questions from MedAraBench. Accuracy was 0.561 (English) and 0.430 (Arabic) for Qwen, and 0.369 and 0.308 for Jais. Raw option probabilities were overconfident in all four settings (expected calibration error 0.242 to 0.486), and a single temperature parameter removed 82% to 93% of that error. Split conformal prediction reached its nominal coverage in all 24 settings I tested (within 0.006), but the sets were large when accuracy was low: at 90% coverage, temperature-scaled sets contained on average 63% (Qwen, English), 78% (Qwen, Arabic), 86% (Jais, English) and 89% (Jais, Arabic) of the options. The margin between the top two option probabilities separated correct from incorrect answers best for Qwen on English (AUROC 0.734) and worst for Jais on Arabic (0.579). Answering only the 20% most confident questions lowered Qwen's English error from 0.439 to 0.098. Jais showed a strong prior for option C (49% of English and 60% of Arabic predictions). Scoring Latin letters only cut the Arabic share to 29% but left accuracy, raw ECE and AUROC nearly unchanged. Because the two benchmarks differ in subject, level and number of options, I do not attribute differences between languages to language itself. Code is available at https://github.com/Mariyaaleem/arabic-english-medqa-uncertainty.
- Abstract(参考訳): 大規模言語モデル(LLM)は、医学試験の質問に対してますますテストされているが、正確性だけでは、回答が信頼できるかどうかを示さない。
I study the calibration and uncertainty of two open-weight model, Qwen2.5-7B-Instruct and Jais-adapted-7B-chat (どちらも4ビット精度で実行される) on 8,816 English multiple-choice questions from MedMCQA and 4,927 Arabic multiple-choice questions from MedAraBench。
精度は、Qwenは0.561、Qwenは0.430、Jaisは0.369、0.308である。
生のオプション確率は4つの設定(推定キャリブレーション誤差0.242から0.486)で過信され、その誤差の82%から93%の温度パラメータが除去された。
しかし、90%の精度では、平均63%(Qwen, English)、78%(Qwen, Arabic)、86%(Jais, English)、89%(Jais, Arabic)の温度スケールセットが含まれていた。
上位2つの選択肢の確率の間のマージンは、Qwen on English (AUROC 0.734) とJais on Arabic (0.579) の誤答と正しく区別されている。
自信のある質問は20%しか答えず、クウェンの英語の誤りは0.439から0.098に下がった。
ジャイアはオプションC(英語の49%、アラビア語の60%)に強い先行性を示した。
ラテン文字のスコーリングはアラビア語のシェアを29%に減らしたが、正確さを残し、ECEとAUROCはほとんど変わらない。
2つのベンチマークは、主題、レベル、オプションの数が異なるので、言語自体に違いがあるとは思いません。
コードはhttps://github.com/Mariyaaleem/arabic-english-medqa-uncertaintyで公開されている。
関連論文リスト
- Beyond Ranking: Are Decision Models Calibrated Relevance Scorers? [65.62439164527557]
Jevのような決定モデルは、新しいタイプの関連スコアラである。
タイプされたスコアプリミティブは、テキスト関連レベルと状態の順序付けられたセットの質問を受け、各レベルに対して確率を返す。
Jevのベンダーは、これらの確率が調整されることを約束します。
論文 参考訳(メタデータ) (2026-11-08T16:22:38Z) - Zuse: A Decision Model for European Languages [0.0]
決定モデルは文書を読み取って、テキストを生成する代わりに、固定されたオプションセットの確率を返す。
いくつかは2026年に登場したが、英語以外では発表されていない。
フリーズされたオープンウェイトベース上で低ランクアダプタとポインタヘッドをトレーニングする3つの決定モデルであるZuseについて説明する。
論文 参考訳(メタデータ) (2026-11-04T09:45:24Z) - XDecideBench: Evaluating Typed Decision Models and Confidence Policies Across Languages [0.00954904463032233]
XDecideBenchは122言語で9つのスイートのベンチマークである。
私たちの12言語スイートでは、3つのオープンモデルが型付けされた決定のために微調整され、すべての言語でQwenベースモデルを上回っました。
各スイートで最高の英語モデルは、後から選択され、約4分の1のスイートと言語の組み合わせで大幅に打ち負かされている。
論文 参考訳(メタデータ) (2026-11-01T00:11:15Z) - Swap, Replicate, Read the Mass: A Protocol for Auditing Demographic Bias in System One Decision Models [41.99844472131922]
システム1決定モデルは、テキスト生成を型付き、確率対応の回答に置き換え、生産に入る。
BBQ(全11カテゴリ)、CrowS-Pairs、SilverSpoonの3つのベンチマークを、型付きインターフェースに適合させる。
我々は、偏見よりも不安定性を追跡するような、広範囲なステレオタイプアライメント、秩序に依存した回答、信頼を見いだす。
論文 参考訳(メタデータ) (2026-10-31T00:36:15Z) - One Confidence Threshold, Unequal Coverage: Language Gaps in Typed Decision Interfaces and How Translating Inputs Reduces Them [5.487698651599371]
一つのしきい値が全ての言語に等しく型付き決定インターフェースを提供するかどうかを問う。
3つのベンダーのインターフェースは、それぞれ51言語で1000項目を分類し、閾値は0.9。
英語版では、平均で8.6-11.7ポイント、より頻繁に閾値をクリアする。
論文 参考訳(メタデータ) (2026-10-17T21:53:42Z) - ufakzeka-karar: An Open Turkish Typed-Decision Model with Order-Invariant Option Scoring [0.0]
ufakzeka-kararは182,494,466のパラメータを持つトルコのオープンな決定モデルである。
任意のオプションに対する温度スケールの確率と期待されるエラーを返します。
REINFORCEはマクロF1の10.2ポイント (0.102) をクロスエントロピーに損失した。
論文 参考訳(メタデータ) (2026-10-05T17:22:23Z) - Evaluating and Benchmarking the System One Model Jev [1.579162290333307]
Jevは、テキストを生成しないTypeSafe AIのSystem Oneモデルである。
固定オプション、ルーブリック上の位置、あるいは文が真である確率から選択を返す。
分類,ルーティング,自然言語推論,読解,コモンセンス推論,モデレーション,法的条項解析,ルーリックスコアリングにまたがる37のデータセットに対して,Jevゼロショットを評価した。
論文 参考訳(メタデータ) (2026-09-29T14:15:04Z) - Fair Fact-Checking: Closing the Cross-Lingual Gap in LLM Factual Judgement with RoSh [37.08044812250237]
英語はすべてのモデルで他のどの言語よりも優れていると判断され、その差は最小の言語よりも大きい。
3層で閉じた形で計算した残差ストリームの言語ごとのシフトと回転であるRoShを提案する。
Llama-3Bのアラビア語は偶然からほぼ英語のレベルへと変化し、英語で正しく答えられた主張のうち5分の1は翻訳で失われている。
論文 参考訳(メタデータ) (2026-09-28T09:08:47Z) - Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。
すべてのモデルはヒンディー語で最小の精度を達成する。
原因ではなく検索は エラーの70%以上を 引き起こします
論文 参考訳(メタデータ) (2026-05-21T17:42:07Z) - Linguini: A benchmark for language-agnostic linguistic reasoning [37.73108306825993]
本稿では,既存の言語固有の知識に頼らずに,言語モデルの言語推論スキルを測定するための新しいベンチマークを提案する。
このテストでは、75の(ほとんどが)極低リソース言語にわたる160の問題でグループ化された864の質問をカバーしている。
解析されたすべてのモデルが25%以下の精度でランク付けされているのに対して、オープンモデルとクローズドモデルの間には大きなギャップがある。
論文 参考訳(メタデータ) (2024-09-18T16:51:02Z) - How Can We Know When Language Models Know? On the Calibration of
Language Models for Question Answering [80.82194311274694]
言語モデルがいつ、自信を持って、特定のクエリに対する答えを知っているか、どのように知ることができるか?
我々は,T5,BART,GPT-2の3つの強力な生成モデルを検討した。
次に、そのようなモデルの校正方法を検討し、その信頼性スコアを正しさの確率と相関させる。
論文 参考訳(メタデータ) (2020-12-02T03:53:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。