論文の概要: OpenTWBench (Open Taiwan Benchmark): Taiwan-Domain Knowledge Evaluation for Large Language Models, and How the Measurement Apparatus Shapes the Score
- arxiv url: http://arxiv.org/abs/2610.19848v1
- Date: Wed, 14 Oct 2026 09:18:47 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:16.066586
- Title: OpenTWBench (Open Taiwan Benchmark): Taiwan-Domain Knowledge Evaluation for Large Language Models, and How the Measurement Apparatus Shapes the Score
- Title（参考訳）: OpenTWBench (Open Taiwan Benchmark): 台湾の大規模言語モデルの知識評価と測定装置のスコア形成方法
- Abstract要約: 本稿では,大規模言語モデルにおける台湾ドメイン知識のオープン評価スイートであるOpenTWBenchを紹介する。
Tw-exam-benchには、台湾の試験の15年間の公開データから、148人を対象に255,854の4項目の質問が含まれている。
tw-formosa-benchには1,696の難問が含まれている。
- 参考スコア（独自算出の注目度）: 2.270901425955459
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: We present OpenTWBench, an open evaluation suite for Taiwan-domain knowledge in large language models, built around two benchmarks. tw-exam-bench contains 255,854 four-option questions across 148 academic subjects, from fifteen years of Taiwan's national examinations published as open data by the Ministry of Examination; answer keys agree across 31,312 duplicated question groups at 99.91%, with all 27 disagreements accounted for. A reviewed second pass withdrew 2,180 items whose stems depend on a figure the text does not carry; all scores use the remaining 253,674. tw-formosa-bench contains 1,696 difficulty-curated questions about everyday and contemporary Taiwan - the Taiwan that licensing examinations never ask about - generated from a community-curated corpus under a discipline in which no model writes a ground truth, and curated against a frozen seven-model pool so that the pool scored at the passing margin (46.9-74.6%, median ~54%); a leave-one-out experiment shows the selection preserves model ranking (near-zero bias). Within six weeks the frontier had cleared that band: of 108 models now on the public board, 22 score above its ceiling, the best 91.6%. We also document how much of a score comes from the apparatus rather than the model. On identical questions, switching answer extraction from pattern matching to an explicit \boxed{} answer moves accuracy from 20.8% to 93.9%; a single placeholder character in a system prompt moved one model from last (58.2%) to first (83.9%) on the same benchmark; doubling the thinking budget from 8k to 16k tokens bought 0.2% while shuffling which questions failed; and a three-judge validation panel proved to be one judge in disguise, two members approving 92-99% of everything shown. We release all datasets, per-item difficulty data, curation manifests and a leaderboard at https://opentwbench.ai
- Abstract（参考訳）: 2つのベンチマークに基づいて構築された大規模言語モデルにおける台湾ドメイン知識のオープン評価スイートであるOpenTWBenchを提案する。
tw-exam-benchには、台湾の試験の15年間の公開データから、148人の被験者に255,854の4項目の質問が含まれており、回答キーは、99.91%で31,312の重複した質問グループに一致しており、27の意見の一致が全て説明されている。
レビューされた2番目のパスは、テキストが持たない図形に依存している2180のアイテムを取り下げ、残りの253,674のスコアを使用する。
Tw-formosa-benchには、日常や現代台湾に関する1,696の難解な質問が含まれている。台湾は、モデルが真実を書かない規律の下で、コミュニティが作成したコーパスから生成し、凍結した7モデルプール(46.9-74.6%、中央値54%)に対して硬化し、選択がモデルランキング(ほぼゼロバイアス)を保っていることを示している。
6週間以内にフロンティアはバンドをクリアし、108台のモデルが公開委員会で22得点、91.6%の最高スコアを記録した。
また、モデルではなく装置から得られるスコアの量も文書化しています。
同じ質問に対して、パターンマッチングから明示的な \boxed{} 回答への解答の切り替えは精度20.8%から93.9%に、システム内の1つのプレースホルダーキャラクタは同じベンチマークで1つのモデル(58.2%)から1番目のモデル(83.9%)に移行した。
すべてのデータセット、イテム毎の難易度データ、キュレーションマニフェスト、およびリーダボードをhttps://opentwbench.aiでリリースしています。
関連論文リスト
- Knowing the Rules, Applying the Rules: Evaluating Language Models on Traditional Chinese Bazi [3.9284118537921273]
ドメイン・ルールを知ることはケースに適用することを保証しません。
従来の中国語のバチ語では、3000の中国語の多重選択質問を通してこの区別を研究している。
理論精度はあらゆるシステムのケース精度を超える。
論文 参考訳（メタデータ） (2026-10-05T01:50:02Z) - NegT2IBench: When Negation Changes the Picture. A Polarity Benchmark for Text-to-Image Models [42.95507596219371]
我々は2つの属性タイプと4つの関係カテゴリをカバーする4,800のプロンプトのベンチマークであるNegT2IBenchを紹介した。
私たちの検出器に基づくスコアは再現可能で、監査可能で、要求が失敗したピンポイントです。
論文 参考訳（メタデータ） (2026-10-02T10:03:56Z) - HakemBench: A Turkish Benchmark of Typed Decisions [0.0]
HakemBenchは、テスト対象のモデルがテキスト、質問、固定されたオプションセットを読み取って、すべてのオプションの確率を返す型決定のベンチマークである。
バージョン1.0はCC BY 4.0で完全に公開されており、2,346の項目と4,275の選択肢、ye/no、スコアの7つのトラックがある。
論文 参考訳（メタデータ） (2026-10-01T16:55:18Z) - Whose Gold? Annotator-Pool Disagreement Is Large at the Item Level, and Hidden by Small Leaderboards [0.0]
評価ベンチマークはアノテータの採用によって構築され、それらのアノテータの同一性は実装の詳細として扱われる。
2,885件のMultiPrefアイテムには、両方のプールが全会一致で配置されているため、ネクタイ破りのコンベンションは一切ない。
しかし、両方のコーパスでは、結果のモデルリーダーボードはビット識別される: Kendall tau = 1.00 で、6つのモデルのうちゼロが置き換えられる。
論文 参考訳（メタデータ） (2026-08-17T00:19:52Z) - Gated Against One Model, Open to the Next: Option-Only Solvability in Legal Multiple-Choice Benchmarks [0.0]
複数選択のベンチマークは、モデルが正しい選択肢を選ぶかどうか、質問が必要なかどうかで評価される。
UA-JudgeExam: 11,990件の4つのオプション項目を公式キーで測定し、ウクライナの高等審査委員会(Higher Qualification Commission of Judges)が公表した。
11.8%のアイテムは、偶然に予想される0.2項目に対して、8つのオプションのすべてで盲目で答えられる。
論文 参考訳（メタデータ） (2026-08-15T22:11:00Z) - The Model as One Rater Among Several: Measuring Political Positions in Data-Sparse Regions with a Language-Model Panel [0.0]
パネルと、空白とゼロのスコアを区別する適用性ルールと、アクターが何をするかを区別するレンズシステムについて説明する。
私は、まだ欠落している人間のバリデーションを含め、このメソッドができないことを平気で考え、楽器とデータをフルにリリースします。
論文 参考訳（メタデータ） (2026-06-22T08:48:50Z) - CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。
モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
論文 参考訳（メタデータ） (2026-06-02T13:41:43Z) - Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。
すべてのモデルはヒンディー語で最小の精度を達成する。
原因ではなく検索は エラーの70%以上を 引き起こします
論文 参考訳（メタデータ） (2026-05-21T17:42:07Z) - GIM: Evaluating models via tasks that integrate multiple cognitive domains [42.01371688303606]
Grounded Integration Measureは、820のオリジナルの問題のベンチマークである。
それぞれの問題は、オリジナルの専門家による作曲である。
バランスのとれた公民分離は、汚染診断を内蔵する。
論文 参考訳（メタデータ） (2026-05-18T17:09:50Z) - Exploring Response Uncertainty in MLLMs: An Empirical Evaluation under Misleading Scenarios [49.53589774730807]
マルチモーダル大規模言語モデル(MLLM)は近年,視覚的質問応答から映像理解に至るまでのタスクにおいて,最先端のパフォーマンスを実現している。
12件のオープンソースMLLMが, 単一の偽装キューを受けた65%の症例において, 既往の正解を覆した。
論文 参考訳（メタデータ） (2024-11-05T01:11:28Z) - Common 7B Language Models Already Possess Strong Math Capabilities [61.61442513067561]
本稿では,LLaMA-2 7Bモデルと事前学習を併用したモデルが,すでに強力な数学的能力を示していることを示す。
拡張スケーリングの可能性は、公開されている数学の質問の不足によって制限されている。
論文 参考訳（メタデータ） (2024-03-07T18:00:40Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。