論文の概要: HakemBench: A Turkish Benchmark of Typed Decisions

• arxiv url: http://arxiv.org/abs/2610.02293v1
• Date: Thu, 01 Oct 2026 16:55:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 00:14:30.030276
• Title: HakemBench: A Turkish Benchmark of Typed Decisions
• Title（参考訳）: HakemBench: トルコの型付け決定ベンチマーク
• Abstract要約: HakemBenchは、テスト対象のモデルがテキスト、質問、固定されたオプションセットを読み取って、すべてのオプションの確率を返す型決定のベンチマークである。 バージョン1.0はCC BY 4.0で完全に公開されており、2,346の項目と4,275の選択肢、ye/no、スコアの7つのトラックがある。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: HakemBench is a Turkish benchmark of typed decisions, in which the model under test reads a text, a question and a fixed set of options and returns a probability for every option. Version 1.0 is released fully open under CC BY 4.0, with 2,346 items and 4,275 choice, yes/no and score questions in seven tracks (fact-check triage, education, guardrails, legal routing, moderation, spam and phishing, and customer support). One harness scores decision quality (macro F1), calibration (from the normalised Brier score) and selective automation (from the normalised area under the generalised risk-coverage curve), combines them by a geometric mean and reports intervals from 2,000 bootstrap draws; probes for option order, paraphrase, English translation and substituted names are reported alongside. Most gold labels come from blind passes of one AI model family compared with the votes of a panel of large language models from other model families; they are not human-verified. On a board of 16 rows the leader scores a composite of 0.888 and the lab's own model is 7th at 0.660. Its numbers are not blind. Earlier runs' test results shaped its training data, so its guardrail, moderation and customer support numbers are flagged; with every model scored on the other four tracks only, its composite is 0.678, 6th of 16.
• Abstract（参考訳）: HakemBenchはトルコの型付け決定ベンチマークで、テスト対象のモデルがテキスト、質問、固定されたオプションセットを読み取って、すべてのオプションの確率を返す。 バージョン1.0はCC BY 4.0で完全に公開されており、2,346の項目と4,275の選択肢、イエス/ノーとスコアの7つのトラック(ファクトチェックトリアージ、教育、ガードレール、法的ルーティング、モデレーション、スパムとフィッシング、顧客サポート)が提供されている。 1つのハーネスは、判定品質(macro F1)、キャリブレーション(正規化されたブライアスコアからのキャリブレーション)、選択的自動化(一般化されたリスク被覆曲線の下で正規化された領域から)、幾何平均でそれらを組み合わせ、2000個のブートストラップドローから間隔を報告し、オプション順、パラフレーズ、英訳、置換された名前のプローブを同時に報告する。 ほとんどの金のラベルは、あるAIモデルファミリーの盲目パスによるもので、他のモデルファミリーの大規模言語モデルのパネルの投票結果と比較される。 16行のボード上では、リーダーは0.888の合成スコアを獲得し、実験室のモデルは0.660で7位である。 その数字は盲目ではない。 初期のテスト結果はトレーニングデータを形成するため、ガードレール、モデレーション、カスタマーサポート番号はフラグ付けされている。

関連論文リスト

• Evaluating and Benchmarking the System One Model Jev [1.579162290333307]
  Jevは、テキストを生成しないTypeSafe AIのSystem Oneモデルである。 固定オプション、ルーブリック上の位置、あるいは文が真である確率から選択を返す。 分類,ルーティング,自然言語推論,読解,コモンセンス推論,モデレーション,法的条項解析,ルーリックスコアリングにまたがる37のデータセットに対して,Jevゼロショットを評価した。
  論文  参考訳（メタデータ） (2026-09-29T14:15:04Z)
• JevAdvBench: A Benchmark and Black-Box Attacks for Reinforcement Learning for Calibrated Decisions Models [25.5874772119945]
  JevAdvBench は RLCD モデルの最初の敵対的ベンチマークである。 ラベルではなく、モデル自身のクリーンな決定に対して攻撃された各決定をスコア付けし、同じ再実行による変更に対して読み取る。 Jev-1.13.0では、リワードは再実行ベースラインの1.2パーセント以内に留まり、スキーマ外のフィールドはモデルに到達しない。
  論文  参考訳（メタデータ） (2026-09-25T11:32:19Z)
• In the Blind: Building Pseudo-References for MT Evaluation [13.520781915901233]
  WMT26の一般MTタスクは、人間の参照を持たない10の言語対のシステムを評価する。 これらのペアと他の6つの言語ペアに対して、擬似参照を構築する方法について説明する。 我々は、すべての参照の選択方法と、すべての参照の証明を公表する。
  論文  参考訳（メタデータ） (2026-09-11T23:54:29Z)
• Marginal Fidelity Does Not Establish User Simulation in Demographic Synthetic Survey Panels: Response Contracts, Support Collapse and Conditioning Failure [51.736723807086385]
  人口密着協定は、個別のシミュレーションの証拠ではなく、エスカレーション契約の証拠であり、シミュレーションされた回答者なしで得られる推定値である。 9つのアライメントされたモデルバッテリペアでは、非個人個体数のクエリの平均は6.27 MAE対12.39であり、9つの比較すべてで勝利する。
  論文  参考訳（メタデータ） (2026-09-07T10:22:22Z)
• Right Frame, Wrong Rule: Cultural Cues Expose the Financial Knowledge Gap They Were Meant to Close [57.963463622270275]
  イスラム金融における規範的多元主義を4つの分類法を用いて研究する。 文化的キューは1つのフレームワークに向かってモデルを操縦するが、そのモデルはそのフレームワーク内で間違った答えを選択する。
  論文  参考訳（メタデータ） (2026-09-01T09:46:53Z)
• FlavourBench: Executable Culinary Reward Maps for Language Model Evaluation and Post-Training [0.0]
  オープンエンド言語モデル評価は、欠落した応答キーに対して、他のモデルや小さな選好パネルの代わりに行われることが多い。 FlavourBenchを導入し、バージョン付き料理環境から高密度な回答マップをコンパイルする。 同じ534の置換、ペアリング、制約タスク上で27のフロンティアエンドポイントを評価し、14,418の完全なモデルタスク観測結果を得た。
  論文  参考訳（メタデータ） (2026-08-20T21:14:52Z)
• Gated Against One Model, Open to the Next: Option-Only Solvability in Legal Multiple-Choice Benchmarks [0.0]
  複数選択のベンチマークは、モデルが正しい選択肢を選ぶかどうか、質問が必要なかどうかで評価される。 UA-JudgeExam: 11,990件の4つのオプション項目を公式キーで測定し、ウクライナの高等審査委員会(Higher Qualification Commission of Judges)が公表した。 11.8%のアイテムは、偶然に予想される0.2項目に対して、8つのオプションのすべてで盲目で答えられる。
  論文  参考訳（メタデータ） (2026-08-15T22:11:00Z)
• CoEval: Ranking Language Models for Custom Tasks Without Labeled Data or Trustworthy Benchmarks [47.027290803102666]
  アンサンブル自己評価を通じて信頼性の高いタスク固有信号を提供するオープンフレームワークであるCoEvalを提案する。 モデルのプールは教師、学生、裁判官の3つの役割すべてを通して回転し、新鮮な汚染のないベンチマークを生成する。
  論文  参考訳（メタデータ） (2026-06-02T13:41:43Z)
• Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
  ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。 すべてのモデルはヒンディー語で最小の精度を達成する。 原因ではなく検索は エラーの70%以上を 引き起こします
  論文  参考訳（メタデータ） (2026-05-21T17:42:07Z)
• The FACTS Leaderboard: A Comprehensive Benchmark for Large Language Model Factuality [70.45240108873001]
  FACTS Leaderboardは、実際に正確なテキストを生成する言語モデルの能力を総合的に評価するオンラインのリーダーボードスイートである。 このスイートは、4つの異なるサブリーダーボード上でのモデルのパフォーマンスを集約することで、事実性の総合的な尺度を提供する。
  論文  参考訳（メタデータ） (2025-12-11T16:35:14Z)
• Perception Test: A Diagnostic Benchmark for Multimodal Video Models [78.64546291816117]
  本稿では,事前学習したマルチモーダルモデルの知覚と推論能力を評価するために,新しいマルチモーダルビデオベンチマークを提案する。 知覚テストは、スキル(記憶、抽象化、物理学、セマンティックス)と、ビデオ、オーディオ、テキストモダリティ間の推論(記述的、説明的、予測的、反ファクト的)のタイプに焦点を当てている。 このベンチマークは、ゼロショット/少数ショットまたは限定的な微調整方式で、転送機能の事前訓練されたモデルを探索する。
  論文  参考訳（メタデータ） (2023-05-23T07:54:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。