論文の概要: Thumb on the scale: Using traditional wargaming adjudication practices to improve AI-judged evaluations and grading

• arxiv url: http://arxiv.org/abs/2610.32066v1
• Date: Fri, 23 Oct 2026 02:11:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-27 01:38:06.324891
• Title: Thumb on the scale: Using traditional wargaming adjudication practices to improve AI-judged evaluations and grading
• Title（参考訳）: スケールに関する恐怖:AIによる評価と評価を改善するために伝統的なウォーゲーム・アジュディケーション・プラクティスを使用する
• Abstract要約: オープンエンドのAI作業は、チェックする唯一の正しい回答を持っていないため、審査員(しばしば別のAI)がそれぞれの結果を決定する。 我々は,AIを応用した9つの競技の378人の選手の行動に対して,その判断方法である1つを検証した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Open-ended AI work has no single correct answer to check, so a judge, often another AI, decides each result. Research on these judges asks which AI to use and how to word the rubric. It rarely tests the procedure that the judge follows. Wargames have no correct answer either, and for two centuries the field has designed that procedure: named methods that set how much freedom the referee has, their known failures, and fixes. We map eleven wargaming practices onto AI evaluation failures. We test one, the adjudication method, on 378 player actions from nine games of an AI-refereed exercise. A player states its odds, the adjudicator turns them into a target number, and a 20-sided die decides pass or fail. With rolls fixed, the target came from the rulebook (Rigid), a judge AI adjusting it (Semi-Rigid), a judge AI setting it alone (Free) or a panel of four judge AIs. In evaluation terms these are a fixed scoring rule, a rubric the judge may adjust, holistic grading and a jury. The judge AIs were Opus 5 and Gemini 3.1 Pro, each re-run. An outcome changes when an action on the same roll passes under one ruling and fails under another. Re-run, a judge changed 3 to 6 per cent of outcomes under Semi-Rigid and 14 to 16 per cent under Free. Swapping Opus for Gemini changed about 3 percentage points more than a re-run did, a gap nine games cannot confirm. The panel changed 40 of the rulebook's 378 outcomes, but the changes cancelled and the pass count moved by 8. A pass rate hides them. One published finding rests on 15 rulings, and most of our AI adjudicators and every re-run changed how often it appeared. We measure how much rulings move, not which ruling is right. The method set how often a judge disagreed with itself. Choose it before the judge AI, report how often the judge disagrees with itself, and count the rulings behind each conclusion. We propose an adjudication statement.
• Abstract（参考訳）: オープンエンドのAI作業は、チェックする唯一の正しい回答を持っていないため、審査員(しばしば別のAI)がそれぞれの結果を決定する。 これらの審査員の研究は、どのAIを使うべきか、どのようにルーブ語を言い表すのかを尋ねる。 裁判官が従う手順をテストすることはめったにない。 戦争ゲームにも正しい答えはなく、2世紀もの間、フィールドはその手順を設計してきた。 私たちは、11のウォーゲームプラクティスをAI評価失敗にマップします。 我々は,AIを応用した9つの競技の378人の選手の行動に対して,その判断方法である1つを検証した。 プレイヤーはオッズを記入し、アジュディケーターはターゲット番号に変換し、20面のダイがパスするか失敗するかを決定する。 ロールを固定すると、ターゲットはルールブック(Rigid)、それを調整した審査員AI(Semi-Rigid)、単独で設定した審査員AI(Free)、または4人の審査員AIのパネルから来ている。 評価用語では、これらは固定された採点規則であり、裁判官は、調整、総合的な格付け、陪審員をすることができる。 審査員AIはオプス5とジェミニ3.1 Proで、それぞれ再実行された。 結果が変わるのは、同じロール上のアクションが1つの決定の下で通過し、別の決定の下で失敗する時である。 再選により、判事はセミ・リギッドの3-6%、フリーの14-6%に変化した。 スワップング・オプス・フォー・ジェミニはリランよりも3ポイント多く変更したが、9試合の差は確認できなかった。 パネルはルールブックの378件の成果のうち40件を変更したが、変更は中止され、パス数は8.5%になった。 パスレートはそれらを隠します。 ある発表では15件の判決が下され、AIの判断者や再実行者のほとんどが、それがどれだけ頻度で現れるかを変えた。 どの判断が正しいかではなく、どれだけの判断が動くかを測定する。 この手法は、裁判官が自分達とどれだけの頻度で意見が一致しなかったかを定めている。 審査員AIの前にそれを選択し、審査員がそれ自身とどれだけの頻度で意見が一致しているかを報告し、それぞれの結論の背後にある判断を数えます。 判決文を提案します。

関連論文リスト

• Judging the Judges: Confidence and Disagreement in Rubrics as Rewards [51.67487931466592]
  2つのメカニズムを持つRaRの新しい審査アンサンブル戦略であるRaRE(Rubrics as Rewards with Ensembles)を提案する。 RaREは、より自信のある裁判官を重み付けするために、審査員のログプロブを使うソフトライクな報酬と、高判定のロールアウトを除外するドロップ・オン・ディスラグメント・マスクを使用する。 RaREはHealthBenchとGPQA Diamondの両方で、すべてのシングルジャッジRaRを上回ります。
  論文  参考訳（メタデータ） (2026-10-15T03:35:00Z)
• When the Judge Acts: Auditing VLM-Guided Image Selection on Culturally Situated Prompts [0.0]
  視覚言語モデル(VLM)は、複数の生成された画像の中から最高のものを選ぶ審査員としての役割を担っている。 我々は、返却された画像と、判事が見たことのない人間の評価と、同じ候補からランダムに選択した画像を比較し、すべての決定を、再注文された候補と繰り返す。
  論文  参考訳（メタデータ） (2026-10-01T07:40:33Z)
• The First Token Is Not the Verdict: Hidden Costs of Reading LLM Judges Without Generating [0.0]
  LLMの審査員の判断を最初のトークンのロジットから読み取ることは安価であり、生成を必要としない。 この読み出しは位置バイアスを1方向に歪め、テストするすべての条件でオーバーステートするので、この方法で得られた数値は上限として振る舞う。
  論文  参考訳（メタデータ） (2026-09-04T00:45:28Z)
• Do Judges Behave Like Algorithms? [18.681366029551135]
  テキサス州ハリス郡における軽視的保釈公聴会における司法判断について検討する。 利用可能な裁判所データを用いて,判事がアルゴリズムに類似するものに従うか否かを調査する。 我々の結果は、これらの審査員が一般的にアルゴリズム的に振る舞うことを示している。
  論文  参考訳（メタデータ） (2026-08-11T02:46:41Z)
• Can Humans Detect AI? Mining Textual Signals of AI-Assisted Writing Under Varying Scrutiny Conditions [0.0]
  この研究は、AI検出の脅威が、人々がAIで書く方法を変え、他の人がその違いを知ることができるかどうかを問う。 2段階制御実験では、21人の参加者が遠隔作業に関する意見書を書いた。 半分はランダムにAI検出ツールでスキャンされると警告され、残り半分は警告を受けなかった。
  論文  参考訳（メタデータ） (2026-04-25T23:34:44Z)
• AI Debate Aids Assessment of Controversial Claims [73.8907110799657]
  我々は、AI論争が、議論の的になっている事実性主張の側面に対立する2つのAIシステムを議論させることで、偏見のある裁判官を真実に導くことができるかどうかを調査する。 研究Iでは、議論は人間の判断精度と信頼性の校正を継続的に改善し、コンサルタントを上回ります。 研究IIでは、人間のような人格を持つAI裁判官は、人格を持たない人格(70.1%)やデフォルトのAI裁判官(69.8%)よりも高い精度(78.5%)を達成する。 これらの調査結果は、AIの議論が、競争対象ドメインにおけるスケーラブルでバイアス耐性のある監視への有望な道であることを示している。
  論文  参考訳（メタデータ） (2025-06-02T19:01:53Z)
• JudgeLM: Fine-tuned Large Language Models are Scalable Judges [48.053949045598344]
  大規模言語モデル(LLM)をオープンなシナリオで評価することは、既存のベンチマークやメトリクスがそれらを包括的に測定できないため、難しい。 本稿では,拡張性のある審査員 (JudgeLM) としてLLMを微調整し,LLMを効率よく,かつ効率的に評価する手法を提案する。 我々は7B,13Bから33Bパラメータの異なるスケールでJiceLMを訓練し、その能力と振る舞いを体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-26T17:48:58Z)
• The price of unfairness in linear bandits with biased feedback [62.25313751895011]
  線形帯域フィードバックによる逐次意思決定の問題点について検討する。 その結果,不偏フィードバック下で得られたdT 1/2 log(T) の後悔率よりも最悪の後悔率が高いことがわかった。 興味深いことに、ギャップ依存率によって、問題はバイアスのないものほど難しくない非自明なインスタンスの存在が明らかになる。
  論文  参考訳（メタデータ） (2022-03-18T08:03:20Z)
• TotalBotWar: A New Pseudo Real-time Multi-action Game Challenge and Competition for AI [62.997667081978825]
  TotalBotWarは、ゲームAIのための新しい擬似リアルタイムマルチアクションチャレンジだ。 ゲームはTotalWarのゲームシリーズに基づいており、プレイヤーは敵のゲームに勝つために軍隊を管理する。
  論文  参考訳（メタデータ） (2020-09-18T09:13:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。