論文の概要: Watts If? A Benchmark for Counterfactual Reasoning About the AI Data Center Buildout

• arxiv url: http://arxiv.org/abs/2610.21397v1
• Date: Thu, 15 Oct 2026 07:16:25 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-16 19:13:16.246391
• Title: Watts If? A Benchmark for Counterfactual Reasoning About the AI Data Center Buildout
• Title（参考訳）: AIデータセンター構築に関する反実的推論のためのベンチマーク
• Abstract要約: 我々は2本の腕を別々に報告したDCBench-440を紹介する。 STRIPS世界に関する200のジェネレーティブな質問。 240の多重選択質問は、引用されたサイト記録、エミッション方程式、および記述されたシナリオに基礎を置いている。
• 参考スコア（独自算出の注目度）: 2.8396690897933805
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: An AI data center is committed years before it draws a watt: a few discrete choices (grid or on-site gas, evaporative or dry cooling, which county to file in) fix its capital, water draw, and carbon path, and LLMs are now asked to help screen them with no test of whether they track what each commitment rules out. We introduce DCBench-440, with two arms reported separately: 200 generative questions over STRIPS worlds for five US deal archetypes, with search-verified gold answers and no tested shortcut above 12% on any question type, and 240 multiple-choice questions grounded in quoted site records, emission equations, and stated scenarios. Across open-weight deployments, accuracy spans 12.5-71.5% (generative) and 58.3-92.5% (multiple choice). One skill fails everywhere: asked to list every action available at a decision gate, no model exceeds 4.0% exact match. The strongest list 72-85% of the actions that would change the project's state but omit most permitted actions that change nothing; with those excused, the best exact match is still 24%. Code, data, and other materials are available upon request.
• Abstract（参考訳）: AIデータセンターは、ワットを引く何年も前にコミットされている。いくつかの独立した選択(グリッドまたはオンサイトガス、蒸発または乾燥した冷却、どの郡に申請するか)は、資本、水引き、そして炭素経路を固定する。 我々は,DCBench-440を別々に紹介し,米国5つの取引形態のSTRIPS世界に対する200個の生成的質問,検索検証された金の回答,任意の質問タイプで12%以上の試験的ショートカット,引用されたサイト記録,エミッション方程式,記述されたシナリオにおいて240個の多重選択質問を報告した。 オープンウェイト展開全体では、精度は12.5-71.5%(世代別)と58.3-92.5%(複数選択)である。 決定ゲートで利用可能なすべてのアクションをリストアップするように求められるが、正確なマッチは4.0%を超えない。 プロジェクトの状態を変えるが、何も変えることのないほとんどの許可されたアクションを省略する、72～85%の最も強いリストである。 コード、データ、その他の資料は、要求に応じて入手できる。

関連論文リスト

• Evaluating and Benchmarking the System One Model Jev [1.579162290333307]
  Jevは、テキストを生成しないTypeSafe AIのSystem Oneモデルである。 固定オプション、ルーブリック上の位置、あるいは文が真である確率から選択を返す。 分類,ルーティング,自然言語推論,読解,コモンセンス推論,モデレーション,法的条項解析,ルーリックスコアリングにまたがる37のデータセットに対して,Jevゼロショットを評価した。
  論文  参考訳（メタデータ） (2026-09-29T14:15:04Z)
• Selective QA over Conflicting Multi-Source Personal Memory: A Diagnostic Testbed and Method Comparison [11.187819120306825]
  既存のベンチマークでは、メソッドに与えられたエビデンスやメソッドのコンフリクト解決ステップからエラーが生じたかどうかはほとんど示されていない。 我々はこれをマルチソース・パーソナルメモリの競合に対する選択的QAとして検討する。 8種類の推論型,480のペルソナ,4つのランダムシード,34,560のインスタンスを対象とした18の質問テンプレートを含むベンチマークを作成した。
  論文  参考訳（メタデータ） (2026-05-28T15:33:39Z)
• Evaluating Commercial AI Chatbots as News Intermediaries [85.32040752972836]
  ベストシステムは、数時間前に報告されたイベントに関する質問に対して、90%以上の多重選択精度を達成する。 すべてのモデルはヒンディー語で最小の精度を達成する。 原因ではなく検索は エラーの70%以上を 引き起こします
  論文  参考訳（メタデータ） (2026-05-21T17:42:07Z)
• Where on Earth? A Vision-Language Benchmark for Probing Model Geolocation Skills Across Scales [61.03549470159347]
  視覚言語モデル (VLM) は急速に進歩しているが, オープンワールド環境における画像位置決め能力は, 網羅的に評価されていない。 我々は、視覚認識、ステップバイステップ推論、エビデンス利用を評価するVLM画像位置情報の総合ベンチマークであるEarthWhereを提示する。
  論文  参考訳（メタデータ） (2025-10-13T01:12:21Z)
• SATA-BENCH: Select All That Apply Benchmark for Multiple Choice Questions [17.12876663526222]
  大規模言語モデル(LLM)は、単一回答の複数選択タスクでますます評価される。 多くの実世界の問題は、選択肢の集合から正しい答えを識別する必要がある。 SATA-BENCHは、Select All That Apply 質問における LLM の評価のための最初の専用ベンチマークである。
  論文  参考訳（メタデータ） (2025-05-31T17:14:21Z)
• The Leaderboard Illusion [61.27964089648608]
  アリーナは最も有能なAIシステムランキングのリーダーボードとして登場した。 我々は,ゆがんだ競技場に生じた体系的な問題を同定する。
  論文  参考訳（メタデータ） (2025-04-29T15:48:49Z)
• Improving Selective Visual Question Answering by Learning from Your Peers [74.20167944693424]
  VQA(Visual Question Answering)モデルは、間違っていた場合の回答を控えるのに苦労する可能性がある。 本稿では,複数モーダル選択関数の学習におけるLearning from Your Peers (LYP) アプローチを提案する。 提案手法では,学習データの異なるサブセットに基づいて訓練されたモデルの予測を,選択的VQAモデルの最適化のターゲットとして利用する。
  論文  参考訳（メタデータ） (2023-06-14T21:22:01Z)
• PRover: Proof Generation for Interpretable Reasoning over Rules [81.40404921232192]
  本稿では,ルールベース上の二項質問に応答し,対応する証明を生成するトランスフォーマーモデルを提案する。 本モデルは,効率的な制約付き学習パラダイムを用いて,証明グラフに対応するノードやエッジを予測できることを学習する。 我々は、QAと証明生成のための有望な結果を示すために、合成、手書き、人文による規則ベースの実験を行う。
  論文  参考訳（メタデータ） (2020-10-06T15:47:53Z)
• Selective Question Answering under Domain Shift [90.021577320085]
  モデルがドメイン外の入力に対して過度に信頼されているため、モデルのソフトマックス確率のみに基づくアテンションポリシーは不適切である。 キャリブレータをトレーニングして、QAモデルがアースする入力を識別し、エラーを予測した場合に停止する。 提案手法は,80%の精度を維持しながら56%の質問に回答するが,それに対してモデルの確率を直接使用する場合,80%の精度で48%しか回答しない。
  論文  参考訳（メタデータ） (2020-06-16T19:13:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。