論文の概要: MA-Bench: Measuring Operational Planning in Language Models

• arxiv url: http://arxiv.org/abs/2610.19138v1
• Date: Tue, 13 Oct 2026 20:07:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.781622
• Title: MA-Bench: Measuring Operational Planning in Language Models
• Title（参考訳）: MA-Bench: 言語モデルにおける運用計画の測定
• Abstract要約: 本稿では、軍事作戦計画の第1段階であるミッション分析に基づくミッション分析(MA-Bench)を紹介する。 専門家が構築した10のシナリオは、10から12の文書の合成パケットと1,257の専門家によるパス/フェイル要件を組み合わせている。 理性モデル審査員は、文書を見ることなく、各ブリーフを要件に対して格付けする。
• 参考スコア（独自算出の注目度）: 3.2157997165151344
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: How well can a language model turn a large, incomplete and partly contradictory body of documents into a plan when no single correct answer exists? We introduce Mission Analysis (MA)-Bench, built on mission analysis, the first step of military operational planning, in which a staff reads the full situation and states the problem before anyone proposes a solution. Its 10 expert-built scenarios pair synthetic packets of ten to twelve documents with 1,257 expert-written pass/fail requirements, each containing information on their source, question type, and importance level. A reasoning-model judge grades each brief against the requirements without seeing the documents; it grades like a fifth credentialed planner, leaving a four-planner panel's agreement unchanged (Fleiss $κ$ 0.42 to 0.41), and a judge from a second provider reproduces the model ranking (Spearman 0.94). Across twenty frontier and open-weights models the best gets 62% of the rubric items right. Models are strongest on facts stated in the documents (58%) and weakest on judgments that must be inferred (33%), and six failures in ten are omissions rather than errors. MA-Bench grades the determinations, not the prose. We release the packets, rubrics, prompts, scorer and every graded brief with item-level verdicts.
• Abstract（参考訳）: 言語モデルは、大きな、不完全で部分的に矛盾するドキュメントの本体を、単一の正しい答えが存在しない場合に、計画にどの程度うまく変換できますか? ミッション分析(MA)ベンチ(Mission Analysis)は、軍事作戦計画の第1段階であり、スタッフが全状況を読み取って、誰かが解決策を提案する前に問題を述べる。 専門家が構築した10のシナリオは、10から12の文書の合成パケットと1,257の専門家によるパス/フェイル要件を組み合わせ、それぞれがソース、質問タイプ、重要度に関する情報を含んでいる。 推論モデル審査員は、各要件を文書を見ることなく、各要件に対して評価し、第5のクレデンシャルプランナーのように格付けし、4つのプランナーパネルの合意を変更せずに(Fleiss $κ$ 0.42〜0.41)、第2のプロバイダの審査員がモデルランキングを再現する(Spearman 0.94)。 20のフロンティアモデルとオープンウェイトモデルでは、ゴミ品の62%が正しい。 モデルは文書に記載された事実(58%)で最強であり、推論しなければならない判断では最も弱い(33%)。 MA-Benchは、散文ではなく判断を格付けする。 パケット、ルーブリック、プロンプト、スコアラー、および各グレードされたブリーフをアイテムレベルの評定でリリースする。

関連論文リスト

• Evaluating LLMs as Agentic Workflow Executors in Real-World Customer Support Skills [10.890369572793025]
  本稿では,実世界の書き起こしからリカレントをマイニングし,それらを構造化されたスキル記述に変換し,ツール要件にマップし,マルチターンツールを用いた対話を生成するベンチマーク構築パイプラインを提案する。 このベンチマークを用いて、クローズドモデルファミリとデプロイメント指向の1.7Bから14Bパラメータのオープンウェイトモデルにまたがる17の言語モデルの大規模なゼロショット評価を行う。 我々は、GPT-5245.4が広いマージンでリードし、QWEN3.5-9Bが最強のオープンウェイトモデル(20B以下)である一貫したランキングを見出した。 また、審査員の選択は無視できる方法論の詳細ではないこともわかりました。
  論文  参考訳（メタデータ） (2026-10-09T21:45:51Z)
• GDP.pdf: Benchmarking Grounded Multimodal Reasoning over Professional PDF Documents [0.12430801435092285]
  GDP_pdfは、ドキュメントAI機能を直接測定するベンチマークである。 これは10分野の作業専門家によって書かれた質問文書対で構成されている。 100-itemベンチマークで17のフロンティアモデルの結果を報告する。
  論文  参考訳（メタデータ） (2026-07-13T07:44:07Z)
• SLMJury: Can Small Language Models Judge as Well as Large Ones? [1.5990700377571574]
  SLMJury(Small Language Model (SLM) 評価フレームワーク)を2つのパラダイムの審査対象として紹介する。 我々は10のベンチマークで4つのモデルファミリーから16のSLM判定値(0.6B-14Bパラメータ)をベンチマークした。 信頼性の高い自動評価は大きなプロプライエタリなモデルを必要としないが、単一のSLMが支配的ではない。
  論文  参考訳（メタデータ） (2026-06-05T19:38:15Z)
• The FACTS Leaderboard: A Comprehensive Benchmark for Large Language Model Factuality [70.45240108873001]
  FACTS Leaderboardは、実際に正確なテキストを生成する言語モデルの能力を総合的に評価するオンラインのリーダーボードスイートである。 このスイートは、4つの異なるサブリーダーボード上でのモデルのパフォーマンスを集約することで、事実性の総合的な尺度を提供する。
  論文  参考訳（メタデータ） (2025-12-11T16:35:14Z)
• Document Attribution: Examining Citation Relationships using Large Language Models [62.46146670035751]
  そこで本研究では,帰属を簡単なテキスト・エンタテインメント・タスクとみなすゼロショット・アプローチを提案する。 また,アトリビューションプロセスの強化におけるアテンションメカニズムの役割についても検討する。
  論文  参考訳（メタデータ） (2025-05-09T04:40:11Z)
• ProcessBench: Identifying Process Errors in Mathematical Reasoning [62.80402845414901]
  本稿では,数学的推論における誤ったステップを識別する能力を測定するためのProcessBenchを紹介する。 ProcessBenchは3400のテストケースで構成され、主に競合とオリンピアードレベルの数学問題に焦点を当てている。 我々はProcessBenchについて、プロセス報酬モデル(PRM)と批判モデルという2種類のモデルを含む広範囲な評価を行う。
  論文  参考訳（メタデータ） (2024-12-09T15:11:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。