論文の概要: Orbit: An Evidence-Grounded Benchmark for Evaluating LLMs on IT Operations Reasoning
- arxiv url: http://arxiv.org/abs/2611.15718v1
- Date: Wed, 11 Nov 2026 16:57:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-14 01:36:33.20026
- Title: Orbit: An Evidence-Grounded Benchmark for Evaluating LLMs on IT Operations Reasoning
- Title(参考訳): Orbit: IT運用におけるLCM評価のためのエビデンスを取り巻くベンチマーク
- Abstract要約: ORBITは、複数の選択、オープンエンド、トラブルシューティングの3つの形式でITOpsに関する質問のベンチマークである。
デプロイメントテストではなく、アシスタントの選択と監視のための診断支援である。
- 参考スコア(独自算出の注目度): 1.492754673838377
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: LLMs now support IT operations (ITOps), but benchmarks rarely show why a model fails. We present ORBIT, a benchmark of ITOps questions in three formats, namely multiple-choice, open-ended, and troubleshooting, with each question accompanied by a reference answer and a recorded source. An audit found template defects in about a tenth of the generated items, so we drop them and rebuild the troubleshooting format from real practitioner threads with accepted answers. Under one independent judge, five LLMs answer most multiple-choice items correctly, between a third and just over half of the open-ended items, and a minority of the troubleshooting items, even under a more lenient root-cause rubric. When models judged their own answers, they accepted many answers to defective items, so we use one independent judge for every model. Word overlap with the question finds the correct option for more than half of the multiple-choice items. ORBIT is a diagnostic aid for selecting and supervising assistants rather than a deployment test.
- Abstract(参考訳): LLMはIT運用(ITOps)をサポートするようになったが、なぜモデルが失敗するのかを示すベンチマークはほとんどない。
ORBITは、複数の選択、オープンエンド、トラブルシューティングの3つの形式のITOps質問のベンチマークであり、各質問には基準回答と記録されたソースが添付されている。
監査では生成された項目の約10分の1にテンプレートの欠陥が見つかりました。
1人の独立した判事の下では、5人のLLMが最も多くの選択項目に正しく答え、オープンエンドアイテムの3分の1以上とトラブルシューティングアイテムのごく一部の間に、より寛大な根本原因のルーリックの下でも答える。
モデルが自身の回答を判断したとき、彼らは欠陥のある項目に対する多くの回答を受け入れた。
質問に重複した単語は、複数の選択項目の半数以上に対して正しい選択肢を見つける。
ORBITは、デプロイテストではなくアシスタントの選択と監視のための診断支援である。
関連論文リスト
- DeFT-RAG: Decomposing Multi-Hop Questions into Self-Contained Sub-Questions with Reusable Answers [1.7950498718464853]
Retrieval-augmented Generation (RAG)は、大きな言語モデル(LLM)が、大きなコーパスから関連するパスを取得することで質問に答える。
3つのコンポーネント上に構築されたRAGフレームワークであるDeFT-RAGを提案する。
MuSiQue、2WikiMultiHopQA、HotpotQAでは、DeFT-RAGは13のベースラインの中で最も精度が高い。
論文 参考訳(メタデータ) (2026-10-27T18:40:23Z) - The Benchmark Illusion: Pruned LLMs Can Pass Multiple Choice but Fail to Answer [14.274182889933272]
大規模な言語モデルはメモリ使用量と推論コストを削減しますが、標準ベンチマークが見逃す障害も発生します。
正しい答えが消去されるのか、それとも、上位の出力として答えが生成しにくくなるのか?
ベンチマークの錯覚を見いだす。高いスパーシティプルーニング(特にワンダ)の下では、モデルは、複数のスコアで正しい答えを選択しながら、欲張りのオープンジェネレーションで失敗することが多い。
論文 参考訳(メタデータ) (2026-06-16T07:14:52Z) - MINERVA: Evaluating Complex Video Reasoning [72.12644008002566]
我々は、最新のマルチモーダルモデルのためのMINERVAと呼ばれる新しいビデオ推論データセットを提供する。
我々のデータセットはマルチモーダルであり、ビデオ領域と長さの点で多様であり、複雑なマルチステップの質問で構成されている。
我々は,様々なモデルにまたがる共通障害モードを特定するために,きめ細かいエラー解析を行い,推論エラーの分類を作成する。
論文 参考訳(メタデータ) (2025-05-01T17:41:49Z) - Right Answer, Wrong Score: Uncovering the Inconsistencies of LLM Evaluation in Multiple-Choice Question Answering [78.89231943329885]
大規模言語モデル(LLM)の評価には,MCQA(Multiple-Choice Question Answering)が広く用いられている。
報告されたLCMの性能には,複数の要因が大きな影響を及ぼす可能性が示唆された。
既存の回答抽出手法が人間の判断と一致しているかどうかを解析する。
論文 参考訳(メタデータ) (2025-03-19T08:45:03Z) - Lost in Time: A New Temporal Benchmark for VideoLLMs [48.71203934876828]
現在最も使われているビデオ言語ベンチマークは、時間的推論を必要とせずに解決可能であることを示す。
提案するTVBenchは,オープンソースのマルチ選択質問応答ベンチマークである。
論文 参考訳(メタデータ) (2024-10-10T09:28:36Z) - SelfCheck: Using LLMs to Zero-Shot Check Their Own Step-by-Step
Reasoning [55.76083560152823]
SelfCheckは、ステップバイステップの推論でエラーを認識する汎用的なゼロショット検証スキーマである。
我々は,3つのデータセット(GSM8K,MathQA,MATH)上でSelfCheckをテストし,エラーの認識に成功し,最終的な回答精度が向上することを確認した。
論文 参考訳(メタデータ) (2023-08-01T10:31:36Z) - Getting MoRE out of Mixture of Language Model Reasoning Experts [71.61176122960464]
多様な特殊言語モデルを組み込んだMixture-of-Reasoning-Experts (MoRE) フレームワークを提案する。
実例,マルチホップ,数学的,コモンセンス推論など,さまざまな推論カテゴリに最適化されたプロンプトを備えたバックボーン言語モデルを特化する。
人間の研究では、専門家による予測と回答の選択プロセスが、アノテータがシステムの出力を信頼するタイミングをより正確に調整するのに役立ちます。
論文 参考訳(メタデータ) (2023-05-24T02:00:51Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。