論文の概要: OpenCompass: A Universal Evaluation Platform for Large Language Models
- arxiv url: http://arxiv.org/abs/2605.19276v1
- Date: Tue, 19 May 2026 02:50:11 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-20 15:03:09.083342
- Title: OpenCompass: A Universal Evaluation Platform for Large Language Models
- Title（参考訳）: OpenCompass: 大規模言語モデルのためのユニバーサルな評価プラットフォーム
- Abstract要約: 汎用大規模言語モデル (LLM) は, 技術の進歩において重要なリンクとなっている。
メインストリームベンチマークデータセットは、タスクタイプの多様性、一貫性のない評価基準、データと処理の断片化といった課題に直面している。
本稿では,ワンストップ,スケーラブル,高精度な汎用評価プラットフォームであるOpen LLMをオープンソースとして提案する。
- 参考スコア（独自算出の注目度）: 62.59671563145442
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent years, the field of artificial intelligence has undergone a paradigm shift from task-specific small-scale models to general-purpose large language models (LLMs). With the rapid iteration of LLMs, objective, quantitative, and comprehensive evaluation of their capabilities has become a critical link in advancing technological development. Currently, the mainstream static benchmark dataset-based evaluation methods face challenges such as the diversity of task types, inconsistent evaluation criteria, and fragmentation of data and processing workflows, making it difficult to efficiently conduct cross-domain and large-scale model evaluation. To address the aforementioned issues, this paper proposes and open-sources OpenCompass, a one-stop, scalable, and high-concurrency-supported general-purpose LLM evaluation platform. Adhering to the design philosophy of modularization and component decoupling, the platform boasts three core advantages: high compatibility, flexibility, and high concurrency. The core architecture of OpenCompass comprises five key components: the Configuration System, Task Partitioning Module, Execution and Scheduling Module, Task Execution Unit, and Result Visualization Module. Its workflow provides rule-based, LLM-as-a-Judge, and cascaded evaluators to adapt to the requirements of different task scenarios. Supporting mainstream benchmark datasets across multiple domains, including knowledge, reasoning, computation, science, language, code, etc., the platform offers a unified and efficient LLM evaluation tool for both academia and industry, facilitating the accurate identification of strengths and weaknesses of LLMs as well as their subsequent optimization.
- Abstract（参考訳）: 近年、人工知能の分野はタスク固有の小規模モデルから汎用大言語モデル(LLM)へのパラダイムシフトが進んでいる。
LLMの迅速な反復により、その能力の客観的、定量的、包括的評価が技術開発における重要なリンクとなっている。
現在、主要な静的ベンチマークベースの評価手法は、タスクタイプの多様性、一貫性のない評価基準、データと処理ワークフローの断片化といった課題に直面しており、クロスドメインと大規模モデルの評価を効率的に行うことは困難である。
上記の課題に対処するため,本稿では,ワンストップ,スケーラブル,高コンカレンシー対応汎用LLM評価プラットフォームであるOpenCompassをオープンソースとして提案する。
モジュール化とコンポーネントの分離という設計哲学に則って、プラットフォームには3つの大きな長所がある。
OpenCompassの中核となるアーキテクチャは、構成システム、タスク分割モジュール、実行とスケジューリングモジュール、タスク実行ユニット、結果可視化モジュールの5つの主要なコンポーネントから構成されています。
そのワークフローはルールベース、LCM-as-a-Judge、そして異なるタスクシナリオの要求に適応するためのケースケード評価を提供する。
知識、推論、計算、科学、言語、コードなど、複数の領域にわたる主要なベンチマークデータセットをサポートするこのプラットフォームは、学術と産業の両方に統一的で効率的なLLM評価ツールを提供し、LLMの強度と弱点の正確な識別と、その後の最適化を容易にする。
関連論文リスト
- From Performance to Purpose: A Sociotechnical Taxonomy for Evaluating Large Language Model Utility [0.2209921757303168]
我々は、パフォーマンス、インタラクション、オペレーション、ガバナンスの4つの領域にわたるユーティリティ評価を構築する包括的なフレームワークを紹介します。
LUXは階層的に、主題的に整合した次元とコンポーネントに編成され、それぞれがメトリクスで構成されています。
各コンポーネントを関連するメトリクスのリポジトリに接続することで、フレームワークの探索を支援するために、外部動的Webツールが提供される。
論文 参考訳（メタデータ） (2026-02-24T03:31:07Z) - RefactorCoderQA: Benchmarking LLMs for Multi-Domain Coding Question Solutions in Cloud and Edge Deployment [20.416910591388618]
本稿では,Large Language Models (LLM) の性能を評価するためのベンチマークであるRefactorCoderQAを紹介する。
我々の微調整モデルであるRefactorCoder-MoEは最先端のパフォーマンスを実現し、オープンソースと商用のベースラインを76.84%で上回りました。
論文 参考訳（メタデータ） (2025-09-12T17:44:22Z) - Towards Adaptive ML Benchmarks: Web-Agent-Driven Construction, Domain Expansion, and Metric Optimization [8.356074728041202]
TAM Benchは、エンドツーエンドの機械学習タスクで大規模言語モデル(LLM)を評価するためのベンチマークである。
3つの重要なイノベーションは、ブラウザの自動化とLLMベースのタスク獲得システムである。
150のキュレートされたAutoMLタスクに基づいて、異なるサイズのベンチマークサブセットを3つ構築する。
論文 参考訳（メタデータ） (2025-09-11T10:10:48Z) - Discrete Tokenization for Multimodal LLMs: A Comprehensive Survey [69.45421620616486]
本研究は、大規模言語モデル(LLM)用に設計された離散トークン化手法の最初の構造的分類と解析である。
古典的および近代的なパラダイムにまたがる8つの代表的なVQ変種を分類し、アルゴリズムの原理を分析し、力学を訓練し、LLMパイプラインとの統合に挑戦する。
コードブックの崩壊、不安定な勾配推定、モダリティ固有の符号化制約など、重要な課題を特定する。
論文 参考訳（メタデータ） (2025-07-21T10:52:14Z) - EIFBENCH: Extremely Complex Instruction Following Benchmark for Large Language Models [64.70546873396624]
大規模言語モデル(LLM)を評価するためのEIFBENCH(Extremely Complex Instruction following Benchmark)を提案する。
EIFBENCHにはマルチタスクシナリオが含まれており、多様なタスクタイプを同時に総合的に評価することができる。
また,LLMのマルチタスクワークフローを正確に満たす能力を高めるために,セグメントポリシー最適化(SegPO)アルゴリズムを提案する。
論文 参考訳（メタデータ） (2025-06-10T02:39:55Z) - MergeBench: A Benchmark for Merging Domain-Specialized LLMs [25.333088749417414]
MergeBenchは、スケールでのモデルマージを評価するために設計された評価スイートである。
2Bから9BスケールのLlamaやGemmaファミリなど、最先端のオープンソース言語モデルの上に構築されている。
マルチタスク性能, 忘れられたこと, 実行効率にまたがる8つの代表的なマージ手法を評価した。
論文 参考訳（メタデータ） (2025-05-16T04:02:55Z) - MLE-Dojo: Interactive Environments for Empowering LLM Agents in Machine Learning Engineering [57.156093929365255]
自律型大規模言語モデル(LLM)エージェントを体系的に強化し、評価し、改善するためのガイムスタイルのフレームワーク。
MLE-Dojoは、現実的なエンジニアリングシナリオを反映した、多様でオープンなMLEタスクを慎重にキュレートする。
完全に実行可能な環境は、教師付き微調整と強化学習の両方を通して包括的なエージェントトレーニングをサポートする。
論文 参考訳（メタデータ） (2025-05-12T17:35:43Z) - Embodied Agent Interface: Benchmarking LLMs for Embodied Decision Making [85.24399869971236]
我々は,大規模言語モデル(LLM)を具体的意思決定のために評価することを目指している。
既存の評価は最終的な成功率にのみ依存する傾向がある。
本稿では,様々なタスクの形式化を支援する汎用インタフェース (Embodied Agent Interface) を提案する。
論文 参考訳（メタデータ） (2024-10-09T17:59:00Z) - UltraEval: A Lightweight Platform for Flexible and Comprehensive Evaluation for LLMs [74.1976921342982]
本稿では,ユーザフレンドリな評価フレームワークであるUltraEvalを紹介し,その軽量性,包括性,モジュール性,効率性を特徴とする。
その結果のコンポーザビリティにより、統一された評価ワークフロー内で、さまざまなモデル、タスク、プロンプト、ベンチマーク、メトリクスを自由に組み合わせることができる。
論文 参考訳（メタデータ） (2024-04-11T09:17:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。