論文の概要: BLUEX v2: Benchmarking LLMs on Open-Ended Questions from Brazilian University Entrance Exams

• arxiv url: http://arxiv.org/abs/2606.22723v2
• Date: Tue, 30 Jun 2026 12:58:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-01 18:27:18.941814
• Title: BLUEX v2: Benchmarking LLMs on Open-Ended Questions from Brazilian University Entrance Exams
• Title（参考訳）: BLUEX v2: ブラジル大学入学試験におけるオープンエンディング質問のLCMのベンチマーク
• Abstract要約: ブラジルの2つの主要な大学の第2段階の入学試験から得られたベンチマークであるBLUEX v2を紹介する。 我々のデータセットは、395の質問を919のグレードのサブクエストに展開し、55.7%の質問が関連画像を含んでいる。 その結果、モデルにまたがる4.92ポイントのパフォーマンスが明らかになり、数学的推論と画像理解が最も難しい能力の次元として現れる。
• 参考スコア（独自算出の注目度）: 5.232617124162657
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Although Large Language Models (LLMs) excel in many tasks, their assessment in Portuguese has received less attention, particularly for open-ended, discursive tasks that demand deeper reasoning and generation capabilities. While the original BLUEX benchmark addressed the scarcity of Portuguese evaluation datasets through multiple-choice questions from Brazilian university entrance exams, it did not cover the more challenging second-phase examinations, which require free-form written responses. In this work, we introduce BLUEX v2, a benchmark derived from the second-phase entrance exams of Brazil's two leading universities: UNICAMP (Comvest) and USP (Fuvest), spanning exam years 2022--2025. Our dataset comprises 395 questions unfolding into 919 graded subquestions, with 55.7% of questions containing associated images (represented as context-aware captions during inference to enable evaluation across both vision-capable and text-only models). Each question is annotated with subject area, official reference answers, LLM-generated rubric criteria, and six cognitive capability tags. We evaluate 21 state-of-the-art LLMs using an LLM-as-a-judge protocol. Results reveal a 4.92-point performance spread across models (4.18-9.10 on a 0-10 scale), with Mathematical Reasoning and Image Understanding emerging as the hardest capability dimensions. The evaluation code, model outputs, and dataset are publicly available at https://github.com/TropicAI-Research/BLUEXv2 and on Hugging Face at https://huggingface.co/datasets/Tropic-AI/BLUEX-v2.
• Abstract（参考訳）: 大きな言語モデル(LLM)は多くのタスクに優れていますが、ポルトガルでの彼らの評価は、特により深い推論と生成能力を必要とするオープンエンドの非帰的なタスクに対して、あまり注目されていません。 元々のBLUEXベンチマークは、ブラジルの大学入学試験からの複数項目の質問を通じてポルトガルの評価データセットの不足に対処したが、自由形式の回答を必要とする、より困難な第二段階の試験はカバーしなかった。 本研究では,ブラジルの2大大学(UNICAMP (Comvest) と USP (Fuvest) の2段階の入学試験から得られたベンチマークである BLUEX v2 を紹介する。 我々のデータセットは395の質問を919のグレードのサブクエストに展開し、55.7%の質問が関連画像を含む(推論中にコンテキスト認識キャプションとして表現され、視覚能力とテキストのみのモデルの両方で評価を可能にする)。 各質問には、主題領域、公式の参照回答、LCMの生成基準、および6つの認知能力タグが注釈付けされている。 LLM-as-a-judgeプロトコルを用いて21の最先端LCMを評価した。 その結果、モデルにまたがる4.92ポイントのパフォーマンス(0-10スケールで4.18-9.10)が示され、数学的推論と画像理解が最も難しい能力の次元として現れる。 評価コード、モデル出力、データセットはhttps://github.com/TropicAI-Research/BLUEXv2で、Hugging Faceはhttps://huggingface.co/datasets/Tropic-AI/BLUEX-v2で公開されている。

関連論文リスト

• BLUEX Revisited: Enhancing Benchmark Coverage with Automatic Captioning [3.364554138758565]
  我々は、2024-2025の試験を含むBLUEXデータセットの更新版を提示し、最先端のモデルを用いて自動的に画像キャプションを生成する。 カプセル化戦略は、テキストのみのモデルへのアクセシビリティを40%以上増加させ、1,422の有用な質問を生み出している。
  論文  参考訳（メタデータ） (2025-08-29T01:23:28Z)
• Agri-Query: A Case Study on RAG vs. Long-Context LLMs for Cross-Lingual Technical Question Answering [1.1458853556386799]
  本稿では,128Kのコンテキストウィンドウを持つ大規模言語モデル(LLM)を技術的質問応答(QA)タスク上で評価するケーススタディを提案する。 私たちのベンチマークは、英語、フランス語、ドイツ語で利用可能な農業機械のユーザーマニュアルに基づいて構築されています。 マニュアルの3つの言語バージョンすべてに対して、質問を英語で提示する言語間情報検索シナリオをシミュレートする。 この評価は現実的な "needle-in-a-haystack" の問題に焦点を合わせ、幻覚の検査に答えられない質問を含む。
  論文  参考訳（メタデータ） (2025-08-25T14:54:46Z)
• Evaluating Large Language Model with Knowledge Oriented Language Specific Simple Question Answering [73.73820209993515]
  KoLasSimpleQAは,Large Language Models (LLMs) の多言語事実能力を評価する最初のベンチマークである。 既存の研究に触発されて、単一知識点カバレッジ、絶対的客観性、独特な答え、時間的安定性といった特徴を備えた質問セットを作成しました。 その結果,2つの領域間に大きな性能差が認められた。
  論文  参考訳（メタデータ） (2025-05-22T12:27:02Z)
• LENS: Multi-level Evaluation of Multimodal Reasoning with Large Language Models [59.0256377330646]
  Lensは3.4Kの現代画像と8つのタスクと12の日次シナリオをカバーする60K以上の人間による質問のベンチマークである。 このデータセットは本質的に、基本的な知覚から構成的推論に至るまで、画像不変のプロンプトを処理するためのMLLMの評価をサポートする。 我々は,Qwen2.5-VL-72B,InternVL3-78B,GPT-4oおよび2つの推論モデルQVQ-72B-previewとKim-VLなどの15以上のフロンティアMLLMを評価する。
  論文  参考訳（メタデータ） (2025-05-21T15:06:59Z)
• LEXam: Benchmarking Legal Reasoning on 340 Law Exams [76.3521146499006]
  textscLEXamは,法科116科の法科試験を対象とする340件の法科試験を対象とする,新しいベンチマークである。 このデータセットは、英語とドイツ語で4,886の法試験質問で構成されており、その中には2,841の長文のオープンエンド質問と2,045の多重選択質問が含まれている。 この結果から,モデル間の差分化におけるデータセットの有効性が示唆された。
  論文  参考訳（メタデータ） (2025-05-19T08:48:12Z)
• HellaSwag-Pro: A Large-Scale Bilingual Benchmark for Evaluating the Robustness of LLMs in Commonsense Reasoning [56.221060995324436]
  大規模言語モデル(LLM)は、常識推論において顕著な能力を示している。 これらのモデルは、本当に常識的知識を理解しているのか、あるいは単に表現パターンを記憶しているだけなのか? 11,200のケースからなる大規模バイリンガルベンチマークであるHellaSwag-Proを紹介する。
  論文  参考訳（メタデータ） (2025-02-17T03:24:02Z)
• U-MATH: A University-Level Benchmark for Evaluating Mathematical Skills in LLMs [2.2330469342127577]
  教材から得られた大学レベルの未発表問題1,100件の新規ベンチマークであるU-MATHを紹介する。 6つの中核領域でバランスが取れており、20%のマルチモーダル問題がある。 U-MATH問題のオープンな性質を考えると、生成した解の正しさを判断するために LLM を用いる。 その結果,LLMはテキストベースのタスクでは最大63%の精度しか得られず,視覚的問題では45%以下であった。
  論文  参考訳（メタデータ） (2024-12-04T10:44:50Z)
• Revisiting Multi-Modal LLM Evaluation [29.094387692681337]
  我々は,最近のMLLM(LLaVA 1.5, LLaVA-NeXT, BLIP2, InstructBLIP, GPT-4V, GPT-4o)を,以前のMLLMの弱点に対処するためのデータセット上で評価した。 我々のコードはMLLM評価のために広く使われているLAVISフレームワークに統合されており、将来のMLLMの迅速な評価を可能にしている。
  論文  参考訳（メタデータ） (2024-08-09T20:55:46Z)
• Benchmarking Large Language Models on CFLUE -- A Chinese Financial Language Understanding Evaluation Dataset [7.954348293179786]
  様々な次元にわたる大規模言語モデル(LLM)の能力を評価するためのベンチマークであるCFLUEを提案する。 知識評価では、38K以上の質問と関連する解法の説明からなる。 アプリケーションアセスメントでは、テキスト分類、機械翻訳、関係抽出、読解、テキスト生成など、異なるNLPタスクのグループにまたがる16K以上のテストインスタンスが特徴である。
  論文  参考訳（メタデータ） (2024-05-17T05:03:40Z)
• Are We on the Right Way for Evaluating Large Vision-Language Models? [92.5761176224556]
  大規模視覚言語モデル(LVLM)は、最近急速に進歩し、そのマルチモーダル能力を評価するために多くの研究を巻き起こした。 視覚コンテンツは多くのサンプルに対して不要であり、意図的なデータ漏洩が存在する。 本稿では,人間によって精巧に選択された1500個のサンプルからなる,高度に視覚に欠かせないマルチモーダルベンチマークMMStarを提案する。
  論文  参考訳（メタデータ） (2024-03-29T17:59:34Z)
• Hint-enhanced In-Context Learning wakes Large Language Models up for knowledge-intensive tasks [54.153914606302486]
  大規模言語モデル(LLM)の規模拡大に伴い、インコンテキスト学習(ICL)能力が出現した。 我々は、オープンドメイン質問応答におけるICLのパワーを探るため、Hint-enhanced In-Context Learning(HICL)と呼ばれる新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2023-11-03T14:39:20Z)
• L-Eval: Instituting Standardized Evaluation for Long Context Language Models [91.05820785008527]
  長い文脈言語モデル(LCLM)のより標準化された評価を行うためにL-Evalを提案する。 20のサブタスク、508の長いドキュメント、2000以上の人間ラベルのクエリ応答対を含む新しい評価スイートを構築した。 その結果、一般的なn-gramマッチングの指標は人間の判断とよく相関しないことがわかった。
  論文  参考訳（メタデータ） (2023-07-20T17:59:41Z)
• BLUEX: A benchmark based on Brazilian Leading Universities Entrance eXams [4.9069311006119865]
  ブラジルの2大大学(UNI CAMPとUSP)の入学試験のデータセットであるBLUEXを紹介する。 データセットには、さまざまな主題におけるNLPモデルの性能を評価するための注釈付きメタデータが含まれている。 我々は、最先端のLMを用いた実験を通じて、ポルトガル語の自然言語理解と推論の最先端化の可能性を実証するベンチマークを構築した。
  論文  参考訳（メタデータ） (2023-07-11T16:25:09Z)
• Multilingual Machine Translation with Large Language Models: Empirical Results and Analysis [103.89753784762445]
  大規模言語モデル(LLM)は多言語機械翻訳(MMT)の処理において顕著な可能性を示した。 本稿では, MMT における LLM の利点と課題を体系的に検討する。 また,ChatGPTとGPT-4を含む8つのLLMを徹底的に評価した。
  論文  参考訳（メタデータ） (2023-04-10T15:51:30Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。