論文の概要: CLR-Bench: Evaluating Large Language Models in College-level Reasoning

• arxiv url: http://arxiv.org/abs/2410.17558v2
• Date: Fri, 25 Oct 2024 08:21:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-28 09:36:49.415517
• Title: CLR-Bench: Evaluating Large Language Models in College-level Reasoning
• Title（参考訳）: CLR-Bench: 大学レベルの推論における大規模言語モデルの評価
• Authors: Junnan Dong, Zijin Hong, Yuanchen Bei, Feiran Huang, Xinrun Wang, Xiao Huang,
• Abstract要約: 大規模言語モデル(LLM)は、様々な言語理解タスクで顕著な性能を示した。 複雑な大学レベルの推論において,LLMを包括的に評価するためにCLR-Benchを提案する。
• 参考スコア（独自算出の注目度）: 17.081788240112417
• License:
• Abstract: Large language models (LLMs) have demonstrated their remarkable performance across various language understanding tasks. While emerging benchmarks have been proposed to evaluate LLMs in various domains such as mathematics and computer science, they merely measure the accuracy in terms of the final prediction on multi-choice questions. However, it remains insufficient to verify the essential understanding of LLMs given a chosen choice. To fill this gap, we present CLR-Bench to comprehensively evaluate the LLMs in complex college-level reasoning. Specifically, (i) we prioritize 16 challenging college disciplines in computer science and artificial intelligence. The dataset contains 5 types of questions, while each question is associated with detailed explanations from experts. (ii) To quantify a fair evaluation of LLMs' reasoning ability, we formalize the criteria with two novel metrics. Q$\rightarrow$A is utilized to measure the performance of direct answer prediction, and Q$\rightarrow$AR effectively considers the joint ability to answer the question and provide rationale simultaneously. Extensive experiments are conducted with 40 LLMs over 1,018 discipline-specific questions. The results demonstrate the key insights that LLMs, even the best closed-source LLM, i.e., GPT-4 turbo, tend to `guess' the college-level answers. It shows a dramatic decrease in accuracy from 63.31% Q$\rightarrow$A to 39.00% Q$\rightarrow$AR, indicating an unsatisfactory reasoning ability.
• Abstract（参考訳）: 大規模言語モデル(LLM)は、様々な言語理解タスクで顕著な性能を示した。 数学や計算機科学など様々な分野のLSMを評価するための新しいベンチマークが提案されているが、それは単に複数の質問に対する最終的な予測で精度を測るだけである。 しかし、選択された選択された LLM の本質的な理解を検証するには不十分である。 このギャップを埋めるために、複雑な大学レベルの推論においてLLMを包括的に評価するCLR-Benchを提案する。 具体的には (i)コンピュータ科学と人工知能の16の大学分野を優先する。 データセットには5種類の質問が含まれており、各質問は専門家による詳細な説明に関連付けられている。 2) LLMの推論能力の公平な評価を定量化するために, 2つの新しい指標を用いて基準を定式化する。 Q$\rightarrow$A は直接回答予測のパフォーマンスを測定するために使用され、Q$\rightarrow$AR は質問に答え、同時に理性を与えるジョイント能力を効果的に検討する。 広範囲な実験は、1,018の専門的な質問に対して40のLLMで実施されている。 この結果は、最良クローズドソース LLM である GPT-4 ターボでさえ、大学レベルの答えを「ガウス」する傾向があるという重要な知見を示している。 63.31%のQ$\rightarrow$Aから39.00%のQ$\rightarrow$ARまでの精度が劇的に低下し、不満足な推論能力を示している。

関連論文リスト

• SciEx: Benchmarking Large Language Models on Scientific Exams with Human Expert Grading and Automatic Grading [100.02175403852253]
  LLM(Large Language Models)の一般的な用途は、科学的トピックに関するタスクを実行することである。 そこで本稿では,大学生のこのような課題に対する評価方法に着想を得たSciExを提案する。 我々は,新しいベンチマークを用いて,最先端のLLMの性能評価を行った。
  論文  参考訳（メタデータ） (2024-06-14T21:52:21Z)
• LLMs Are Not Intelligent Thinkers: Introducing Mathematical Topic Tree Benchmark for Comprehensive Evaluation of LLMs [8.89259409245068]
  大規模言語モデル(LLM)は、数学的推論において印象的な能力を示す。 我々はMathematical Topics Tree (MaTT)ベンチマークを提示する。 最上級モデルであるGPT-4は,複数選択シナリオにおいて,わずか54%の精度を達成した。
  論文  参考訳（メタデータ） (2024-06-07T18:21:26Z)
• FAC$^2$E: Better Understanding Large Language Model Capabilities by Dissociating Language and Cognition [56.76951887823882]
  大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。 FAC$2$E, FAC$2$Eについて述べる。
  論文  参考訳（メタデータ） (2024-02-29T21:05:37Z)
• Direct Evaluation of Chain-of-Thought in Multi-hop Reasoning with Knowledge Graphs [52.42505579545893]
  大規模言語モデル(LLM)は、回答とともにチェーン・オブ・シントの説明を生成するよう促されたとき、強い推論能力を示す。 本稿では,LLMの推論知識と生成したCoTの精度を評価するために,新しい識別的・生成的CoT評価パラダイムを提案する。
  論文  参考訳（メタデータ） (2024-02-17T05:22:56Z)
• Beyond the Answers: Reviewing the Rationality of Multiple Choice Question Answering for the Evaluation of Large Language Models [29.202758753639078]
  本研究では,大規模言語モデル(LLM)の評価手法として,MCQA(Multiple Choice Question Answering)の限界について検討する。 本稿では,モデルの性能をより正確に反映できるMCQ(Multiple-Choice Questions, MCQA+)のデータセット拡張手法を提案する。
  論文  参考訳（メタデータ） (2024-02-02T12:07:00Z)
• Are Large Language Models Really Robust to Word-Level Perturbations? [68.60618778027694]
  本稿では,事前学習した報酬モデルを診断ツールとして活用する,新たな合理的評価手法を提案する。 より長い会話は、質問を理解する能力の観点から言語モデルの包括的把握を示す。 この結果から,LLMは日常言語でよく使われる単語レベルの摂動に対する脆弱性をしばしば示している。
  論文  参考訳（メタデータ） (2023-09-20T09:23:46Z)
• Through the Lens of Core Competency: Survey on Evaluation of Large Language Models [27.271533306818732]
  大規模言語モデル(LLM)は優れた性能と幅広い実用性を持っている。 既存の評価タスクは、現実世界のシナリオにおける幅広いアプリケーションに追いつくのは難しい。 LLMの4つのコア能力は、推論、知識、信頼性、安全性などである。 この能力アーキテクチャの下では、類似したタスクを組み合わせて対応する能力を反映し、新しいタスクをシステムに簡単に追加することができる。
  論文  参考訳（メタデータ） (2023-08-15T17:40:34Z)
• SciBench: Evaluating College-Level Scientific Problem-Solving Abilities of Large Language Models [70.5763210869525]
  拡張ベンチマークスイートSciBench for Large Language Model (LLM)を導入する。 SciBenchには、数学、化学、物理学の分野から、さまざまな大学レベルの科学的問題を含むデータセットが含まれている。 その結果、現在のLLMは満足のいく性能を達成できないことが判明し、全体のスコアは43.22%に過ぎなかった。
  論文  参考訳（メタデータ） (2023-07-20T07:01:57Z)
• CMMLU: Measuring massive multitask language understanding in Chinese [133.70911295934746]
  本稿では, 自然科学, 社会科学, 工学, 人文科学など, さまざまな分野をカバーする総合的な中国のベンチマークを紹介する。 CMMLUは、中国語の文脈における大きな言語モデルの知識と推論能力の評価におけるギャップを埋める。
  論文  参考訳（メタデータ） (2023-06-15T15:49:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。