論文の概要: TuringQ: Benchmarking AI Comprehension in Theory of Computation
- arxiv url: http://arxiv.org/abs/2410.06547v1
- Date: Wed, 09 Oct 2024 04:53:38 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-10-10 14:32:35.967076
- Title: TuringQ: Benchmarking AI Comprehension in Theory of Computation
- Title(参考訳): TuringQ: 計算理論におけるAI理解のベンチマーク
- Authors: Pardis Sadat Zahraei, Ehsaneddin Asgari,
- Abstract要約: 本稿では,計算理論における大規模言語モデル(LLM)の推論能力を評価するために設計された最初のベンチマークであるTuringQを紹介する。
チューリングQは4,006人の学部生と大学院レベルの質問応答ペアで構成され、難易度は4つの難易度に分類され、7つの中核的な理論領域をカバーする。
- 参考スコア(独自算出の注目度): 0.9023847175654603
- License:
- Abstract: We present TuringQ, the first benchmark designed to evaluate the reasoning capabilities of large language models (LLMs) in the theory of computation. TuringQ consists of 4,006 undergraduate and graduate-level question-answer pairs, categorized into four difficulty levels and covering seven core theoretical areas. We evaluate several open-source LLMs, as well as GPT-4, using Chain of Thought prompting and expert human assessment. Additionally, we propose an automated LLM-based evaluation system that demonstrates competitive accuracy when compared to human evaluation. Fine-tuning a Llama3-8B model on TuringQ shows measurable improvements in reasoning ability and out-of-domain tasks such as algebra. TuringQ serves as both a benchmark and a resource for enhancing LLM performance in complex computational reasoning tasks. Our analysis offers insights into LLM capabilities and advances in AI comprehension of theoretical computer science.
- Abstract(参考訳): 本稿では,計算理論における大規模言語モデル(LLM)の推論能力を評価するために設計された最初のベンチマークであるTuringQを紹介する。
チューリングQは4,006人の学部生と大学院レベルの質問応答ペアで構成され、難易度は4つの難易度に分類され、7つの中核的な理論領域をカバーする。
我々は、Chain of Thoughtのプロンプトと専門家による人間の評価を用いて、オープンソースのLCMとGPT-4を評価した。
また,人間の評価と比較した場合の競合精度を示すLLMに基づく自動評価システムを提案する。
チューリングQ上のLlama3-8Bモデルを微調整すると、推論能力や代数のような領域外タスクの計測精度が向上する。
TuringQ は複雑な計算推論タスクにおいて LLM 性能を向上させるためのベンチマークとリソースとして機能する。
我々の分析は、LLMの能力と理論計算機科学のAI理解の進歩に関する洞察を提供する。
関連論文リスト
- MR-BEN: A Comprehensive Meta-Reasoning Benchmark for Large Language Models [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。
メタ推論スキルを必要とするプロセスベースのベンチマークを提案する。
MR-BENは、人間の専門家から収集された5,975の質問からなる総合的なベンチマークである。
論文 参考訳(メタデータ) (2024-06-20T03:50:23Z) - Leveraging Large Language Models for Concept Graph Recovery and Question
Answering in NLP Education [14.908333207564574]
大規模言語モデル(LLM)は、テキスト生成タスクにおいて有望であることを示す。
本研究は,概念グラフの回復と質問応答(QA)に焦点を当てる。
TutorQAタスクでは、LLMは最大26%のF1スコア向上を達成する。
論文 参考訳(メタデータ) (2024-02-22T05:15:27Z) - Evaluating LLMs' Mathematical Reasoning in Financial Document Question
Answering [53.56653281752486]
本研究では,大言語モデルによる4つの財務質問応答データセットの数学的推論について検討する。
数理推論のステップの数が増えるにつれて、テーブルの複雑さや性能の変化に対する感度に焦点をあてる。
半構造化文書に適した新しいプロンプト技術を導入する。
論文 参考訳(メタデータ) (2024-02-17T05:10:18Z) - Evaluating LLMs' Mathematical and Coding Competency through Ontology-guided Interventions [47.83142414018448]
大規模言語モデル(LLM)は論理的推論ベンチマークで顕著な結果を示した。
算術的推論とコード生成という,2つの一般的な推論タスクに注目します。
質問に対して、すべてのモデルで大幅なパフォーマンス低下を見せています。
論文 参考訳(メタデータ) (2024-01-17T18:13:07Z) - LLMs for Relational Reasoning: How Far are We? [8.840750655261251]
大規模言語モデル(LLM)は、下流タスクで最先端のパフォーマンスを達成することで、多くの領域に革命をもたらした。
近年の取り組みにより,LSMは逐次決定問題の解決に乏しいことが示されている。
論文 参考訳(メタデータ) (2024-01-17T08:22:52Z) - CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。
このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。
LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
論文 参考訳(メタデータ) (2023-11-29T08:29:54Z) - Towards LogiGLUE: A Brief Survey and A Benchmark for Analyzing Logical Reasoning Capabilities of Language Models [56.34029644009297]
大規模言語モデル(LLM)は、形式的知識表現(KR)システムの様々な制限を克服する能力を示した。
LLMは誘導的推論において最も優れているが、誘導的推論では最も効果が低い。
モデルの性能を評価するため,シングルタスクトレーニング,マルチタスクトレーニング,および「チェーンオブ思考」知識蒸留細調整技術について検討した。
論文 参考訳(メタデータ) (2023-10-02T01:00:50Z) - Lila: A Unified Benchmark for Mathematical Reasoning [59.97570380432861]
LILAは、23の多様なタスクと4次元からなる統一的な数学的推論ベンチマークである。
我々は,Pythonプログラムの形式でタスク命令とソリューションを収集することにより,20のデータセットベンチマークを拡張してベンチマークを構築した。
LILAで訓練された汎用数学的推論モデルであるBHASKARAを紹介する。
論文 参考訳(メタデータ) (2022-10-31T17:41:26Z) - NumGLUE: A Suite of Fundamental yet Challenging Mathematical Reasoning
Tasks [37.730939229638224]
8つのタスクでAIシステムの性能を評価するベンチマークであるNumGLUEを提案する。
このベンチマークは、最先端の大規模言語モデルを含むニューラルモデルで解決されるには程遠い。
我々はNumGLUEが言語内で堅牢で一般的な算術推論を行うシステムを促進することを願っている。
論文 参考訳(メタデータ) (2022-04-12T09:36:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。