Fugu-MT 論文翻訳(概要): Auto-Bench: An Automated Benchmark for Scientific Discovery in LLMs

論文の概要: Auto-Bench: An Automated Benchmark for Scientific Discovery in LLMs

arxiv url: http://arxiv.org/abs/2502.15224v1
Date: Fri, 21 Feb 2025 05:35:20 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-24 16:10:43.890567
Title: Auto-Bench: An Automated Benchmark for Scientific Discovery in LLMs
Title（参考訳）: Auto-Bench: LLMの科学的発見のための自動ベンチマーク
Authors: Tingting Chen, Srinivas Anumasa, Beibei Lin, Vedant Shah, Anirudh Goyal, Dianbo Liu,
Abstract要約: 自然科学と社会科学の両方において科学的発見のための大規模言語モデル(LLM)を評価するための新しいベンチマークを導入する。我々のベンチマークは因果グラフ発見の原理に基づいており、隠れ構造を発見し、有効な正当性を生成することを含む最適な決定を行うためのモデルに挑戦する。我々は,GPT-4,Gemini,Qwen,Claude,Llamaを含む最先端のLCMを評価し,問題を複雑化するにつれて性能低下を観測した。
参考スコア（独自算出の注目度）: 23.608962459019278
License:
Abstract: Given the remarkable performance of Large Language Models (LLMs), an important question arises: Can LLMs conduct human-like scientific research and discover new knowledge, and act as an AI scientist? Scientific discovery is an iterative process that demands efficient knowledge updating and encoding. It involves understanding the environment, identifying new hypotheses, and reasoning about actions; however, no standardized benchmark specifically designed for scientific discovery exists for LLM agents. In response to these limitations, we introduce a novel benchmark, \textit{Auto-Bench}, that encompasses necessary aspects to evaluate LLMs for scientific discovery in both natural and social sciences. Our benchmark is based on the principles of causal graph discovery. It challenges models to uncover hidden structures and make optimal decisions, which includes generating valid justifications. By engaging interactively with an oracle, the models iteratively refine their understanding of underlying interactions, the chemistry and social interactions, through strategic interventions. We evaluate state-of-the-art LLMs, including GPT-4, Gemini, Qwen, Claude, and Llama, and observe a significant performance drop as the problem complexity increases, which suggests an important gap between machine and human intelligence that future development of LLMs need to take into consideration.
Abstract（参考訳）: LLMは人間のような科学的研究を行い、新しい知識を発見し、AI科学者として振る舞うことができるのか? 科学的発見は、効率的な知識の更新と符号化を要求する反復的なプロセスである。環境を理解し、新しい仮説を特定し、行動について推論するが、科学的な発見のために特別に設計された標準ベンチマークは存在しない。これらの制約に対応するために,自然科学と社会科学の両方において科学的な発見に必要なLCMを評価するための新しいベンチマークである「textit{Auto-Bench}」を導入する。我々のベンチマークは因果グラフ発見の原理に基づいている。隠された構造を解明し、妥当な正当化を含む最適な決定を行うためのモデルに挑戦する。オラクルと対話することで、モデルは戦略的介入を通じて、基礎となる相互作用、化学と社会的相互作用に対する理解を反復的に洗練する。我々は、GPT-4、Gemini、Qwen、Claude、Llamaを含む最先端のLLMを評価し、問題を複雑化するにつれて大幅な性能低下を観察する。

関連論文リスト

Large Language Models Think Too Fast To Explore Effectively [0.0]
大規模言語モデルが、特にオープンなタスクにおいて、効果的に探索できる範囲は、まだ不明である。本研究では、Little Alchemy 2をパラダイムとして、オープンエンドタスクにおいて、LLMが人間を超えることができるかどうかを検討する。
論文参考訳（メタデータ） (2025-01-29T21:51:17Z)
Improving Scientific Hypothesis Generation with Knowledge Grounded Large Language Models [20.648157071328807]
大規模言語モデル(LLM)は、既存の知識を分析することによって、新しい研究の方向性を特定することができる。 LLMは幻覚を発生させる傾向がある。我々は,知識グラフから外部構造的知識を統合することで,LLM仮説の生成を促進するシステムKG-CoIを提案する。
論文参考訳（メタデータ） (2024-11-04T18:50:00Z)
Cognitive LLMs: Towards Integrating Cognitive Architectures and Large Language Models for Manufacturing Decision-making [51.737762570776006]
LLM-ACTRは、ヒトに適応し、多目的な意思決定を提供する新しいニューロシンボリックアーキテクチャである。我々のフレームワークは、ACT-Rの内部決定過程の知識を潜在神経表現として抽出し、組み込む。デザイン・フォー・マニュファクチャリング・タスクに関する我々の実験は、タスク性能の向上と基礎的意思決定能力の向上を両立させたものである。
論文参考訳（メタデータ） (2024-08-17T11:49:53Z)
MR-Ben: A Meta-Reasoning Benchmark for Evaluating System-2 Thinking in LLMs [55.20845457594977]
大規模言語モデル(LLM)は、問題解決と意思決定の能力の向上を示している。本稿ではメタ推論技術を必要とするプロセスベースのベンチマークMR-Benを提案する。メタ推論のパラダイムは,システム2のスロー思考に特に適しています。
論文参考訳（メタデータ） (2024-06-20T03:50:23Z)
SciKnowEval: Evaluating Multi-level Scientific Knowledge of Large Language Models [35.98892300665275]
SciKnowEvalベンチマーク(SciKnowEval benchmark)は,5つの科学的知識の段階にわたる大規模言語モデル(LLM)を評価するフレームワークである。これらのレベルは、記憶、理解、推論、識別、応用を含むLLMにおける科学知識の幅と深さを評価することを目的としている。ゼロショットと少数ショットのプロンプト戦略を用いて、26の高度なオープンソースおよびプロプライエタリなLCMをベンチマークした。
論文参考訳（メタデータ） (2024-06-13T13:27:52Z)
LLM and Simulation as Bilevel Optimizers: A New Paradigm to Advance Physical Scientific Discovery [141.39722070734737]
本稿では,大規模言語モデルの知識駆動型抽象推論能力をシミュレーションの計算力で強化することを提案する。本稿では,2段階最適化フレームワークであるSGA(Scientific Generative Agent)を紹介する。法発見と分子設計における枠組みの有効性を実証するための実験を行った。
論文参考訳（メタデータ） (2024-05-16T03:04:10Z)
ALCM: Autonomous LLM-Augmented Causal Discovery Framework [2.1470800327528843]
我々は、データ駆動因果探索アルゴリズムと大規模言語モデルとを相乗化するために、ALCM(Autonomous LLM-Augmented Causal Discovery Framework)という新しいフレームワークを導入する。 ALCMは、因果構造学習(英語版)、因果ラッパー(英語版)、LLM駆動因果リファクター(英語版)の3つの統合的な構成要素から構成される。我々は、よく知られた7つのデータセットに2つのデモを実装することで、ALCMフレームワークを評価する。
論文参考訳（メタデータ） (2024-05-02T21:27:45Z)
Explaining Large Language Models Decisions Using Shapley Values [1.223779595809275]
大規模言語モデル(LLM)は、人間の行動や認知過程をシミュレートするエキサイティングな可能性を開いた。しかし, LLMを人体用スタンドインとして活用する妥当性は, いまだに不明である。本稿では,モデルの出力に対する各プロンプト成分の相対的寄与を定量化するために,シェープリー値に基づく新しい手法を提案する。
論文参考訳（メタデータ） (2024-03-29T22:49:43Z)
Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
論文参考訳（メタデータ） (2024-02-19T11:11:08Z)
Discovery of the Hidden World with Large Language Models [95.58823685009727]
本稿では,大きな言語モデル(LLM)を導入してギャップを埋めるCausal representatiOn AssistanT(COAT)を提案する。 LLMは世界中の大規模な観測に基づいて訓練されており、構造化されていないデータから重要な情報を抽出する優れた能力を示している。 COATはまた、特定変数間の因果関係を見つけるためにCDを採用し、提案された要因を反復的に洗練するためにLSMにフィードバックを提供する。
論文参考訳（メタデータ） (2024-02-06T12:18:54Z)
SciBench: Evaluating College-Level Scientific Problem-Solving Abilities of Large Language Models [70.5763210869525]
拡張ベンチマークスイートSciBench for Large Language Model (LLM)を導入する。 SciBenchには、数学、化学、物理学の分野から、さまざまな大学レベルの科学的問題を含むデータセットが含まれている。その結果、現在のLLMは満足のいく性能を達成できないことが判明し、全体のスコアは43.22%に過ぎなかった。
論文参考訳（メタデータ） (2023-07-20T07:01:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。