論文の概要: EconEvals: Benchmarks and Litmus Tests for LLM Agents in Unknown Environments

• arxiv url: http://arxiv.org/abs/2503.18825v1
• Date: Mon, 24 Mar 2025 16:06:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-25 14:38:25.862285
• Title: EconEvals: Benchmarks and Litmus Tests for LLM Agents in Unknown Environments
• Title（参考訳）: EconEvals: 未知環境におけるLLMエージェントのベンチマークとLitmusテスト
• Authors: Sara Fish, Julia Shephard, Minkai Li, Ran I. Shorrer, Yannai A. Gonczarowski,
• Abstract要約: 我々は,未知の環境下で行動し,学習し,戦略を立てるLLMエージェントのベンチマークを開発する。 また, LLM および LLM エージェントの新しい定量尺度であるlitmus test も提案する。
• 参考スコア（独自算出の注目度）: 0.0699049312989311
• License:
• Abstract: We develop benchmarks for LLM agents that act in, learn from, and strategize in unknown environments, the specifications of which the LLM agent must learn over time from deliberate exploration. Our benchmarks consist of decision-making tasks derived from key problems in economics. To forestall saturation, the benchmark tasks are synthetically generated with scalable difficulty levels. Additionally, we propose litmus tests, a new kind of quantitative measure for LLMs and LLM agents. Unlike benchmarks, litmus tests quantify differences in character, values, and tendencies of LLMs and LLM agents, by considering their behavior when faced with tradeoffs (e.g., efficiency versus equality) where there is no objectively right or wrong behavior. Overall, our benchmarks and litmus tests assess the abilities and tendencies of LLM agents in tackling complex economic problems in diverse settings spanning procurement, scheduling, task allocation, and pricing -- applications that should grow in importance as such agents are further integrated into the economy.
• Abstract（参考訳）: 我々は、LLMエージェントが意図的な探索から時間をかけて学習しなければならない未知の環境で行動し、学習し、戦略を立てるLLMエージェントのベンチマークを開発する。 私たちのベンチマークは、経済学の重要な問題から導かれる意思決定タスクで構成されています。 飽和を抑えるため、ベンチマークタスクはスケーラブルな難易度で合成的に生成される。 さらに, LLM および LLM エージェントの新しい定量尺度であるlitmus test を提案する。 ベンチマークとは異なり、リトマステストはLLMエージェントとLLMエージェントの性格、値、傾向の違いを定量化し、客観的に正しい振る舞いや間違った振る舞いが存在しないトレードオフ(例えば効率対平等)に直面した際のそれらの振る舞いを考慮する。 総合的に、当社のベンチマークとリトマステストは、調達、スケジューリング、タスク割り当て、価格設定にまたがる複雑な経済問題に対処するLLMエージェントの能力と傾向を評価します。

関連論文リスト

• Distributive Fairness in Large Language Models: Evaluating Alignment with Human Values [13.798198972161657]
  多くの社会的問題は資源の分配に関係しており、公平さと経済効率は結果の望ましさにおいて重要な役割を担っている。 本稿では,大規模言語モデル (LLM) が基本的公平性の概念に準拠しているかどうかを考察し,人間の嗜好との整合性について検討する。
  論文  参考訳（メタデータ） (2025-02-01T04:24:47Z)
• Chat Bankman-Fried: an Exploration of LLM Alignment in Finance [4.892013668424246]
  司法管轄区域はAIの安全性に関する法律を制定するので、アライメントの概念を定義して測定する必要がある。 本稿では,大規模言語モデル(LLM)が比較的未探索の財務状況において,倫理的・法的基準に準拠するか否かを評価するための実験的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-11-01T08:56:17Z)
• Beyond Binary: Towards Fine-Grained LLM-Generated Text Detection via Role Recognition and Involvement Measurement [51.601916604301685]
  大規模言語モデル(LLM)は、オンライン談話における信頼を損なう可能性のあるコンテンツを生成する。 現在の手法はバイナリ分類に重点を置いており、人間とLLMのコラボレーションのような現実のシナリオの複雑さに対処できないことが多い。 バイナリ分類を超えてこれらの課題に対処するために,LLM生成コンテンツを検出するための新しいパラダイムを提案する。
  論文  参考訳（メタデータ） (2024-10-18T08:14:10Z)
• A Survey of Useful LLM Evaluation [20.048914787813263]
  2段階フレームワーク:コア能力からエージェントへ」 コア能力」の段階では, LLMの推論能力, 社会的影響, ドメイン知識について議論した。 エージェントの段階では, LLMエージェントアプリケーションの動作, 計画, ツール学習の具体化を実演した。
  論文  参考訳（メタデータ） (2024-06-03T02:20:03Z)
• CLAMBER: A Benchmark of Identifying and Clarifying Ambiguous Information Needs in Large Language Models [60.59638232596912]
  大規模言語モデル(LLM)を評価するベンチマークであるCLAMBERを紹介する。 分類を基盤として12Kの高品質なデータを構築し, 市販のLCMの強度, 弱点, 潜在的なリスクを評価する。 本研究は, あいまいなユーザクエリの特定と明確化において, 現在のLCMの実用性に限界があることを示唆する。
  論文  参考訳（メタデータ） (2024-05-20T14:34:01Z)
• Benchmarking LLMs via Uncertainty Quantification [91.72588235407379]
  オープンソースのLarge Language Models(LLM)の普及は、包括的な評価方法の緊急の必要性を強調している。 我々は不確実性定量化を統合した LLM のための新しいベンチマーク手法を提案する。 以上の結果より, 精度の高いLSMでは, 精度が低下する可能性があり, II) より大規模なLSMでは, より小型のLSMに比べて不確実性が高いこと, III) 命令ファインタニングではLCMの不確実性が高くなる傾向が示唆された。
  論文  参考訳（メタデータ） (2024-01-23T14:29:17Z)
• Survey on Factuality in Large Language Models: Knowledge, Retrieval and Domain-Specificity [61.54815512469125]
  本調査は,大規模言語モデル(LLM)における事実性の重要課題に対処する。 LLMが様々な領域にまたがる応用を見出すにつれ、その出力の信頼性と正確性は重要となる。
  論文  参考訳（メタデータ） (2023-10-11T14:18:03Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• Put Your Money Where Your Mouth Is: Evaluating Strategic Planning and Execution of LLM Agents in an Auction Arena [25.865825113847404]
  オークションをシミュレートする新しい評価スイートであるAucArenaを紹介する。 我々は,最先端の大規模言語モデル(LLM)を用いて,入札エージェントによる計画と実行スキルのベンチマークを行う制御実験を行う。
  論文  参考訳（メタデータ） (2023-10-09T14:22:09Z)
• AgentBench: Evaluating LLMs as Agents [88.45506148281379]
  大規模言語モデル(LLM)は、従来のNLPタスクを超えた現実的な実用的ミッションをターゲットとして、ますます賢く自律的になってきています。 我々は,現在8つの異なる環境からなるベンチマークであるAgentBenchを紹介し,LLM-as-Agentの推論と意思決定能力を評価する。
  論文  参考訳（メタデータ） (2023-08-07T16:08:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。