Fugu-MT 論文翻訳(概要): Economic Evaluations of Language Models

論文の概要: Economic Evaluations of Language Models

arxiv url: http://arxiv.org/abs/2607.19375v1
Date: Fri, 26 Jun 2026 22:26:40 GMT
ステータス: 翻訳完了
システム内更新日: 2026-07-27 00:46:13.13968
Title: Economic Evaluations of Language Models
Title（参考訳）: 言語モデルの経済評価
Abstract要約: EconEvalsは、米国の労働経済におけるタスク、労働活動、職業に関連する能力を測定するためのオープンソースの評価スイートである。われわれの評価は、米国占領の5%をカバーする既存の最先端技術であるOpenAIのGDPvalベンチマークを500倍のコストでカバーする。われわれの推計では、現在のモデルでは労働者が仕事の少なくとも半分を47%で相当な時間を節約できる。
参考スコア（独自算出の注目度）: 81.69183693497281
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Language models perform economically valuable work, yet they are not currently assessed for how well they perform every economically valuable task. We introduce EconEvals as an open-source evaluation suite to measure capabilities relevant to tasks, work activities, and occupations in the US labor economy. We ground the evaluation suite in real user queries to language models where possible, and supplement these with synthetic data. Our evaluations improve coverage over OpenAI's GDPval benchmark, which is the existing state-of-the-art that covers 5% of US occupations, at 500x lower cost. Alongside benchmarks, we also introduce a simulation-based exposure measure to estimate how much time current language model capabilities could save across all tasks belonging to all US occupations, with detailed accounting for each estimate. Our estimates indicate that current models could save workers substantial time on at least half of their tasks in 47% of occupations. However, for 79% of tasks where we predict substantial time savings, observed Claude usage is low, suggesting that existing usage lags potential. Beyond inherent constraints of language model chatbots, our data identifies privacy and proprietary systems as the principal bottlenecks limiting further time savings from AI. Overall, we introduce adaptable infrastructure that grounds inferences about language models' labor-market impact in their current capabilities, which can be continually updated as capabilities improve.
Abstract（参考訳）: 言語モデルは経済的に価値のある仕事をするが、現在、彼らが経済的に価値のある全てのタスクをどれだけうまく実行するかは評価されていない。我々は,EconEvalsをオープンソースの評価スイートとして導入し,米国の労働経済におけるタスク,作業活動,職業に関連する能力を測定する。実際のユーザクエリから可能な言語モデルまで,評価スイートを基盤として,これらを合成データで補足する。われわれの評価は、米国占領の5%をカバーする既存の最先端技術であるOpenAIのGDPvalベンチマークを500倍のコストでカバーする。ベンチマークと並行して、現在の言語モデルが米国のすべての職業に属するすべてのタスクに対してどれだけの時間を節約できるかを推定するシミュレーションベースの露出測定も導入し、各見積もりについて詳細な説明を行った。われわれの推計では、現在のモデルでは労働者が仕事の少なくとも半分を47%で相当な時間を節約できる。しかし、79%のタスクが相当な時間節約を予測しているため、観察されたクロードの使用率は低く、既存の使用が遅れる可能性が示唆されている。言語モデルチャットボットの固有の制約以外にも、私たちのデータはプライバシとプロプライエタリなシステムを、AIからさらなる時間節約を制限する主要なボトルネックとして認識しています。全体として、言語モデルが現在の能力に与える影響を推測する適応可能なインフラストラクチャを導入します。

関連論文リスト

WorldBench: Culturally Grounded Benchmark for Multilingual Agents [69.76002914143531]
既存のベンチマークでは、状態の保存、言語間のパフォーマンス、現実的な根拠のあるシナリオへのアプリケーションをテストすることはめったにない。 We present WorldBench: a comprehensive, multilingual benchmark, where agent can act in a sandbox via structured action。 WorldBenchは、7つの言語と8つの文化にまたがる1,600のタスクで構成され、人間のアノテータからのフィードバックによってフィルタリングされ洗練されている。
論文参考訳（メタデータ） (2026-09-01T10:53:07Z)
The Open Source Economic Index of AI Adoption and Capability [27.900759713490576]
我々は、AIの採用とAIの能力の両方を計測し、様々な職種で個別の労働タスクを実行することに取り組んでいます。我々は,オープンなユーザLLMチャットデータとO*NETタスクを用いて,フロンティアAIラボが作成した研究を再現するオープンソース経済指標を開発した。我々は,O*NETの職業,タスク,MCP(Model-Context-Protocol)サーバに根ざしたベンチマークシナリオを生成するシステムを構築した。
論文参考訳（メタデータ） (2026-05-23T18:45:42Z)
Automated Analysis of Sustainability Reports: Using Large Language Models for the Extraction and Prediction of EU Taxonomy-Compliant KPIs [21.656551146954587]
大規模言語モデル(LLM)は自動化への道筋を提供する。 190の企業レポートから,新たな構造化データセットを導入する。その結果,定性的タスクと量的タスクの間に明らかなパフォーマンスギャップが明らかとなった。
論文参考訳（メタデータ） (2025-12-30T15:28:03Z)
How AI Forecasts AI Jobs: Benchmarking LLM Predictions of Labor Market Changes [5.848712585343904]
本稿では,大規模言語モデル(LLM)が仕事需要の変化をどの程度予測できるかを評価するためのベンチマークを紹介する。当社のベンチマークでは、米国におけるセクターレベルの求職率の高頻度指標と、AIの採用による職業変化のグローバルデータセットの2つのデータセットを組み合わせています。その結果、構造化タスクは予測安定性を継続的に改善し、ペルソナプロンプトは短期的な傾向に有利であることがわかった。
論文参考訳（メタデータ） (2025-10-27T14:08:27Z)
GDPval: Evaluating AI Model Performance on Real-World Economically Valuable Tasks [34.63352957472507]
GDPvalは、実世界の経済的に価値のあるタスクでAI能力を評価するベンチマークである。 GDPvalは、米国労働統計局(U.S. Bureau of Labor Statistics Work Activity)の大多数をカバーしている。我々は、人間の監視と組み合わせることで、フロンティアモデルの可能性を分析し、知らない専門家よりもGDPvalタスクを安価かつ高速に実行します。
論文参考訳（メタデータ） (2025-10-05T21:36:43Z)
Context is Key: A Benchmark for Forecasting with Essential Textual Information [87.3175915185287]
コンテキスト is Key" (CiK) は、数値データを多種多様なテキストコンテキストと組み合わせた予測ベンチマークである。我々は,統計モデル,時系列基礎モデル,LLMに基づく予測モデルなど,さまざまなアプローチを評価する。提案手法は,提案するベンチマークにおいて,他の試験手法よりも優れる簡易かつ効果的なLCMプロンプト法である。
論文参考訳（メタデータ） (2024-10-24T17:56:08Z)
LiveXiv -- A Multi-Modal Live Benchmark Based on Arxiv Papers Content [62.816876067499415]
我々は、科学的ArXiv論文に基づくスケーラブルな進化型ライブベンチマークであるLiveXivを提案する。 LiveXivは、任意のタイムスタンプでドメイン固有の原稿にアクセスし、視覚的な問合せペアを自動的に生成することを提案する。ベンチマークの最初のバージョンで、複数のオープンでプロプライエタリなLMM(Large Multi-modal Models)をベンチマークし、その挑戦的な性質を示し、モデルの真の能力を明らかにする。
論文参考訳（メタデータ） (2024-10-14T17:51:23Z)
LLMs in the Loop: Leveraging Large Language Model Annotations for Active Learning in Low-Resource Languages [1.149936119867417]
低リソース言語は、限られた言語資源とデータラベリングの専門知識のために、AI開発において重大な障壁に直面している。データアノテーションのアクティブ学習ループにおけるLLMの可能性を活用することを提案する。 GPT-4-Turboを用いた実証的な評価では、データ要求が大幅に削減され、最先端の性能が実証された。
論文参考訳（メタデータ） (2024-04-02T19:34:22Z)
Privacy Adhering Machine Un-learning in NLP [66.17039929803933]
現実の業界では、機械学習を使ってユーザデータに基づくモデルを構築します。このような委任事項には、データだけでなく、モデルの再トレーニングにも労力が要る。データの継続的な削除とモデル再訓練のステップはスケールしませんこの課題に対処するために、textitMachine Unlearningを提案する。
論文参考訳（メタデータ） (2022-12-19T16:06:45Z)
Forecasting Future World Events with Neural Networks [68.43460909545063]
Autocastは数千の予測質問と付随するニュースコーパスを含むデータセットである。ニュースコーパスは日付によって整理され、人間が過去の予測を行った条件を正確にシミュレートすることができる。予測タスクで言語モデルをテストし、パフォーマンスが人間専門家のベースラインよりはるかに低いことを確認します。
論文参考訳（メタデータ） (2022-06-30T17:59:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。