論文の概要: ESF-Bench: Benchmarking Challenging Slot-Filling Scenarios for Real-World Enterprise Applications

• arxiv url: http://arxiv.org/abs/2607.23326v1
• Date: Sat, 25 Jul 2026 18:38:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-28 22:34:15.062644
• Title: ESF-Bench: Benchmarking Challenging Slot-Filling Scenarios for Real-World Enterprise Applications
• Title（参考訳）: ESF-Bench: 実世界のエンタープライズアプリケーションのためのSlot-Fillingシナリオのベンチマーク
• Abstract要約: 本研究では,8つのドメイン上の810個のマルチターンサンプルと6530個のスロットからなるエンタープライズスロットフィリングベンチマークであるESF-Benchを紹介する。 この領域での継続的な研究をサポートするため、ベンチマークデータセット、分類、およびそれに伴う評価コードをGitHubで公開しています。
• 参考スコア（独自算出の注目度）: 6.201342624906523
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: The rapid rise of large language models (LLMs) has driven transformative adoption across enterprises. However, deploying these models in real-world settings presents unique challenges due to complex system constraints and unexpected user behaviors. Among these applications, slot filling is essential for converting unstructured input into structured, actionable data. In this work, we introduce ESF-Bench, a challenging Enterprise Slot Filling benchmark consisting of 810 multi-turn samples and 6530 slots over 8 unique domains. Curated using a taxonomy of the 57 most challenging slot-filling scenarios observed during real-world enterprise deployments, ESF-Bench exposes notable limitations in current state-of-the-art LLMs, with GPT-OSS-120b low successfully extracting slots for only 20.7% of benchmark samples. To support continued research in this area, we publicly release the benchmark dataset, taxonomy, and accompanying evaluation code on GitHub.
• Abstract（参考訳）: 大規模言語モデル(LLM)の急速な普及は、企業間での変革的な採用を促している。 しかしながら、これらのモデルを実環境にデプロイすることは、複雑なシステムの制約と予期せぬユーザの振る舞いによって、ユニークな課題を生じさせる。 これらのアプリケーションの中で、スロットフィリングは構造化されていない入力を構造化可能なデータに変換するのに不可欠である。 本研究では,8つのドメイン上の810個のマルチターンサンプルと6530個のスロットからなるエンタープライズスロットフィリングベンチマークであるESF-Benchを紹介する。 ESF-Benchは、実世界の企業展開で観測された57の最も困難なスロットフィリングシナリオの分類を用いて、現在の最先端のLCMにおいて注目すべき制限を明らかにし、GPT-OSS-120bはベンチマークサンプルのわずか20.7%でスロットの抽出に成功した。 この領域での継続的な研究をサポートするため、ベンチマークデータセット、分類、およびそれに伴う評価コードをGitHubで公開しています。

関連論文リスト

• xDailyBench: Benchmarking LLMs on Professional Consultation for Real-Life Problems [57.62172039072062]
  xDailyBenchは、個人生活、ホワイトカラーワーク、学習と研究、ドメイン横断アクティビティなど、51のシナリオにまたがる248の慎重にキュレートされたタスクのベンチマークである。 これらのタスクは、ユーザがAIで実際に完了した、あるいは真に達成することを意図した要求に基づいており、明示的な要件と暗黙的な要件の両方をカバーする、きめ細かいバイナリルーブリックで評価される。 最高のモデルではタスクレベルのスコアが75.6%に達し、すべてのモデルは明示的な要件よりも暗黙的にパフォーマンスが悪く、ギャップは9ポイント以下である。
  論文  参考訳（メタデータ） (2026-09-07T17:30:58Z)
• From Production Traffic to Post-Training: Building a Self-Hosted LLM That Covers the Corporate Request Mix [55.08143827481755]
  200以上の内部アプリケーションから1つのモデルにトラフィックを集約します。 我々は、各軸ごとに別々のGRPOエキスパートを訓練し、2段階のSLERPを介してそれらをマージする。 このモデルは、プラットフォームトラフィックの50%、月1億6600万リクエストをサービスコストのごく一部で吸収する。
  論文  参考訳（メタデータ） (2026-09-01T17:39:26Z)
• RESTOR: Automated Test Oracle Generation for RESTful APIs via Reinforcement Learning [21.927343858709122]
  Restorは、ブラックボックスの設定で単一のリクエスト-レスポンスペアから実行可能なテストアサーションを生成するフレームワークである。 実世界の246のサービスにまたがる2,300以上のAPIトレースからなる産業データセット上でRestorを評価する。
  論文  参考訳（メタデータ） (2026-07-27T03:20:28Z)
• OmniaBench: Benchmarking General AI Agents Across Diverse Scenarios [25.68270661401607]
  OmniaBenchは、明示的な状態空間を持つ様々なシナリオにまたがる汎用エージェントを評価するベンチマークである。 実行環境を構築し,4つの相補経路を通した単一ターンタスクと複数ターンタスクを合成する。 ベンチは現在のフロンティアモデルに重大な課題を示しており、クロード・ソネット-5とGPT-5.6-ソルもそれぞれ58.54点と57.14点の総合パス@1点を達成している。
  論文  参考訳（メタデータ） (2026-07-16T13:38:07Z)
• Towards Large Model Feature Coding [90.89390892560094]
  大規模モデル特徴符号化(LaMoFC)のためのベンチマークおよび評価フレームワークを提案する。 まず、機能データセットLaMoFCBenchを構築し、4つのカテゴリと16のシナリオで多様なタスク要件をカバーしました。 次に、実際の応用シナリオに従って代表分割点を指定し、中間的特徴を抽出する。
  論文  参考訳（メタデータ） (2026-05-20T13:39:48Z)
• H2LooP Spark Preview: Continual Pretraining of Large Language Models for Low-Level Embedded Systems Code [7.026788530015788]
  H2LooP Spark Previewは、OLMo-3-7B(完全にオープンな言語モデル)を組み込みシステムドメインに適合させる、継続的な事前トレーニングパイプラインである。 当社のトレーニングコーパスは,117メーカーにまたがる100Bの生組込みシステムデータのトークンを格納したリポジトリとデータベースのペアから構築されている。 高いランクのLoRAによる継続的な事前トレーニングでは、相当な利得が得られ、ドメイン内のパープレキシティは70.4%減少し、リポジトリのパープレキシティは66.1%減少する。
  論文  参考訳（メタデータ） (2026-03-11T16:32:14Z)
• Immersion in the GitHub Universe: Scaling Coding Agents to Mastery [60.359983359258955]
  ScaleSWEは、高品質なSWEデータを大規模に構築するために設計された、自動化されたサンドボックス化されたマルチエージェントワークフローである。 このシステムは、環境設定、テスト生成、問題記述合成のための3つの特別なエージェントをコーディネートし、5200リポジトリにわたる600万のプルリクエストを処理する。
  論文  参考訳（メタデータ） (2026-02-10T15:30:19Z)
• Adaptive Dual-Weighting Framework for Federated Learning via Out-of-Distribution Detection [53.45696787935487]
  Federated Learning (FL)は、大規模分散サービスノード間の協調的なモデルトレーニングを可能にする。 実世界のサービス指向デプロイメントでは、異種ユーザ、デバイス、アプリケーションシナリオによって生成されたデータは本質的にIIDではない。 FLoodは、オフ・オブ・ディストリビューション(OOD)検出にインスパイアされた新しいFLフレームワークである。
  論文  参考訳（メタデータ） (2026-02-01T05:54:59Z)
• Real-IAD Variety: Pushing Industrial Anomaly Detection Dataset to a Modern Era [110.83702639978469]
  Real-IAD Varietyは、160の異なる対象カテゴリにわたる198,960の高解像度画像からなる、最大かつ最も多様なIADベンチマークである。 その多様性は、28の産業、24の素材タイプ、22のカラーバリエーションを包括的にカバーすることで保証されている。 この重要な分野のイノベーションを促進するために、Real-IAD Varietyが公開される。
  論文  参考訳（メタデータ） (2025-11-01T12:58:02Z)
• LongWeave: A Long-Form Generation Benchmark Bridging Real-World Relevance and Verifiability [60.451734326001564]
  textbfLongWeaveを導入し、Constraint-Verifier Evaluation(CoV-Eval)による実世界と検証のバランスをとる。 LongWeaveは7つの異なるタスクに対して、カスタマイズ可能な入出力長(最大64K/8Kトークン)をサポートする。 23大言語モデルの評価は、実世界の複雑さと出力長の増加に伴い、最先端モデルでさえ、長文生成において重大な課題に直面していることを示している。
  論文  参考訳（メタデータ） (2025-10-28T12:11:12Z)
• Evaluating the Limitations of Local LLMs in Solving Complex Programming Challenges [0.31498833540989407]
  本研究では,オープンソースのローカルホスト型大規模言語モデル(LLM)による複雑なプログラミングタスクの処理性能について検討する。 AI駆動のコード生成評価(FACE)のためのオリジナルのフレームワークをベースとして、著者らはパイプラインを完全にオフラインで動作するように改造した。 その結果、パス@1の精度は局所モデルでは控えめであり、最高のモデルはプロプライエタリモデルの受け入れ率の約半分であることがわかった。
  論文  参考訳（メタデータ） (2025-09-18T14:13:30Z)
• SWE-MERA: A Dynamic Benchmark for Agenticly Evaluating Large Language Models on Software Engineering Tasks [3.3037205426689433]
  ソフトウェア工学における大規模言語モデル(LLM)は、既存のベンチマークにおいて重要な制限を明らかにしている。 例えば、SWE-benchのレポートでは、パッチの32.67%は直接の溶液漏れを含んでいる。 SWE-MERA(SWE-MERA)は、これらの基本的な課題に対処するために設計された、動的で継続的に更新されたベンチマークである。
  論文  参考訳（メタデータ） (2025-07-15T07:52:33Z)
• DiscoveryBench: Towards Data-Driven Discovery with Large Language Models [50.36636396660163]
  我々は、データ駆動探索の多段階プロセスを形式化する最初の包括的なベンチマークであるDiscoveryBenchを紹介する。 我々のベンチマークには、社会学や工学などの6つの分野にまたがる264のタスクが含まれている。 私たちのベンチマークでは、自律的なデータ駆動型発見の課題を説明し、コミュニティが前進するための貴重なリソースとして役立ちます。
  論文  参考訳（メタデータ） (2024-07-01T18:58:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。