論文の概要: Era by Eon: Benchmarking Enterprise Agents on Hidden Knowledge

• arxiv url: http://arxiv.org/abs/2609.30055v1
• Date: Thu, 24 Sep 2026 16:12:27 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-25 21:10:10.093722
• Title: Era by Eon: Benchmarking Enterprise Agents on Hidden Knowledge
• Title（参考訳）: Era by Eon: 隠れた知識に基づくエンタープライズエージェントのベンチマーク
• Abstract要約: Era by Eonベンチマークでは、各質問はその回答のルールを記述している。 コードは生成された企業のデータから回答を計算する。 6つのモデルのうち4つは、どんなプログラムでも24の少なくとも6つに答える。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the Era by Eon benchmark, each question states the rules for its answer, and code computes the answer from a generated company's data. When agents can run code, the four strongest models each answer 22 to 25 of 27 such questions, so the benchmark barely separates them. We add eight question templates that depend on hidden facts. No question or document states a hidden fact, and the records that seem to hold it show something else. Other data implies it. For example, the sales system says a customer dropped a purchase because of timing. On a recorded call, the customer blames an outage. For each generated company, code fills each template and computes an exact answer without a language model. We evaluate 12 agents. Each pairs a model with an agent program, which connects it to the company's systems. The best agent answers 18 of its 24 attempts, three per question, correctly. Four of the six models answer at most 6 of 24 with any program. The hardest questions require picking one of several similar records, such as which of three renewal offers a customer signed. All agents together answered two such questions correctly in only 1 of 84 attempts.
• Abstract（参考訳）: Era by Eonベンチマークでは、各質問がその回答のルールを記述し、コードが生成された企業のデータから回答を計算する。 エージェントがコードを実行できる場合、4つの最強のモデルはそれぞれ、27問中22問から25問に答える。 隠れた事実に依存する8つの質問テンプレートを追加します。 疑問や文書には隠された事実は書かれていない。 その他のデータはそれを暗示している。 例えば、販売システムでは、顧客がタイミングのために購入を落としたと言っている。 記録された電話で、顧客は停止を非難します。 生成された企業ごとに、コードはテンプレートを埋め、言語モデルなしで正確な回答を計算する。 我々は12のエージェントを評価した。 それぞれがモデルをエージェントプログラムと組み合わせて、会社のシステムに接続する。 ベストエージェントは、24回の試行のうち18回、質問ごとに3回、正確に答える。 6つのモデルのうち4つは、どんなプログラムでも24の少なくとも6つに答える。 最も難しい質問は、顧客が署名した3つのリニューアルのどれかなど、いくつかの類似したレコードを選択する必要がある。 全てのエージェントは、84回中1回だけに2つの質問に正しく答えた。

関連論文リスト

• Low-Cost Assays for Measuring Model Behavior Across Vendors and Releases [3.7734715043126488]
  言語モデルは人々に助言し、一緒に保ち、寝ている間にソフトウェアを書きます。 モデルビヘイビアを研究するための,シンプルで安価で,スケーラブルで,レプリカ可能なモデルを提案する。 それぞれの研究は、クロスベンダーパネル上で、一モデルあたり数ドル以下で、凍結した公共の刺激が実行されます。
  論文  参考訳（メタデータ） (2026-09-24T15:51:17Z)
• An Empirical Evaluation of Cost-Efficient Large Language Models on Algorithmic Programming Tasks [0.0]
  38.4%のメソッドは返却した値を計算せず、返却された回答の12.9%のみが正しい。 結果クラスの条件は、応答の信頼性と正しさが逆関係であることを示しているが、真の計算方法が最も多く答えられ、19.3%が正しかった。
  論文  参考訳（メタデータ） (2026-09-16T02:55:03Z)
• Codebook Agent: Amortized Topology Design for LLM Multi-Agent Systems [67.04448659688579]
  クエリ非依存の16エントリのコードブックを開発し、上位のデコード候補を1回のバッチフォワードパスでランク付けする。 反復検索がなく、テスト時にメッセージパッシングがないため、Codebook Agentは6つのベンチマークでもっとも正確な方法である。
  論文  参考訳（メタデータ） (2026-09-02T08:10:22Z)
• mimeo: Compiling Public Expert Corpora into Agent Skills and Testing What Transfers [0.0]
  エージェントに専門家に関するファイルを与えると、ハード・トゥ・フィニッシュな素材を提供し、認識可能なペルソナを生成したり、エージェントが決定する内容を変更することができるかどうかをテストする。 Mimeoはオープンソースのツールで、人の公開作業を見つけ、抽出された各引用をキャッシュされたソーステキストと照合し、エージェントがロードできるファイルを書き込む。
  論文  参考訳（メタデータ） (2026-08-31T22:46:48Z)
• MoCA-Agent: A Market-of-Claims Code Agent for Financial and Numerical Reasoning [47.751319722749116]
  textscMOCA-Agentは、フリーフォームのマルチエージェントの議論をクレームレベルの検証に置き換える、有望なコードエージェントである。 このシステムは、各質問をタイプされた原子的クレームに分解し、専門家のトレーダーにそれらのクレームの売買を依頼し、信頼度の高い受け入れ/拒絶決定へと命令をクリアする。 コード認識検証器は、実行、構造整合性、一般的な金銭的推論エラーのプログラムをチェックする。
  論文  参考訳（メタデータ） (2026-06-10T00:45:39Z)
• No Single Best Model for Diversity: Learning a Router for Sample Diversity [69.53166985556759]
  本稿では,有効な応答の集合を包括的に抽出する手法について検討する。 本稿では,各回答に割り当てられた品質スコアを計測する指標であるtextbfdiversity Cover を紹介する。 各プロンプトには、多様な回答セットを生成する際に、他のすべてのモデルよりも大幅に優れるモデルが存在する。
  論文  参考訳（メタデータ） (2026-04-02T17:58:37Z)
• Getting MoRE out of Mixture of Language Model Reasoning Experts [71.61176122960464]
  多様な特殊言語モデルを組み込んだMixture-of-Reasoning-Experts (MoRE) フレームワークを提案する。 実例,マルチホップ,数学的,コモンセンス推論など,さまざまな推論カテゴリに最適化されたプロンプトを備えたバックボーン言語モデルを特化する。 人間の研究では、専門家による予測と回答の選択プロセスが、アノテータがシステムの出力を信頼するタイミングをより正確に調整するのに役立ちます。
  論文  参考訳（メタデータ） (2023-05-24T02:00:51Z)
• MultiModalQA: Complex Question Answering over Text, Tables and Images [52.25399438133274]
  テキスト,テーブル,画像に対する共同推論を必要とするデータセットであるMultiModalQAを提案する。 大規模で複雑なマルチモーダル質問を生成するための新しいフレームワークを使用してMMQAを作成します。 次に、単一のモダリティから回答できる質問を受け取り、それらを組み合わせてクロスモーダルな質問を生成する形式言語を定義します。
  論文  参考訳（メタデータ） (2021-04-13T09:14:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。