論文の概要: The More the Better? A Comparison of Single- and Multi-Agent LLM Setups on a Financial Review Task

• arxiv url: http://arxiv.org/abs/2610.27488v1
• Date: Tue, 20 Oct 2026 01:55:24 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.583609
• Title: The More the Better? A Comparison of Single- and Multi-Agent LLM Setups on a Financial Review Task
• Title（参考訳）: より良くなったか?財務審査課題における単一・多エージェントLCMセットアップの比較
• Abstract要約: 1人のエージェントが1回の呼び出しで6つの要件をチェックします。同じモデル上の3人のチームが同じメモをチェックします。 ラベルは300の合成メモのあらゆる要件で知られており、ミスと誤報は別々に測定される。
• 参考スコア（独自算出の注目度）: 3.254138450967377
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Practitioner guidance holds that a large language model reviews a document better when the work is divided among agents. We test a narrow form of it in a controlled comparison of single-agent and multi-agent setups on a financial task, reviewing credit assessment memos against requirements. One agent checks six requirements in one call. A team of three on the same model checks the same memo, two requirements each, in the same words, with no roles or later stage. Labels are known for every requirement on 300 synthetic memos, so misses and false alarms are measured separately. Two primary predictions are tested on four models at a Bonferroni-corrected level. Under an instruction to decide each requirement once, the team catches 0.08 to 0.10 more of the defects that carry an explanation on the three models whose single agent misses some, at the corrected level on two. It raises more false alarms on all four, at the corrected level on three. Balanced accuracy, an exploratory measure, changes by 0.02 or less, and the team uses 2.2 to 2.4 times the tokens. Showing each agent the requirements it was not given reduces the added false alarms on the two Claude models, at the corrected level on one. In exploratory comparisons, sampling the single agent three times and flagging on any draw gives higher balanced accuracy than the team on those models, and the team's results depend on the instruction.
• Abstract（参考訳）: 実践的ガイダンスでは、作業がエージェントに分割された場合、大きな言語モデルはドキュメントをよりよくレビューする。 金融業務における単一エージェントと複数エージェントのセットアップを比較検討し、要求に対する信用評価メモをレビューする。 1人のエージェントが1回の呼び出しで6つの要求をチェックします。 同じモデル上の3人からなるチームは、同じメモをチェックし、それぞれが同じ言葉で、役割や後半のステージを持たない2つの要件を確認します。 ラベルは300の合成メモのあらゆる要件で知られており、ミスと誤報は別々に測定される。 2つの主要な予測はボンフェロニ補正レベルで4つのモデルで検証される。 それぞれの要求を一度に決める指示のもと、チームは2つの修正レベルにおいて1つのエージェントがいくつかのミスを犯した3つのモデルについて説明を行う欠陥の0.08から0.10をキャッチする。 4つすべてに誤報を発生させ、修正されたレベルを3に設定する。 バランスの取れた精度、探索測度は0.02以下であり、チームはトークンの2.2から2.4倍を使用する。 与えられた要求を各エージェントに示すと、2つのClaudeモデルに付加された偽のアラームを1つの修正レベルで減少させる。 探索的な比較では、単一エージェントを3回サンプリングし、任意の引き分けにフラグを付けることで、これらのモデルのチームよりも高いバランスの取れた精度が得られる。

関連論文リスト

• AlphaDiana: A Measurement System for Agents in Verifiable Reasoning Tasks [70.52860945958031]
  我々は、データセット、エージェント、環境、スコアラーの計測システムであるAlphaDianaを紹介する。 5つの回答ベースベンチマークで3つのオープンソースモデルと3つのオープンソースハーネスについて検討する。 ハーネスは推論の精度を常に改善しないことがわかった。
  論文  参考訳（メタデータ） (2026-10-14T14:04:48Z)
• Why Do Agent Teams Fail Across Boundaries? A Failure Taxonomy for Agent-to-Agent Systems with Private States [96.00953129073133]
  エージェント・ツー・エージェント(A2A)のシナリオでは、各エージェントは独自の環境を持ち、他のエージェントが見ることができない情報と権限を持っている。 既存のマルチエージェントシステム障害研究では、1つのオーケストレータ、共有ワークスペース、または1つのプリンシパルが想定されている。 我々は、異なるエージェントハーネスとモデルで構築された2500以上のA2Aシステムについて研究する。
  論文  参考訳（メタデータ） (2026-10-14T00:36:08Z)
• Agents Are Systems, Not Models: Rethinking Agentic Evaluation [80.87068485535677]
  エージェントの構成の5つの部分(タスク情報、推論、自己検証、時間予算、バックボーンモデル)について検討する。 結果の約54%は、変更ではなく、同じ構成を繰り返すことによるものです。 ベンチマークと18,000以上のエージェントトラジェクトリをリリースする。
  論文  参考訳（メタデータ） (2026-10-01T12:55:07Z)
• SciTrue: Reliable Scientific Claim Validation with Frontier and Open Language Models at the NTCIR SciClaimEval Task [15.259880314614117]
  11のフロンティアとオープンなマルチモーダルモデルを1つの正直なサンプル・プロトコルでベンチマークする。 SciTrueは4つのエビデンスカテゴリ/サブタスクの組み合わせのうち3つに明確なマージンを付けている。
  論文  参考訳（メタデータ） (2026-09-01T03:30:45Z)
• Confidence Estimation for Financial Vision-Language Models in Chart and Document Understanding [8.289856517294075]
  我々は,5個のオープンウェイトLVLMを用いて,7つの信頼度推定器,3つの推論専用プローブ,4つの訓練された内部プローブを評価した。 それぞれのプローブは、自然画像のみに基づいて訓練され、適応せずにファイナンスに適用される。
  論文  参考訳（メタデータ） (2026-08-06T19:33:11Z)
• Trust Between AI Agents: Measuring Formation, Breakage, and Recovery, with Implications for Governing Multi-Agent Systems [0.0]
  本稿では,コスト検証に基づく行動尺度を提案する。 協力的なサバイバルゲームでは、チームメイトの仕事をチェックすることがリソースを消費し、間違った回答を信頼することは致命的になる。 6つのフロンティアモデルスナップショットにおける信頼形成,破壊,回復について検討した。
  論文  参考訳（メタデータ） (2026-06-12T19:58:26Z)
• Scaffold Effects on GAIA: A Controlled Comparison [0.0]
  1つのモデルで最大28ポイントの精度を計測する。 最も有能な人類学モデルは、より厳しいレベルで構造化された足場から最も多くを得る。 構造化されたスキャフォールドは、ツールコールを少なくするが、より難しいレベルで中軌道エラーから、より頻繁にリカバリする。
  論文  参考訳（メタデータ） (2026-06-07T09:14:16Z)
• Claw-Eval: Toward Trustworthy Evaluation of Autonomous Agents [66.97968363332465]
  エージェントベンチマークの3つのギャップに対処するエンドツーエンド評価スイートであるClaw-Evalを紹介した。 Claw-Evalは3つのグループにまたがる9つのカテゴリにまたがる300の人間検証タスクで構成されている。 すべてのエージェントアクションは、3つの独立したエビデンスチャネルを通じて記録される。
  論文  参考訳（メタデータ） (2026-04-07T17:43:18Z)
• Silent Commitment Failure in Instruction-Tuned Language Models: Evidence of Governability Divergence Across Architectures [0.0]
  我々は、モデルのエラーが出力コミット前に検出可能で、一度検出されると修正できる程度、統治性を導入します。 ベンチマーク精度は支配可能性を予測するものではなく、補正能力は検出と独立に異なり、同一のガバナンス足場はモデル間で逆の効果をもたらす。 本稿では,モデルとタスクの組み合わせをGovernable, Monitor Only, Steer Blind, Ungovernableの4つに分類する。
  論文  参考訳（メタデータ） (2026-03-22T21:50:28Z)
• On the Resilience of LLM-Based Multi-Agent Collaboration with Faulty Agents [58.79302663733703]
  大規模言語モデルに基づくマルチエージェントシステムは、専門家エージェントの協力により、様々なタスクにまたがる優れた能力を示している。 不器用なエージェントや悪意のあるエージェントが与える影響 - システム全体のパフォーマンスにおいて、頻繁にタスクでエラーを犯すものは、いまだに過小評価されていない。 本稿では,下流タスクにおける障害要因下での各種システム構造のレジリエンスについて検討する。
  論文  参考訳（メタデータ） (2024-08-02T03:25:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。