論文の概要: Better Deck or Different Judge? Evaluating Agentic Harness Gains in Corporate and Investment Banking
- arxiv url: http://arxiv.org/abs/2609.39958v1
- Date: Wed, 30 Sep 2026 15:27:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-01 18:57:27.974064
- Title: Better Deck or Different Judge? Evaluating Agentic Harness Gains in Corporate and Investment Banking
- Title（参考訳）: ベターデックか異なる判断か : コーポレート・インベストメント・バンキングにおけるエージェント・ハーネスの評価
- Abstract要約: 本稿では,27B言語モデル,財務計算,物語テンプレート,検証チェックを組み合わせたエージェント・ハーネスの開発を振り返って検討する。
テンプレートマーカーを除去した共有セッションテキストのみのグレードでは、5人の審査員が95点中20.4点から33.6点を同じモデルでスコア付けする。
審査員は17の開発成果物により高いスコアを付ける。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Corporate and investment banking teams use presentations to support credit decisions and advise clients on financing and transactions. Producing these decks requires reconciling financial data, tracing sources and turning analysis into a recommendation. We retrospectively study the development of an agentic harness combining a 27B language model, financial calculations, narrative templates and validation checks. LLM judges guide engineering changes and assess the resulting decks, raising the question of whether higher scores reflect better documents or changes in grading. In shared-session text-only grading with template markers removed, five judges score the complete system 20.4 to 33.6 points out of 95 above the same model generating directly from a short prompt. Every judge scores the system higher on all seventeen development deliverables. Margins against direct Opus generation from a short prompt range from -4.7 to +0.8 points. Judges agree on broad progress across development rounds but agree less on final-deck rankings than on pooled scores. Repeated grading also shifts scores on unchanged decks, making small improvements difficult to distinguish from judge variability.
- Abstract（参考訳）: 企業および投資銀行チームはプレゼンテーションを使用して、信用決定を支援し、金融と取引について顧客に助言する。
これらのデッキを作成するには、財務データを整理し、ソースをトレースし、分析をレコメンデーションに変換する必要がある。
本稿では,27B言語モデル,財務計算,物語テンプレート,検証チェックを組み合わせたエージェント・ハーネスの開発を振り返って検討する。
LLMは、エンジニアリングの変更をガイドし、結果のデッキを評価し、より高いスコアがより良いドキュメントやグレーティングの変化を反映するかどうかという疑問を提起する。
テンプレートマーカーを除去した共有セッションテキストのみのグレードでは、5人の審査員が、短いプロンプトから直接生成される同じモデル上の95点中20.4点から33.6点までをスコアする。
審査員は17の開発成果物により高いスコアを付ける。
直接オプス生成に対するマージンは、短いプロンプトから-4.7 から +0.8 までの範囲である。
審査員は、開発ラウンド全体で幅広い進展について合意するが、プールされたスコアよりも最終デッキのランキングに同意しない。
繰り返しグラデーションは、変化のないデッキでスコアをシフトするので、判断のばらつきと区別するのが難しくなる。
関連論文リスト
- Frozen Judges, Moving Agents: Version-Dependent LLM-Judge Error and the Limits of Judge-Assisted Agent Evaluation [7.504639516424482]
言語モデル審査員はエージェントのアップグレードを前任者と比較するが、固定された審査員はバージョンに依存した誤りを犯すことがある。
公開コーディングエージェント35件、カスタマーサービスエージェント2件、専門家ラベル付きエージェントRewardBenchトラジェクトリ1,106件を分析した。
論文 参考訳（メタデータ） (2026-09-28T03:10:18Z) - JET: Judge-Guided Evolution at Test Time for Agent Programs [13.234793901385524]
試験時間における判断誘導進化(JET)は、ラベル付きソーストラジェクトリ上で実行可能な判断を進化させ、それを凍結し、ターゲット側のプログラム進化を誘導するために転送する。
JETは、未進化のプログラム(コールドスタート)から進化が始まると、固定ルーブリックガイダンスよりも平均報酬が約13%高くなり、ソースタスク(保存スタート)ですでに最適化されたプログラムから始まると4%高くなります。
分析は、進化したコードで有用な報酬予測ロジックを特定し、より良い最終選択だけで利得を説明できないことを示す。
論文 参考訳（メタデータ） (2026-09-28T02:04:37Z) - Evaluating Agent Skills for Version-Specific Plugin Migration: A Retrospective Study [6.92552765704987]
16の静的マイグレーションタスクに関する64のレポートのアーカイブを通じて、出荷されたプラグインアップグレードスキルについて検討する。
平均報酬は93.83から98.75に上昇し、4.92ポイントを獲得した。
他の2つのモデルファミリーの審査員による64件の報告を、腕のラベルや事前スコアなしで再評価し、91.8%と95.7%の判断で原判事に同意する。
論文 参考訳（メタデータ） (2026-09-24T16:56:50Z) - Grading Needs a Rubric, Not Intelligence [0.0]
小さい言語モデルは、明示的なルーリックに対して格付けするときに、かなり高価なモデルと同じくらい確実に、オープンエンドの検査回答を格付けすることができる。
モデルファミリを2つのモデルファミリから6つのコスト効率モデル構成を3つの理由づけで評価した。
論文 参考訳（メタデータ） (2026-08-18T16:00:05Z) - OSReward: Instituting Standardized Evaluation for Cross-Platform Computer-Use Reward Models [87.08963239083614]
コンピュータ利用エージェント(CUA)はデジタル世界で急速に進歩している。
この分野は、CUA軌道の審査員として、視覚言語モデル(VLM)に変わりつつある。
我々は,CUA軌道上のVLM判定値を評価する,現実的で高品質なベンチマークOSRewardを紹介する。
論文 参考訳（メタデータ） (2026-07-30T17:57:41Z) - GAUGE: Grading Agent-Built Financial Models Without a Golden Answer [38.72982631250115]
65社をカバーする108組のうち、中央値は0.33、92.6%は0.70以下であり、同じビンテージのペアは10%以内のインプリード価格に合意していない。
同じ企業の独立したアナリストモデルを用いて、65社をカバーする108組のうち、中央値のシングル参照スコアは0.33、92.6%が0.70未満であり、同じビンテージペアが10%以内のインリード価格で一致しないことが判明した。
本稿では,エージェント構築評価モデルを評価するベンチマークであるGAUGEを紹介する。
論文 参考訳（メタデータ） (2026-07-27T13:03:19Z) - Validating LLM-as-a-Judge Systems under Rating Indeterminacy [65.137380612741]
評価の不確定性の下でLLM-as-a-judgeシステムを検証するための枠組みを提案する。
本研究では, 強制選択評価指示に応答する際の評価の不確定性を人間とLLMがどう解決するかの相違が, 偏見の検証に大きく寄与することを示した。
論文 参考訳（メタデータ） (2025-03-07T22:09:47Z) - Judge as A Judge: Improving the Evaluation of Retrieval-Augmented Generation through the Judge-Consistency of Large Language Models [68.92020689188887]
Retrieval-Augmented Generation (RAG) は、Large Language Models (LLM) に対する幻覚を緩和する効果を証明している。
既存の自動評価メトリクスは、トレーニングと評価の間にRAGモデルによって生成されたアウトプットを正確に評価することはできない。
本稿では,RAGモデルのより正確な評価を実現するため,LCMの強化を目的とした判断一貫性(ConsJudge)手法を提案する。
論文 参考訳（メタデータ） (2025-02-26T04:50:43Z) - Large Language Models are not Fair Evaluators [60.27164804083752]
候補回答の品質ランキングは,文脈の出現順序を変えることで容易にハックできることがわかった。
この操作により、評価結果をスキューし、一方のモデルを他方よりもかなり優れているようにすることができる。
この問題を緩和するための3つのシンプルかつ効果的な戦略を持つフレームワークを提案する。
論文 参考訳（メタデータ） (2023-05-29T07:41:03Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。