論文の概要: Results and Retrospective Analysis of the CODS 2025 AssetOpsBench Challenge

• arxiv url: http://arxiv.org/abs/2605.08518v1
• Date: Fri, 08 May 2026 22:00:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-05-12 23:28:49.704075
• Title: Results and Retrospective Analysis of the CODS 2025 AssetOpsBench Challenge
• Title（参考訳）: CODS 2025 AssetOpsBench Challengeの結果と考察
• Authors: Dhaval Patel, Chathurangi Shyalika, Suryanarayana Reddy Yarrabothula, Ling Yue, Shuxin Lin, Nianjun Zhou, James Rayfield,
• Abstract要約: 我々は、産業用マルチエージェントオーケストレーションに関するCodabenchコンペティションであるCODS 2025アセットオプシブチャレンジを再考する。 最終ランクシート,300サーバログ,149チーム登録,ベストサブミッションエクスポート,オーガナイザ勝者レポート,アセットオプシブシステムペーパー,検証済みのプランニング・トラックソースツリーを組み合わせる。 公開スコアとプライベートスコアは、計画では適度に相関するが、実行では否定的に相関する。
• 参考スコア（独自算出の注目度）: 3.5112866130906926
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Competition retrospectives are useful when they explain what a leaderboard measured, how hidden evaluation changed conclusions, and which design patterns were rewarded. We revisit the CODS 2025 \assetopslive{} challenge, a privacy-aware Codabench competition on industrial multi-agent orchestration built on \assetops{}. We combine final rank sheets, a 300-submission server log, 149-team registrations, best-submission exports, the organizer winners report, the companion \assetopslive{} system paper, and verified planning-track source trees. Five results stand out. First, the public planning leaderboard saturates at 72.73\%, and richer prompts do not improve that peak. Second, hidden evaluation changes the story: public and private scores correlate moderately in planning ($r{=}0.69$) but negatively in execution ($r{=}{-}0.13$), with several 45.45\% public execution systems reaching 63.64\% on the hidden set. Third, the \tmatch{} term is numerically almost inert in the official composite -- combined on a 0--1 scale with 0--100 percentage scores, it contributes at most 0.05 points per track, and rescaling would swap the top two teams. Fourth, the competition is operationally account-based but substantively team-based: 149 registered teams reduce to 24 with non-zero public scores and 11 fully ranked, while 52.3\% of deduplicated registrations list multiple usernames. Fifth, successful execution methods mostly improve guardrails -- response selection, contamination cleanup, fallback, and context control -- rather than novel agent architectures. These findings identify which behaviors the evaluation rewarded, and motivate scale-aware composites, skill-level diagnostics, and versioned artifact release.
• Abstract（参考訳）: コンペティションのふりかえりは、リーダボードが何を測定し、どのように隠れた評価が結論を変えたか、どのデザインパターンが報酬されたかを説明するのに役立ちます。 私たちは、CODS 2025 \assetopslive{}チャレンジを再考します。これは、 \assetops{}上に構築された産業用マルチエージェントオーケストレーションに関する、プライバシーに配慮したCodabenchコンペティションです。 最終ランクシート,300のサブミッションサーバログ,149のチーム登録,ベストサブミッションエクスポート,オーガナイザの勝者レポート,コンパニオンの \assetopslive{} システムペーパー,検証されたプランニングトラックソースツリーを組み合わせる。 5つの結果が浮き彫りだ。 第一に、公共計画のリーダーボードは72.73\%で飽和し、より豊かなプロンプトはピークを改善しない。 第二に、隠れた評価はストーリーを変える: パブリックスコアとプライベートスコアは、計画において適度に相関する(r{=0.69$)が、実行時に負の相関を持つ(r{=}{-}0.13$)。 第3に、'tmatch{} という用語は、0--1のスコアと0-100のスコアを合わせると、数値的にはほとんど不活性であり、トラック当たり0.05ポイントのスコアで貢献し、再スケーリングは上位2チームと交換する。 149の登録チームは、非ゼロの公開スコアで24に減少し、11の完全にランク付けされ、52.3\%の非重複登録チームが複数のユーザー名をリストアップしている。 第5に、成功した実行方法は、新しいエージェントアーキテクチャではなく、主にガードレール -- 応答の選択、汚染のクリーンアップ、フォールバック、コンテキストコントロール -- を改善します。 以上の結果から,評価の報奨がどの行動に与える影響を把握し,スケールアウェア複合材料,スキルレベル診断,バージョン別アーティファクトリリースを動機づけた。

関連論文リスト

• Token Arena: A Continuous Benchmark Unifying Energy and Cognition in AI Inference [1.2299000423193074]
  TokenArenaは、5つのコア軸に沿って粒度エンドポイントでの推論を測定する連続ベンチマークである。 フレームワーク、スキーマ、プローブ、evalハーネス、v1.0のリーダボードスナップショットをCC BY 4.0でリリースしています。
  論文  参考訳（メタデータ） (2026-05-01T00:05:54Z)
• ClawMark: A Living-World Benchmark for Multi-Turn, Multi-Day, Multimodal Coworker Agents [77.22389710754452]
  マルチターンマルチデイタスクを中心に構築された同僚エージェントのベンチマークであるベンチを紹介する。 現在のリリースには、13のプロのシナリオにわたる100のタスクが含まれており、5つのステートフルなサンドボックスサービスに対して実行される。 最強のモデルは75.8の重み付きスコアに達するが、最も厳格なタスク成功率は20.0%に過ぎず、部分的な進歩が一般的であることを示している。
  論文  参考訳（メタデータ） (2026-04-26T16:05:02Z)
• Second Competition on Presentation Attack Detection on ID Card [12.609487726543774]
  20チームが登録され、74のモデルが提出された。 トラック1では、Dragonsチームが平均ランキングとEERで40.48%、EERが11.44%で1位となった。 トラック2のより困難なアプローチでは、"Incode"チームは14.76%と6.36%のAVランクで最高の結果に達し、それぞれ74.30%と21.87%のEERの第一版の結果を改善した。
  論文  参考訳（メタデータ） (2025-07-27T20:18:52Z)
• The Leaderboard Illusion [61.27964089648608]
  アリーナは最も有能なAIシステムランキングのリーダーボードとして登場した。 我々は,ゆがんだ競技場に生じた体系的な問題を同定する。
  論文  参考訳（メタデータ） (2025-04-29T15:48:49Z)
• The Fourth Monocular Depth Estimation Challenge [100.38910331027051]
  本報告では, 単眼深度推定チャレンジ(MDEC)の第4版の結果について述べる。 SynS-Patchesベンチマークへのゼロショットの一般化に焦点を当てており、自然環境と屋内環境の両方で挑戦的な環境を特徴とするデータセットである。 この挑戦は合計24件の応募を受け、テストセットのベースラインを上回りました。 優勝者は3D F-Scoreを22.58%から23.05%に引き上げた。
  論文  参考訳（メタデータ） (2025-04-24T17:59:52Z)
• Soft Condorcet Optimization for Ranking of General Agents [44.90789674063613]
  ソフトコンドルチェット最適化(SCO)という,社会選択フレームワークに触発された新たなランキング方式について述べる。 SCOランキングは、PrefLibオープンランキングアーカイブの865の選好プロファイルにまたがる正規化Kendall-Tau距離の最適ランキングから、平均0から0.043まで離れている。 SCOランキングは、古典的な7人プレーヤーゲームである外交の31,049ゲームにまたがる52,958人の人間プレイヤーを含む問題において、ホールトアウトテストセットで測定された最適なランキングに最適な近似を提供する。
  論文  参考訳（メタデータ） (2024-10-31T18:17:39Z)
• The 7th AI City Challenge [87.23137854688389]
  AIシティチャレンジの第7版では、コンピュータビジョンと人工知能の交差点にある2つのドメインを強調している。 2023年大会には5つのトラックがあり、46カ国508チームからの参加要請が過去最高となった。 参加チームのトップパフォーマンスは強いベースラインを確立し、提案されたチャレンジトラックで最先端の成績を上げました。
  論文  参考訳（メタデータ） (2023-04-15T08:02:16Z)
• Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
  ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。 この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。 このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。 我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
  論文  参考訳（メタデータ） (2022-04-05T19:39:13Z)
• Context-aware Retail Product Recommendation with Regularized Gradient Boosting [4.524282268368634]
  FARFETCH Fashion Recommendation Challengeでは、参加者がさまざまな製品がユーザに表示される順序を予測する必要があった。 データセットには5000,000以上のレコメンデーションイベント、45万の製品、23万のユニークなユーザが含まれている。 我々は、製品とユーザコンテキストの類似性を考慮し、製品をより効果的にランク付けする独自のコンテキスト認識システムを設計した。
  論文  参考訳（メタデータ） (2021-09-17T14:08:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。