論文の概要: Why is the winner the best?

• arxiv url: http://arxiv.org/abs/2303.17719v1
• Date: Thu, 30 Mar 2023 21:41:42 GMT
• ステータス: 翻訳完了
• システム内更新日: 2023-04-03 15:45:55.369581
• Title: Why is the winner the best?
• Title（参考訳）: なぜ勝者がベストなのか?
• Abstract要約: IEEE I SBI 2021 と MICCAI 2021 の範囲で実施した80のコンペすべてを対象に,マルチセンターで実施した。 勝者となるソリューションとしては、マルチタスク学習(63%)、マルチステージパイプライン(61%)、拡大(100%)、画像前処理(97%)、データキュレーション(79%)、後処理(66%)などがある。 高ランクのチームでは、メソッド設計におけるメトリクスの反映と、障害ケースの分析と処理に焦点を当てた2つの中核的な開発戦略が目立った。
• 参考スコア（独自算出の注目度）: 78.74409216961632
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: International benchmarking competitions have become fundamental for the comparative performance assessment of image analysis methods. However, little attention has been given to investigating what can be learnt from these competitions. Do they really generate scientific progress? What are common and successful participation strategies? What makes a solution superior to a competing method? To address this gap in the literature, we performed a multi-center study with all 80 competitions that were conducted in the scope of IEEE ISBI 2021 and MICCAI 2021. Statistical analyses performed based on comprehensive descriptions of the submitted algorithms linked to their rank as well as the underlying participation strategies revealed common characteristics of winning solutions. These typically include the use of multi-task learning (63%) and/or multi-stage pipelines (61%), and a focus on augmentation (100%), image preprocessing (97%), data curation (79%), and postprocessing (66%). The "typical" lead of a winning team is a computer scientist with a doctoral degree, five years of experience in biomedical image analysis, and four years of experience in deep learning. Two core general development strategies stood out for highly-ranked teams: the reflection of the metrics in the method design and the focus on analyzing and handling failure cases. According to the organizers, 43% of the winning algorithms exceeded the state of the art but only 11% completely solved the respective domain problem. The insights of our study could help researchers (1) improve algorithm development strategies when approaching new problems, and (2) focus on open research questions revealed by this work.
• Abstract（参考訳）: 画像解析手法の比較性能評価には,国際ベンチマーク競技が基本となっている。 しかし、これらの競技会から何が学べるかについてはほとんど注目されていない。 本当に科学的進歩をもたらすのか? 共通して成功した参加戦略とは何か? 競合する方法よりも優れたソリューションは何でしょうか? このギャップに対処するために,ieee isbi 2021とmiccai 2021の範囲で実施した80のコンペティションすべてを対象に,多施設共同研究を行った。 提案するアルゴリズムのランクに関連付けられた包括的記述と,それに基づく参加戦略に基づく統計的分析により,勝利解の共通的特徴が明らかになった。 一般的には、マルチタスク学習(63%)および/またはマルチステージパイプライン(61%)の使用、拡張(100%)、イメージ前処理(97%)、データキュレーション(79%)、ポストプロセッシング(66%)に重点を置いている。 優勝チームの"典型的な"リーダは、博士号を持つコンピュータ科学者であり、バイオメディカル画像解析で5年、ディープラーニングで4年の経験がある。 高ランクのチームでは、メソッド設計におけるメトリクスの反映と、障害ケースの分析と処理に焦点を当てた2つの中核的な開発戦略が目立った。 主催者によると、優勝アルゴリズムの43%が最先端のアルゴリズムを上回り、各ドメインの問題を解いたのはわずか11%だった。 本研究の知見は,(1)新しい問題にアプローチする際のアルゴリズム開発戦略の改善に有効であり,(2)本研究で明らかになったオープンな研究課題に焦点をあてる。

関連論文リスト

• AcademiClaw: When Students Set Challenges for AI Agents [69.70303995121154]
  AcademiClaw(アカデミクロー)は、大学生の実際の学術的切断から直接引き出された80の複雑な長い水平タスクのベンチマークである。 最高のモデルでさえ、55%のパスレートしか達成できないことを示す。 AcademiClawとそのオープンソースデータとコードが、OpenClawコミュニティにとって有用なリソースになることを願っています。
  論文  参考訳（メタデータ） (2026-05-04T14:40:42Z)
• The Machine Learning Canvas: Empirical Findings on Why Strategy Matters More Than AI Code Generation [0.0]
  機械学習(ML)プロジェクトの80%以上は、本当のビジネス価値を提供できない。 我々は,150人のデータサイエンティストを調査し,統計モデルを用いて回答を分析した。 AIアシスタントはコーディングを高速化するが、成功は保証しない。
  論文  参考訳（メタデータ） (2026-01-05T07:02:58Z)
• Approaches to the Algorithmic Allocation of Public Resources: A Cross-disciplinary Review [0.0]
  我々は,アルゴリズム割り当ての異なる分野に対するアプローチを理解するために,クロスディシプリナ文献レビューを行った。 最適化目標、テクニック、解釈可能性、柔軟性、バイアス、倫理的考慮、パフォーマンスのレンズから75の論文を分析した。 最適化手法は待ち時間を減らし、成功率を最大50%向上させる。
  論文  参考訳（メタデータ） (2023-10-10T09:46:01Z)
• Benchmarking Robustness and Generalization in Multi-Agent Systems: A Case Study on Neural MMO [50.58083807719749]
  IJCAI 2022で開催されている第2回Neural MMOチャレンジの結果を報告する。 この競合はマルチエージェントシステムの堅牢性と一般化をターゲットにしている。 環境ラッパー、ベースライン、可視化ツール、そしてさらなる研究のための選択されたポリシーを含むベンチマークをオープンソースにします。
  論文  参考訳（メタデータ） (2023-08-30T07:16:11Z)
• A Gold Standard Dataset for the Reviewer Assignment Problem [117.59690218507565]
  類似度スコア(Similarity score)とは、論文のレビューにおいて、レビュアーの専門知識を数値で見積もるものである。 私たちのデータセットは、58人の研究者による477の自己申告された専門知識スコアで構成されています。 2つの論文をレビュアーに関連付けるタスクは、簡単なケースでは12%～30%、ハードケースでは36%～43%である。
  論文  参考訳（メタデータ） (2023-03-23T16:15:03Z)
• Biomedical image analysis competitions: The state of current participation practice [143.52578599912326]
  我々は,バイオメディカルイメージング分析の特定の分野におけるアルゴリズム開発の現状を明らかにするための調査を設計した。 この調査は、参加者の専門知識と作業環境、選択した戦略、およびアルゴリズムの特徴をカバーした。 全体として、すべてのソリューションの94%はディープラーニングベースのものだ。そのうち84%は標準アーキテクチャに基づいていた。
  論文  参考訳（メタデータ） (2022-12-16T16:44:46Z)
• Retrospective on the 2021 BASALT Competition on Learning from Human Feedback [92.37243979045817]
  競争の目的は、人間のフィードバック(LfHF)技術から学び、オープンワールドの課題を解決するエージェントへの研究を促進することであった。 LfHF技術の使用を義務付けるのではなく、ビデオゲームMinecraftで達成すべき自然言語の4つのタスクについて説明した。 チームは、様々な可能な人間のフィードバックタイプにまたがる多様なLfHFアルゴリズムを開発した。
  論文  参考訳（メタデータ） (2022-04-14T17:24:54Z)
• The First AI4TSP Competition: Learning to Solve Stochastic Routing Problems [10.388013100067266]
  本報告は,2021年人工知能国際会議(IJCAI-21)における,旅行セールスマン問題(TTSP)に関する初の国際コンペティションである。 コンペティションは参加者に対して、ウェイトとタイムウィンドウ(TD-OPSWTW)による時間依存オリエンテーリング問題を解決するアルゴリズムの開発を依頼した。 この研究で述べられている勝利の方法は、AIを使って問題をルーティングするための最先端のAIを進歩させた。
  論文  参考訳（メタデータ） (2022-01-25T16:55:33Z)
• Lung-Originated Tumor Segmentation from Computed Tomography Scan (LOTUS) Benchmark [48.30502612686276]
  肺癌は最も致命的ながんの1つであり、その効果的な診断と治療は腫瘍の正確な悪性度に依存している。 現在最も一般的なアプローチであるHuman-centered segmentationは、サーバ間変動の対象となる。 2018年のVIPカップは、42か国から競争データにアクセスするための世界的な参加から始まった。 簡単に言えば、競争中に提案されたアルゴリズムはすべて、偽陽性還元手法と組み合わせたディープラーニングモデルに基づいている。
  論文  参考訳（メタデータ） (2022-01-03T03:06:38Z)
• CVPR 2020 Continual Learning in Computer Vision Competition: Approaches, Results, Current Challenges and Future Directions [25.791936837340877]
  2020年にCVPRで行われた最初の連続学習コンピュータビジョンチャレンジは、異なる連続学習アルゴリズムを評価する最初の機会の1つである。 優勝チームは79チーム以上、ファイナリストは11チーム、賞金は2300ドルだった。
  論文  参考訳（メタデータ） (2020-09-14T08:53:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。