論文の概要: MedSegBenchmarker: A Raw-Count-First Framework for Controlled 2D Medical Image Segmentation Benchmarks

• arxiv url: http://arxiv.org/abs/2608.29677v1
• Date: Sun, 30 Aug 2026 09:20:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:31.043345
• Title: MedSegBenchmarker: A Raw-Count-First Framework for Controlled 2D Medical Image Segmentation Benchmarks
• Title（参考訳）: MedSegBenchmarker: 制御された2次元医用画像セグメンテーションベンチマークのためのRaw-Count-Firstフレームワーク
• Abstract要約: MEDSEGBENCHMARKER(MSB)は,2次元データセットのベンチマーク制御のための構成駆動フレームワークである。 MSBは、評価コンテキストとともに、サンプルレベルおよびクラスレベルの画素数と予測をエクスポートする。 3つの異種2Dデータセットと256画素および512ピクセルの入力解像度で評価された複数の視覚モデルを含むケーススタディでMSBを実証した。
• 参考スコア（独自算出の注目度）: 1.0230975056328007
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Despite rapid advances in MIS, fair and reproducible comparisons of segmentation models remain challenging due to heterogeneous datasets, inconsistent evaluation protocols, and rapidly evolving architectures. In particular, comparisons often implicitly assume that model rankings are invariant to data partitioning, preprocessing, metric aggregation, uncertainty estimation, and computational constraints. The lack of extensible and unified evaluation frameworks further limits systematic investigation of new models, datasets, and training paradigms. We present MEDSEGBENCHMARKER (MSB), a configuration-driven framework for controlled benchmarking of 2D MIS. It integrates duplicate and near-duplicate image detection, group-aware data splitting, YAML study specifications, resumable training, hyperparameter optimization, cross-validation, and checkpoint-based evaluation. Rather than retaining only aggregate performance measures, MSB exports sample- and class-level pixel counts and predictions together with the evaluation context. These elementary artifacts enable post-hoc analyses without repeated inference. We demonstrate MSB in a case study involving three heterogeneous 2D datasets and multiple MIS and general-purpose vision models evaluated at 256- and 512-pixel input resolutions. Reaggregation of identical predictions changes the top-ranked architecture in three of six dataset-resolution settings, despite high rank correlations between aggregation strategies. Increasing input resolution produces model- and dataset-dependent performance gains and losses that must be considered alongside empirically measured inference complexity. These results show that seemingly minor choices in evaluation and experimental setup can affect benchmark conclusions. MSB, available at GitHub, provides a practical and extensible basis for making benchmark conditions and evaluation choices explicit and reproducible.
• Abstract（参考訳）: MISの急速な進歩にもかかわらず、不均一なデータセット、一貫性のない評価プロトコル、急速に進化するアーキテクチャのために、セグメントモデルの公平かつ再現可能な比較は難しいままである。 特に、モデルランキングはデータ分割、前処理、メートル法集約、不確実性推定、計算制約と不変であると暗黙的に仮定することが多い。 拡張性と統一された評価フレームワークの欠如により、新しいモデル、データセット、トレーニングパラダイムの体系的な調査が制限される。 MEDSEGBENCHMARKER (MSB) は2次元MISのベンチマーク制御のための構成駆動型フレームワークである。 重複画像検出とほぼ重複画像検出、グループ認識データ分割、YAML研究仕様、再利用可能なトレーニング、ハイパーパラメータ最適化、クロスバリデーション、チェックポイントベースの評価を統合している。 総合的な性能測定のみを保持するのではなく、MSBは評価コンテキストとともにサンプルレベルとクラスレベルの画素数と予測をエクスポートする。 これらの基本的なアーティファクトは、繰り返し推論することなくポストホック分析を可能にする。 3つの異種2Dデータセットと複数のMIS、256画素および512ピクセルの入力解像度で評価された汎用視覚モデルを含むケーススタディにおいて、MSBを実証する。 同一の予測の再集計は、アグリゲーション戦略の間に高い相関があるにもかかわらず、6つのデータセット解像度設定のうち3つの上位アーキテクチャを変更する。 入力解像度の増大は、経験的に測定された推論の複雑さとともに考慮する必要があるモデルとデータセットに依存したパフォーマンス向上と損失を生み出す。 これらの結果から,評価と実験的な設定の微妙な選択は,ベンチマークの結論に影響を及ぼす可能性が示唆された。 GitHubで入手可能なMSBは、ベンチマーク条件と評価選択を明確かつ再現可能なものにするための実用的で拡張可能な基盤を提供する。

関連論文リスト

• Towards Diverse and Comprehensive Benchmarks for Mutual Information Estimation [47.29900218955283]
  相互情報推定は、機械学習と統計学における中心的な問題である。 既存のベンチマークでは、単純化された低次元分布上の推定器を評価し、複雑な現実的なデータに対する性能はほとんど探索されていない。 我々はこのギャップを、統一されたコプラ理論の観点から、包括的なベンチマークフレームワークで解決する。
  論文  参考訳（メタデータ） (2026-07-03T16:55:55Z)
• A Systematic Evaluation of Imbalance Handling Methods in Biomedical Binary Classification [9.011003401201323]
  本研究では, バイオメディカルバイナリ分類における不均衡処理法(IHM)が予測性能に及ぼす影響を系統的に検討した。 我々は、ランダムアンダーサンプリング(RUS)、ランダムオーバーサンプリング(ROS)、SMOTE(SMOTE)、再重み付け(RW)、直接F1スコア最適化(DMO)の5つの代表IHMを評価した。 より複雑なモデルと非構造化データに対して明確な利点が観察された。
  論文  参考訳（メタデータ） (2026-05-13T21:57:38Z)
• MMEB-V3: Measuring the Performance Gaps of Omni-Modality Embedding Models [70.34265674686516]
  マルチモーダル埋め込みモデルは、テキスト、画像、ビデオ、オーディオなどの異種入力を共有意味空間にマッピングすることを目的としている。 本稿では,テキスト,画像,ビデオ,オーディオ,エージェント中心のシナリオにまたがる埋め込みを評価するベンチマークであるMMEB-V3を紹介する。 本研究は, 完全モダリティ埋め込みの系統的解析を行い, 3つの重要な知見を同定する。
  論文  参考訳（メタデータ） (2026-04-25T14:15:05Z)
• IF-RewardBench: Benchmarking Judge Models for Instruction-Following Evaluation [85.56193980646981]
  命令追従のための総合的メタ評価ベンチマークであるIF-RewardBenchを提案する。 各命令に対して、複数の応答間の全てのペアの選好を含む選好グラフを構築する。 IF-RewardBenchの実験は、現在の審査モデルに重大な欠陥を呈している。
  論文  参考訳（メタデータ） (2026-03-05T02:21:17Z)
• Benchmark^2: Systematic Evaluation of LLM Benchmarks [66.2731798872668]
  3つの相補的なメトリクスからなる包括的なフレームワークであるBenchmark2を提案する。 数学、推論、知識ドメインにまたがる15のベンチマークで実験を行います。 本分析により,既存のベンチマーク間での有意な品質変化が明らかとなり,選択的なベンチマーク構築が同等な評価性能を達成できることが示されている。
  論文  参考訳（メタデータ） (2026-01-07T14:59:03Z)
• KG-EDAS: A Meta-Metric Framework for Evaluating Knowledge Graph Completion Models [0.0]
  知識グラフ(KG)を評価する上での大きな課題は、複数のデータセットとメトリクスのパフォーマンスを比較することだ。 我々は,平均解からの距離に基づくKG評価を提案し,マルチメトリック・マルチデータセットのパフォーマンスを統一的なランキングに組み込む。 EDASは、より情報のあるモデル選択をサポートし、データセット間の評価において公平性を促進するグローバルな視点を提供する。
  論文  参考訳（メタデータ） (2025-08-21T08:37:35Z)
• Generalization is not a universal guarantee: Estimating similarity to training data with an ensemble out-of-distribution metric [0.09363323206192666]
  機械学習モデルの新しいデータへの一般化の失敗は、AIシステムの信頼性を制限する中核的な問題である。 本稿では、一般化可能性推定(SAGE)のための教師付きオートエンコーダを構築することにより、データの類似性を評価するための標準化されたアプローチを提案する。 モデル自体のトレーニングやテストデータセットのデータに適用しても,SAGEスコアのフィルタリング後にアウト・オブ・ボックスモデルの性能が向上することを示す。
  論文  参考訳（メタデータ） (2025-02-22T19:21:50Z)
• EBES: Easy Benchmarking for Event Sequences [17.277513178760348]
  イベントシーケンス(英: Event Sequences、EvS)とは、不規則なサンプリング間隔と分類的特徴と数値的特徴の混合を特徴とするシーケンシャルデータである。 EBESは、シーケンスレベルのターゲットを持つEvS分類のための包括的なベンチマークである。 9つのモダンモデルを実装したオープンソースのPyTorchライブラリとともに、標準化された評価シナリオとプロトコルを備えている。
  論文  参考訳（メタデータ） (2024-10-04T13:03:43Z)
• GenBench: A Benchmarking Suite for Systematic Evaluation of Genomic Foundation Models [56.63218531256961]
  我々はGenomic Foundation Modelsの有効性を評価するためのベンチマークスイートであるGenBenchを紹介する。 GenBenchはモジュラーで拡張可能なフレームワークを提供し、様々な最先端の方法論をカプセル化している。 本稿では,タスク固有性能におけるモデルアーキテクチャとデータセット特性の相互作用のニュアンス解析を行う。
  論文  参考訳（メタデータ） (2024-06-01T08:01:05Z)
• Can You Rely on Your Model Evaluation? Improving Model Evaluation with Synthetic Test Data [75.20035991513564]
  本稿では,モデル評価を容易にする深層生成モデリングフレームワークである3Sテストを紹介する。 私たちの実験では、3Sテストが従来のベースラインより優れていることが示されています。 これらの結果は、限られた実テストデータから合成テストデータへのパラダイムシフトが必要かどうかという問題を提起する。
  論文  参考訳（メタデータ） (2023-10-25T10:18:44Z)
• Revisiting the Evaluation of Image Synthesis with GANs [55.72247435112475]
  本研究では, 合成性能の評価に関する実証的研究を行い, 生成モデルの代表としてGAN(Generative Adversarial Network)を用いた。 特に、表現空間におけるデータポイントの表現方法、選択したサンプルを用いた公平距離の計算方法、各集合から使用可能なインスタンス数など、さまざまな要素の詳細な分析を行う。
  論文  参考訳（メタデータ） (2023-04-04T17:54:32Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。