論文の概要: Data Splits and Metrics for Method Benchmarking on Surgical Action Triplet Datasets

• arxiv url: http://arxiv.org/abs/2204.05235v1
• Date: Mon, 11 Apr 2022 16:32:25 GMT
• ステータス: 処理完了
• システム内更新日: 2022-04-12 16:48:31.433910
• Title: Data Splits and Metrics for Method Benchmarking on Surgical Action Triplet Datasets
• Title（参考訳）: 手術的アクショントリプルトデータセットにおける方法ベンチマークのためのデータ分割とメトリクス
• Authors: Chinedu Innocent Nwoye, Nicolas Padoy
• Abstract要約: CholecT50は50のビデオ手術用データセットで, 手術を楽器, 動詞, ターゲットのトリプルとして定式化する。 CholecT45は、ColecT50データセットの45ビデオの最初の公開リリースである。
• 参考スコア（独自算出の注目度）: 3.4026511783923667
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In addition to generating data and annotations, devising sensible data splitting strategies and evaluation metrics is essential for the creation of a benchmark dataset. This practice ensures consensus on the usage of the data, homogeneous assessment, and uniform comparison of research methods on the dataset. This study focuses on CholecT50, which is a 50 video surgical dataset that formalizes surgical activities as triplets of <instrument, verb, target>. In this paper, we introduce the standard splits for the CholecT50 and CholecT45 datasets and show how they compare with existing use of the dataset. CholecT45 is the first public release of 45 videos of CholecT50 dataset. We also develop a metrics library, ivtmetrics, for model evaluation on surgical triplets. Furthermore, we conduct a benchmark study by reproducing baseline methods in the most predominantly used deep learning frameworks (PyTorch and TensorFlow) to evaluate them using the proposed data splits and metrics and release them publicly to support future research. The proposed data splits and evaluation metrics will enable global tracking of research progress on the dataset and facilitate optimal model selection for further deployment.
• Abstract（参考訳）: データとアノテーションの生成に加えて、センシブルなデータ分割戦略と評価メトリクスの開発は、ベンチマークデータセットの作成に不可欠である。 このプラクティスは、データの利用、均質評価、データセットの研究方法の統一的な比較に関するコンセンサスを保証する。 本研究は,外科手術を<instrument, verb, target>の三重項として定式化する50のビデオ手術データセットであるcholect50に焦点を当てた。 本稿では,CholecT50とCholecT45データセットの標準分割について紹介し,既存のデータセットとの比較について述べる。 CholecT45は、ColecT50データセットの45ビデオの最初の公開リリースである。 また,手術用トリプレットのモデル評価のためのメトリクスライブラリivtmetricsを開発した。 さらに、提案したデータ分割とメトリクスを用いて評価するために、最も多く使用されているディープラーニングフレームワーク(PyTorchとTensorFlow)でベースラインメソッドを再現し、それらを公開して、将来の研究をサポートする。 提案するデータ分割と評価メトリクスは、データセットの研究進捗をグローバルに追跡し、さらなるデプロイのために最適なモデル選択を容易にする。

関連論文リスト

• Towards Data-Centric RLHF: Simple Metrics for Preference Dataset Comparison [9.324894567200582]
  選好データセットを、スケール、ラベルノイズ、情報内容の3つの視点で体系的に研究する。 我々の研究は、RLHFのトレーニング効率と反復的なデータ収集を支援する視点を提供することで、アライメントに対するデータ中心のアプローチに向けた第一歩です。
  論文  参考訳（メタデータ） (2024-09-15T03:55:03Z)
• Personalization of Dataset Retrieval Results using a Metadata-based Data Valuation Method [0.5999777817331317]
  アイルランドのナショナル・マッピング・エージェンシーにおいて,データセット検索のための新しいデータ評価手法を提案する。 メタデータとユーザの好みを利用して、各データセットの個人価値を推定する。 データセットの利害関係者のランキングに対して、データバリューベースのランキングを検証しました。
  論文  参考訳（メタデータ） (2024-07-22T11:13:07Z)
• A Closer Look at Deep Learning on Tabular Data [52.50778536274327]
  タブラルデータは、機械学習の様々な領域で広く使われている。 Deep Neural Network(DNN)ベースの手法は、ツリーベースに匹敵する有望なパフォーマンスを示している。
  論文  参考訳（メタデータ） (2024-07-01T04:24:07Z)
• Towards Unifying Anatomy Segmentation: Automated Generation of a Full-body CT Dataset via Knowledge Aggregation and Anatomical Guidelines [113.08940153125616]
  我々は533巻のボクセルレベルのラベルを142ドル(約1万2000円)で、全身CTスキャンのデータセットを作成し、解剖学的包括的カバレッジを提供する。 提案手法はラベル集約段階において手作業によるアノテーションに依存しない。 我々はCTデータに142ドルの解剖学的構造を予測できる統一解剖学的セグメンテーションモデルをリリースする。
  論文  参考訳（メタデータ） (2023-07-25T09:48:13Z)
• High-Level Synthetic Data Generation with Data Set Archetypes [4.13592995550836]
  クラスタ分析は、異なるアルゴリズムの評価と比較に有効なベンチマークに依存している。 データセットのアーキタイプに基づく合成データ生成を提案する。 評価シナリオの言葉による記述からベンチマークを純粋に設定することが可能である。
  論文  参考訳（メタデータ） (2023-03-24T23:45:27Z)
• CEREAL: Few-Sample Clustering Evaluation [4.569028973407756]
  限られたラベルでクラスタリング品質を推定する未解決の問題に焦点をあてる。 本稿では,少数のクラスタリング評価のための総合的なフレームワークCEREALを紹介する。 その結果,CEREALはサンプリング基準値と比較して絶対誤差曲線下での面積を最大57%削減できることがわかった。
  論文  参考訳（メタデータ） (2022-09-30T19:52:41Z)
• DC-BENCH: Dataset Condensation Benchmark [79.18718490863908]
  この研究は、データセットの凝縮に関する最初の大規模標準ベンチマークを提供する。 それは、凝縮法の生成可能性と有効性を包括的に反映する一連の評価から成り立っている。 ベンチマークライブラリは、将来の研究とアプリケーションを容易にするためにオープンソース化されている。
  論文  参考訳（メタデータ） (2022-07-20T03:54:05Z)
• GEMv2: Multilingual NLG Benchmarking in a Single Line of Code [161.1761414080574]
  Generation, Evaluation, and Metrics Benchmarkは、データセット、モデル、メトリック開発者のためのモジュラーインフラストラクチャを提供する。 GEMv2は51言語で40のドキュメントデータセットをサポートする。 すべてのデータセットのモデルはオンラインで評価でき、インタラクティブなデータカード作成とレンダリングツールによって、生きたベンチマークに新しいデータセットを簡単に追加できます。
  論文  参考訳（メタデータ） (2022-06-22T17:52:30Z)
• Harnessing Unlabeled Data to Improve Generalization of Biometric Gender and Age Classifiers [0.7874708385247353]
  ディープラーニングモデルは、モデルトレーニングと最適パラメータ推定のために、大量のラベル付きデータを必要とする。 プライバシやセキュリティ上の懸念から、医療分野を含む特定のアプリケーションに対して大量のラベル付きデータを収集することはできない。 本稿では,ラベル付きデータに制限を加えた自己アンサンブルに基づくディープラーニングモデルを提案する。
  論文  参考訳（メタデータ） (2021-10-09T01:06:01Z)
• Topology-based Clusterwise Regression for User Segmentation and Demand Forecasting [63.78344280962136]
  本研究は,パブリックおよび新規な商用データ集合を用いて,アナリストがユーザベースをクラスタリングし,詳細なレベルで需要を計画できることを示す。 本研究は,TDAに基づく時系列クラスタリングと行列因数分解法によるクラスタ回帰を実践者にとって実行可能なツールとして導入することを目的とする。
  論文  参考訳（メタデータ） (2020-09-08T12:10:10Z)
• BREEDS: Benchmarks for Subpopulation Shift [98.90314444545204]
  本研究では,人口変動に対するモデルのロバスト性を評価する手法を開発した。 既存のデータセットの基盤となるクラス構造を利用して、トレーニングとテストの分散を構成するデータサブポピュレーションを制御する。 この手法をImageNetデータセットに適用し、様々な粒度のサブポピュレーションシフトベンチマークスイートを作成する。
  論文  参考訳（メタデータ） (2020-08-11T17:04:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。