論文の概要: Rethinking Annotator Simulation: Realistic Evaluation of Whole-Body PET Lesion Interactive Segmentation Methods

• arxiv url: http://arxiv.org/abs/2404.01816v1
• Date: Tue, 2 Apr 2024 10:19:17 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-03 16:59:04.343479
• Title: Rethinking Annotator Simulation: Realistic Evaluation of Whole-Body PET Lesion Interactive Segmentation Methods
• Title（参考訳）: アノテーションシミュレーションの再考:全体PET病変インタラクティブセグメンテーション法の現実的評価
• Authors: Zdravko Marinov, Moon Kim, Jens Kleesiek, Rainer Stiefelhagen,
• Abstract要約: 実際のユーザスタディやシミュレートされたアノテータによる対話的セグメンテーションモデルの評価を行う。 実際のユーザスタディは高価で大規模に制限されることが多いが、シミュレーションアノテータ(ロボットユーザとしても知られる)はモデルパフォーマンスを過大評価する傾向がある。 本稿では,クリック変動やアノテータ間の不一致といった人間的要因を取り入れた,より現実的なロボットユーザを提案する。
• 参考スコア（独自算出の注目度）: 26.55942230051388
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Interactive segmentation plays a crucial role in accelerating the annotation, particularly in domains requiring specialized expertise such as nuclear medicine. For example, annotating lesions in whole-body Positron Emission Tomography (PET) images can require over an hour per volume. While previous works evaluate interactive segmentation models through either real user studies or simulated annotators, both approaches present challenges. Real user studies are expensive and often limited in scale, while simulated annotators, also known as robot users, tend to overestimate model performance due to their idealized nature. To address these limitations, we introduce four evaluation metrics that quantify the user shift between real and simulated annotators. In an initial user study involving four annotators, we assess existing robot users using our proposed metrics and find that robot users significantly deviate in performance and annotation behavior compared to real annotators. Based on these findings, we propose a more realistic robot user that reduces the user shift by incorporating human factors such as click variation and inter-annotator disagreement. We validate our robot user in a second user study, involving four other annotators, and show it consistently reduces the simulated-to-real user shift compared to traditional robot users. By employing our robot user, we can conduct more large-scale and cost-efficient evaluations of interactive segmentation models, while preserving the fidelity of real user studies. Our implementation is based on MONAI Label and will be made publicly available.
• Abstract（参考訳）: 対話的セグメンテーションは、特に核医学のような専門知識を必要とする領域において、アノテーションを加速する上で重要な役割を担っている。 例えば、全身ポジトロン・エミッション・トモグラフィ(PET)画像のアノテート病変は、体積あたり1時間以上必要である。 これまでの研究では、実際のユーザスタディやシミュレートされたアノテータを通じて、インタラクティブなセグメンテーションモデルを評価してきたが、どちらのアプローチも課題を提示している。 実際のユーザスタディは高価で大規模に制限されることが多いが、ロボットユーザとしても知られるシミュレートされたアノテータは、その理想化された性質のためにモデルパフォーマンスを過大評価する傾向がある。 これらの制約に対処するために、実とシミュレートされたアノテータ間のユーザシフトを定量化する4つの評価指標を導入する。 4つのアノテータを含む初期のユーザスタディでは,提案した指標を用いて既存のロボットユーザを評価し,実際のアノテータと比較して,ロボットユーザがパフォーマンスやアノテーションの振る舞いを著しく逸脱していることを見出した。 これらの結果をもとに,クリック変動やアノテーション間の不一致といった人的要因を取り入れた,より現実的なロボットユーザを提案する。 ロボットユーザを,他の4つのアノテータを含む第2のユーザスタディで検証し,従来のロボットユーザと比較してシミュレーションから実際のユーザシフトを一貫して減少させることを示す。 ロボットを用いて対話型セグメンテーションモデルの大規模かつ費用効率の高い評価を行う。 実装はmonAI Labelをベースにしており、公開されます。

関連論文リスト

• Simulating User Agents for Embodied Conversational-AI [9.402740034754455]
  我々は,エンボディエージェントとのインタラクション中にユーザ動作をシミュレート可能な,LLMベースのユーザエージェントを構築した。 シミュレーション対話をTEAChデータセットと比較することにより,ユーザエージェントの人間的行動生成能力を評価する。
  論文  参考訳（メタデータ） (2024-10-31T00:56:08Z)
• Learning Object Properties Using Robot Proprioception via Differentiable Robot-Object Interaction [52.12746368727368]
  微分可能シミュレーションは、システム識別の強力なツールとなっている。 本手法は,オブジェクト自体のデータに頼ることなく,ロボットからの情報を用いてオブジェクト特性を校正する。 低コストなロボットプラットフォームにおける本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2024-10-04T20:48:38Z)
• Real-time Addressee Estimation: Deployment of a Deep-Learning Model on the iCub Robot [52.277579221741746]
  住所推定は、社会ロボットが人間とスムーズに対話するために必要なスキルである。 人間の知覚スキルにインスパイアされたディープラーニングモデルは、iCubロボットに設計、訓練、デプロイされる。 本研究では,人間-ロボットのリアルタイムインタラクションにおいて,そのような実装の手順とモデルの性能について述べる。
  論文  参考訳（メタデータ） (2023-11-09T13:01:21Z)
• Predicting Human Impressions of Robot Performance During Navigation Tasks [8.01980632893357]
  本研究では,非言語行動手がかりと機械学習技術を用いて,ロボット行動に対する人々の印象を予測する可能性を検討する。 以上の結果から,表情だけでロボット性能の人的印象について有用な情報が得られることが示唆された。 教師付き学習技術は、ほとんどの場合、人間のロボット性能予測よりも優れていたため、有望であった。
  論文  参考訳（メタデータ） (2023-10-17T21:12:32Z)
• Self-Improving Robots: End-to-End Autonomous Visuomotor Reinforcement Learning [54.636562516974884]
  模倣と強化学習において、人間の監督コストは、ロボットが訓練できるデータの量を制限する。 本研究では,自己改善型ロボットシステムのための新しい設計手法であるMEDAL++を提案する。 ロボットは、タスクの実施と解除の両方を学ぶことで、自律的にタスクを練習し、同時にデモンストレーションから報酬関数を推論する。
  論文  参考訳（メタデータ） (2023-03-02T18:51:38Z)
• PACT: Perception-Action Causal Transformer for Autoregressive Robotics Pre-Training [25.50131893785007]
  本研究は,ロボットにおける複数のタスクの出発点として機能する汎用表現を事前学習するためのパラダイムを導入する。 本稿では,ロボットデータから直接表現を自己管理的に構築することを目的として,PACT(Perception-Action Causal Transformer)を提案する。 より大規模な事前学習モデル上に小さなタスク特化ネットワークを微調整すると、同時に1つのモデルをスクラッチからトレーニングするのに比べ、性能が大幅に向上することを示す。
  論文  参考訳（メタデータ） (2022-09-22T16:20:17Z)
• Model Predictive Control for Fluid Human-to-Robot Handovers [50.72520769938633]
  人間の快適さを考慮に入れた計画運動は、人間ロボットのハンドオーバプロセスの一部ではない。 本稿では,効率的なモデル予測制御フレームワークを用いてスムーズな動きを生成することを提案する。 ユーザ数名の多様なオブジェクトに対して,人間とロボットのハンドオーバ実験を行う。
  論文  参考訳（メタデータ） (2022-03-31T23:08:20Z)
• Learning Reward Functions from Scale Feedback [11.941038991430837]
  一般的なフレームワークは、ユーザーが好む2つのロボット軌跡について反復的に質問することである。 そこで我々は,ユーザがスライダを使ってよりニュアンスな情報を提供するスケールフィードバックを提案する。 シミュレーションにおいてスライダフィードバックの利点を実証し,2つのユーザスタディにおけるアプローチの有効性を検証する。
  論文  参考訳（メタデータ） (2021-10-01T09:45:18Z)
• Domain Adaptive Robotic Gesture Recognition with Unsupervised Kinematic-Visual Data Alignment [60.31418655784291]
  本稿では,マルチモダリティ知識,すなわちキネマティックデータとビジュアルデータを同時にシミュレータから実ロボットに伝達できる,教師なしドメイン適応フレームワークを提案する。 ビデオの時間的手がかりと、ジェスチャー認識に対するマルチモーダル固有の相関を用いて、トランスファー可能な機能を強化したドメインギャップを修復する。 その結果, 本手法は, ACCでは最大12.91%, F1scoreでは20.16%と, 実際のロボットではアノテーションを使わずに性能を回復する。
  論文  参考訳（メタデータ） (2021-03-06T09:10:03Z)
• Where is my hand? Deep hand segmentation for visual self-recognition in humanoid robots [129.46920552019247]
  本稿では、画像からロボットの手を切り離すための畳み込みニューラルネットワーク(CNN)を提案する。 ヒューマノイドロボットVizzyの手のセグメンテーションのために,Mask-RCNNネットワークを微調整した。
  論文  参考訳（メタデータ） (2021-02-09T10:34:32Z)
• Hyperparameters optimization for Deep Learning based emotion prediction for Human Robot Interaction [0.2549905572365809]
  インセプションモジュールをベースとした畳み込みニューラルネットワークアーキテクチャを提案する。 モデルは人型ロボットNAOにリアルタイムに実装され、モデルの堅牢性を評価する。
  論文  参考訳（メタデータ） (2020-01-12T05:25:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。