論文の概要: Boundary-aware Supervoxel-level Iteratively Refined Interactive 3D Image
Segmentation with Multi-agent Reinforcement Learning
- arxiv url: http://arxiv.org/abs/2303.10692v1
- Date: Sun, 19 Mar 2023 15:52:56 GMT
- ステータス: 処理完了
- システム内更新日: 2023-03-21 17:44:55.982891
- Title: Boundary-aware Supervoxel-level Iteratively Refined Interactive 3D Image
Segmentation with Multi-agent Reinforcement Learning
- Title（参考訳）: マルチエージェント強化学習による境界認識型スーパーボクセルレベルインタラクティブ3次元画像セグメンテーション
- Authors: Chaofan Ma, Qisen Xu, Xiangfeng Wang, Bo Jin, Xiaoyun Zhang, Yanfeng
Wang, Ya Zhang
- Abstract要約: 我々は,マルコフ決定プロセス(MDP)を用いた対話型画像分割をモデル化し,強化学習(RL)による解法を提案する。
ボクセル単位の予測のための大規模な探索空間を考えると, エージェント間でボクセルレベルポリシーを共有するマルチエージェント強化学習が採用されている。
4つのベンチマークデータセットによる実験結果から,提案手法は最先端の手法よりも優れていた。
- 参考スコア（独自算出の注目度）: 33.181732857907384
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Interactive segmentation has recently been explored to effectively and
efficiently harvest high-quality segmentation masks by iteratively
incorporating user hints. While iterative in nature, most existing interactive
segmentation methods tend to ignore the dynamics of successive interactions and
take each interaction independently. We here propose to model iterative
interactive image segmentation with a Markov decision process (MDP) and solve
it with reinforcement learning (RL) where each voxel is treated as an agent.
Considering the large exploration space for voxel-wise prediction and the
dependence among neighboring voxels for the segmentation tasks, multi-agent
reinforcement learning is adopted, where the voxel-level policy is shared among
agents. Considering that boundary voxels are more important for segmentation,
we further introduce a boundary-aware reward, which consists of a global reward
in the form of relative cross-entropy gain, to update the policy in a
constrained direction, and a boundary reward in the form of relative weight, to
emphasize the correctness of boundary predictions. To combine the advantages of
different types of interactions, i.e., simple and efficient for point-clicking,
and stable and robust for scribbles, we propose a supervoxel-clicking based
interaction design. Experimental results on four benchmark datasets have shown
that the proposed method significantly outperforms the state-of-the-arts, with
the advantage of fewer interactions, higher accuracy, and enhanced robustness.
- Abstract（参考訳）: インタラクティブセグメンテーションは、ユーザヒントを反復的に取り入れることで、高品質セグメンテーションマスクを効果的かつ効率的に得るために近年研究されている。
本質的には反復的であるが、ほとんどの既存の対話的セグメンテーション法は、連続する相互作用のダイナミクスを無視し、それぞれの相互作用を独立に取る傾向がある。
本稿では,マルコフ決定プロセス(MDP)を用いて反復的インタラクティブ画像分割をモデル化し,各ボクセルをエージェントとして扱う強化学習(RL)を用いて解決することを提案する。
セグメンテーションタスクにおけるボクセルの探索空間と近隣のボクセル間の依存性を考慮すると,マルチエージェント強化学習が採用され,エージェント間でボクセルレベルのポリシーが共有される。
境界ボクセルがセグメンテーションにとってより重要であると考えると、さらに、相対クロスエントロピーゲインという形で大域的な報酬と、制約された方向におけるポリシーの更新と、相対的な重みの形での境界報酬とからなる境界認識報酬を導入し、境界予測の正確性を強調している。
様々なタイプの相互作用の利点、すなわち点クリックにシンプルで効率的、スクリブルに安定で堅牢な相互作用設計を組み合わせるために、超ボクセルクリックに基づく相互作用設計を提案する。
4つのベンチマークデータセットによる実験結果から,提案手法はより少ない相互作用,高い精度,強靭性を生かし,最先端技術よりも優れていた。
関連論文リスト
- InterFormer: Towards Effective Heterogeneous Interaction Learning for Click-Through Rate Prediction [72.50606292994341]
我々はインターリービング方式で異種情報インタラクションを学習するInterFormerという新しいモジュールを提案する。
提案するInterFormerは,3つのパブリックデータセットと大規模産業データセットに対して,最先端のパフォーマンスを実現する。
論文 参考訳（メタデータ） (2024-11-15T00:20:36Z) - IDRNet: Intervention-Driven Relation Network for Semantic Segmentation [34.09179171102469]
同時進行の視覚パターンは、画素関係モデリングが密接な予測タスクを促進することを示唆している。
印象的な結果にもかかわらず、既存のパラダイムは、しばしば不適切または効果的な文脈情報集約に悩まされる。
我々は,textbfIntervention-textbfDriven textbfRelation textbfNetworkを提案する。
論文 参考訳（メタデータ） (2023-10-16T18:37:33Z) - Interactive segmentation in aerial images: a new benchmark and an open
access web-based tool [2.729446374377189]
近年,コンピュータビジョンにおける対話型セマンティックセマンティックセマンティクスは,人間とコンピュータの相互作用セマンティクスの理想的な状態を実現している。
本研究の目的は,対話型セグメンテーションモデルのベンチマークにより,対話型セグメンテーションとリモートセンシング分析のギャップを埋めることである。
論文 参考訳（メタデータ） (2023-08-25T04:49:49Z) - Feature Decoupling-Recycling Network for Fast Interactive Segmentation [79.22497777645806]
近年のインタラクティブセグメンテーション手法では,入力としてソースイメージ,ユーザガイダンス,従来予測されていたマスクを反復的に取り込んでいる。
本稿では,本質的な相違点に基づいてモデリングコンポーネントを分離するFDRN(Feature Decoupling-Recycling Network)を提案する。
論文 参考訳（メタデータ） (2023-08-07T12:26:34Z) - Multi-granularity Interaction Simulation for Unsupervised Interactive
Segmentation [38.08152990071453]
我々は、教師なし対話的セグメンテーションのための有望な方向を開くために、MIS(Multi-granularity Interaction Simulation)アプローチを導入する。
我々のMISは、非深層学習の非教師付き手法よりも優れており、アノテーションを使わずに従来の深層教師付き手法と同等である。
論文 参考訳（メタデータ） (2023-03-23T16:19:43Z) - Masked Transformer for Neighhourhood-aware Click-Through Rate Prediction [74.52904110197004]
本稿では,近隣相互作用に基づくCTR予測を提案し,そのタスクを異種情報ネットワーク(HIN)設定に組み込む。
周辺地域の表現を高めるために,ノード間のトポロジカルな相互作用を4種類検討する。
本研究では,2つの実世界のデータセットに関する総合的な実験を行い,提案手法が最先端のCTRモデルを大幅に上回ることを示す。
論文 参考訳（メタデータ） (2022-01-25T12:44:23Z) - Unlimited Neighborhood Interaction for Heterogeneous Trajectory
Prediction [97.40338982628094]
マルチプライカテゴリにおける異種エージェントの軌跡を予測できる,シンプルで効果的な非境界相互作用ネットワーク (UNIN) を提案する。
具体的には、提案した無制限近傍相互作用モジュールは、相互作用に関与するすべてのエージェントの融合特徴を同時に生成する。
階層型グラフアテンションモジュールを提案し,カテゴリ間相互作用とエージェント間相互作用を求める。
論文 参考訳（メタデータ） (2021-07-31T13:36:04Z) - Modeling long-term interactions to enhance action recognition [81.09859029964323]
本稿では,フレームレベルと時間レベルの両方でオブジェクト間の相互作用のセマンティクスを利用する,エゴセントリックなビデオのアンダースタンドアクションに対する新しいアプローチを提案する。
ユーザの手とほぼ対応するプライマリ領域と、相互作用するオブジェクトに対応する可能性のあるセカンダリ領域のセットを入力として、領域ベースのアプローチを使用する。
提案手法は, 標準ベンチマークの動作認識において, 最先端技術よりも優れている。
論文 参考訳（メタデータ） (2021-04-23T10:08:15Z) - Asynchronous Interaction Aggregation for Action Detection [43.34864954534389]
本稿では,異なるインタラクションを活用して動作検出を促進する非同期インタラクション集約ネットワーク(AIA)を提案する。
ひとつはインタラクション集約構造(IA)で、複数のタイプのインタラクションをモデル化し統合するための一様パラダイムを採用し、もうひとつはパフォーマンス向上を実現するための非同期メモリ更新アルゴリズム(AMU)です。
論文 参考訳（メタデータ） (2020-04-16T07:03:20Z) - Cascaded Human-Object Interaction Recognition [175.60439054047043]
マルチステージで粗大なHOI理解のためのカスケードアーキテクチャを提案する。
各段階で、インスタンスローカライゼーションネットワークは、HOI提案を段階的に洗練し、インタラクション認識ネットワークにフィードする。
慎重に設計された人間中心の関係機能により、これらの2つのモジュールは効果的な相互作用理解に向けて協調的に機能する。
論文 参考訳（メタデータ） (2020-03-09T17:05:04Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。