論文の概要: S3Net: Innovating Stereo Matching and Semantic Segmentation with a Single-Branch Semantic Stereo Network in Satellite Epipolar Imagery

• arxiv url: http://arxiv.org/abs/2401.01643v1
• Date: Wed, 3 Jan 2024 09:37:33 GMT
• ステータス: 処理完了
• システム内更新日: 2024-01-04 14:34:52.337164
• Title: S3Net: Innovating Stereo Matching and Semantic Segmentation with a Single-Branch Semantic Stereo Network in Satellite Epipolar Imagery
• Title（参考訳）: s3net:衛星エピポーラ画像における単分岐意味ステレオネットワークによるステレオマッチングとセマンティクスセグメンテーションの革新
• Authors: Qingyuan Yang, Guanzhou Chen, Xiaoliang Tan, Tong Wang, Jiaqi Wang, Xiaodong Zhang
• Abstract要約: この研究は、セマンティックセグメンテーションとステレオマッチングを革新的に組み合わせたS3Net(Single-branch Semantic Stereo Network)というソリューションを導入している。 提案手法は,これらの2つのタスク間の本質的なリンクを識別し,活用することにより,意味情報のより正確な理解と相違性推定を実現する。 本モデルでは,セマンティックセグメンテーションにおけるmIoUを61.38から67.39に改善し,D1エラーと平均終点誤差(EPE)をそれぞれ10.051から9.579,1.439から1.403に削減する。
• 参考スコア（独自算出の注目度）: 25.394002514948404
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Stereo matching and semantic segmentation are significant tasks in binocular satellite 3D reconstruction. However, previous studies primarily view these as independent parallel tasks, lacking an integrated multitask learning framework. This work introduces a solution, the Single-branch Semantic Stereo Network (S3Net), which innovatively combines semantic segmentation and stereo matching using Self-Fuse and Mutual-Fuse modules. Unlike preceding methods that utilize semantic or disparity information independently, our method dentifies and leverages the intrinsic link between these two tasks, leading to a more accurate understanding of semantic information and disparity estimation. Comparative testing on the US3D dataset proves the effectiveness of our S3Net. Our model improves the mIoU in semantic segmentation from 61.38 to 67.39, and reduces the D1-Error and average endpoint error (EPE) in disparity estimation from 10.051 to 9.579 and 1.439 to 1.403 respectively, surpassing existing competitive methods. Our codes are available at:https://github.com/CVEO/S3Net.
• Abstract（参考訳）: ステレオマッチングとセマンティックセグメンテーションは両眼衛星の3D再構成において重要な課題である。 しかし、従来の研究ではこれらを独立した並列タスクと見なしており、統合マルチタスク学習フレームワークが欠如している。 本研究は,自己ヒューズモジュールと相互ヒューズモジュールを用いた意味セグメンテーションとステレオマッチングを革新的に組み合わせた,s3net(single-branch semantic stereo network)というソリューションを提案する。 セマンティクスや異質な情報を独立に利用する従来の手法とは異なり、この方法はこれらの2つのタスク間の内在的なリンクを磨き、活用し、より正確なセマンティクス情報の理解と異質性推定に繋がる。 US3Dデータセットの比較テストは、S3Netの有効性を証明する。 本モデルでは, セマンティックセグメンテーションにおけるmIoUを61.38から67.39に改善し, D1-Errorと平均終点誤差(EPE)を10.051から9.579, 1.439から1.403に削減し, 既存の競合手法を上回った。 私たちのコードは、https://github.com/cveo/s3netで利用可能です。

関連論文リスト

• Bayesian Self-Training for Semi-Supervised 3D Segmentation [59.544558398992386]
  3Dセグメンテーションはコンピュータビジョンの中核的な問題である。 完全に教師されたトレーニングを採用するために、3Dポイントクラウドを密にラベル付けすることは、労働集約的で高価です。 半教師付きトレーニングは、ラベル付きデータの小さなセットのみを付与し、より大きなラベル付きデータセットを伴って、より実用的な代替手段を提供する。
  論文  参考訳（メタデータ） (2024-09-12T14:54:31Z)
• Large Generative Model Assisted 3D Semantic Communication [51.17527319441436]
  本稿では,GAM-3DSC(Generative AI Model Assisted 3D SC)システムを提案する。 まず,ユーザ要求に基づいて3次元シナリオからキーセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティックなセマンティクスを抽出する。 次に、これらの多視点画像を符号化するための適応意味圧縮モデル(ASCM)を提案する。 最後に、物理チャネルのチャネル状態情報(CSI)を推定・精査するために、条件付き生成逆数ネットワークと拡散モデル支援チャネル推定(GDCE)を設計する。
  論文  参考訳（メタデータ） (2024-03-09T03:33:07Z)
• OneFormer3D: One Transformer for Unified Point Cloud Segmentation [5.530212768657545]
  本稿では,統合された,シンプルで効果的なセグメンテーションタスクのセマンティクス,例,およびパノプティックセグメンテーションタスクを共同で提案する。 OneFormer3Dという名前のモデルは、学習可能なカーネルのグループを使用して、インスタンスとセマンティックセグメンテーションを一貫して実行する。 また、ScanNet、ScanNet200、S3DISデータセットのセマンティック、例、およびパノプティックセグメンテーションにおいて、最先端の結果を示す。
  論文  参考訳（メタデータ） (2023-11-24T10:56:27Z)
• SATR: Zero-Shot Semantic Segmentation of 3D Shapes [74.08209893396271]
  大規模オフザシェルフ2次元画像認識モデルを用いて3次元形状のゼロショットセマンティックセマンティックセマンティックセグメンテーションの課題について検討する。 本研究では、SATRアルゴリズムを開発し、ShapeNetPartと提案したFAUSTベンチマークを用いて評価する。 SATRは最先端のパフォーマンスを達成し、ベースラインアルゴリズムを平均mIoUの1.3%と4%で上回っている。
  論文  参考訳（メタデータ） (2023-04-11T00:43:16Z)
• ALSO: Automotive Lidar Self-supervision by Occupancy estimation [70.70557577874155]
  本稿では,ポイントクラウド上で動作している深層知覚モデルのバックボーンを事前学習するための自己教師型手法を提案する。 中心となる考え方は、3Dポイントがサンプリングされる表面の再構成であるプリテキストタスクでモデルをトレーニングすることである。 直感的には、もしネットワークがわずかな入力ポイントのみを考慮し、シーン表面を再構築できるなら、おそらく意味情報の断片をキャプチャする。
  論文  参考訳（メタデータ） (2022-12-12T13:10:19Z)
• SVNet: Where SO(3) Equivariance Meets Binarization on Point Cloud Representation [65.4396959244269]
  本論文は,3次元学習アーキテクチャを構築するための一般的なフレームワークを設計することによる課題に対処する。 提案手法はPointNetやDGCNNといった一般的なバックボーンに適用できる。 ModelNet40、ShapeNet、および実世界のデータセットであるScanObjectNNの実験では、この手法が効率、回転、精度の間の大きなトレードオフを達成することを示した。
  論文  参考訳（メタデータ） (2022-09-13T12:12:19Z)
• Unsupervised Representation Learning for 3D Point Cloud Data [66.92077180228634]
  我々は、教師なしのポイントクラウド学習に対して、シンプルで効果的なアプローチを提案する。 特に、原点雲の優れたコントラストバージョンを生成する非常に有用な変換を同定する。 本研究では,3次元オブジェクト分類,形状部分分割,シーン分割の3つの下流タスクについて実験を行った。
  論文  参考訳（メタデータ） (2021-10-13T10:52:45Z)
• S3Net: 3D LiDAR Sparse Semantic Segmentation Network [1.330528227599978]
  S3NetはLiDARポイントクラウドセマンティックセグメンテーションのための新しい畳み込みニューラルネットワークである。 sparse intra-channel attention module (sintraam)とsparse inter-channel attention module (sinteram)で構成されるエンコーダ-デコーダバックボーンを採用する。
  論文  参考訳（メタデータ） (2021-03-15T22:15:24Z)
• (AF)2-S3Net: Attentive Feature Fusion with Adaptive Feature Selection for Sparse Semantic Segmentation Network [3.6967381030744515]
  3次元LiDARセマンティックセマンティックセグメンテーションのためのエンコーダ-デコーダCNNネットワークであるAF2-S3Netを提案する。 本稿では、エンコーダに新しいマルチブランチ注意機能融合モジュール、デコーダに特徴マップを再重み付けしたユニークな適応機能選択モジュールを提案する。 実験の結果,提案手法は大規模セマンティックKITTIベンチマークにおける最先端手法よりも優れていることがわかった。
  論文  参考訳（メタデータ） (2021-02-08T21:04:21Z)
• HITNet: Hierarchical Iterative Tile Refinement Network for Real-time Stereo Matching [18.801346154045138]
  HITNetはリアルタイムステレオマッチングのための新しいニューラルネットワークアーキテクチャである。 私たちのアーキテクチャは本質的にマルチレゾリューションであり、異なるレベルにわたる情報の伝播を可能にします。 執筆時点では、HITNetは2つのビューステレオのためにETH3Dウェブサイトで公開されたすべてのメトリクスで1位から3位にランクインしている。
  論文  参考訳（メタデータ） (2020-07-23T17:11:48Z)
• JSENet: Joint Semantic Segmentation and Edge Detection Network for 3D Point Clouds [37.703770427574476]
  本稿では,初めて3次元意味的エッジ検出タスクに取り組む。 本稿では,2つのタスクを共同で行う2ストリーム完全畳み込みネットワークを提案する。 特に,両タスクの性能向上のために,領域情報とエッジ情報を明示的に関連付ける共同改良モジュールを設計する。
  論文  参考訳（メタデータ） (2020-07-14T08:00:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。