論文の概要: Neural Markov Random Field for Stereo Matching
- arxiv url: http://arxiv.org/abs/2403.11193v2
- Date: Thu, 21 Mar 2024 07:53:23 GMT
- ステータス: 処理完了
- システム内更新日: 2024-03-22 12:50:46.133394
- Title: Neural Markov Random Field for Stereo Matching
- Title(参考訳): ステレオマッチングのためのニューラルマルコフランダム場
- Authors: Tongfan Guan, Chen Wang, Yun-Hui Liu,
- Abstract要約: データ駆動型ニューラルネットワークを用いてポテンシャル関数とメッセージパッシングの両方を設計するニューラルネットワークモデルを提案する。
また,差分提案ネットワーク(DPN)を提案し,不一致の探索空間を適応的に創出する。
提案されたアプローチは、KITTI 2012と2015のリーダーボードの両方で1位であり、100msより高速である。
- 参考スコア(独自算出の注目度): 31.769019851152173
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Stereo matching is a core task for many computer vision and robotics applications. Despite their dominance in traditional stereo methods, the hand-crafted Markov Random Field (MRF) models lack sufficient modeling accuracy compared to end-to-end deep models. While deep learning representations have greatly improved the unary terms of the MRF models, the overall accuracy is still severely limited by the hand-crafted pairwise terms and message passing. To address these issues, we propose a neural MRF model, where both potential functions and message passing are designed using data-driven neural networks. Our fully data-driven model is built on the foundation of variational inference theory, to prevent convergence issues and retain stereo MRF's graph inductive bias. To make the inference tractable and scale well to high-resolution images, we also propose a Disparity Proposal Network (DPN) to adaptively prune the search space of disparity. The proposed approach ranks $1^{st}$ on both KITTI 2012 and 2015 leaderboards among all published methods while running faster than 100 ms. This approach significantly outperforms prior global methods, e.g., lowering D1 metric by more than 50% on KITTI 2015. In addition, our method exhibits strong cross-domain generalization and can recover sharp edges. The codes at https://github.com/aeolusguan/NMRF
- Abstract(参考訳): ステレオマッチングは多くのコンピュータビジョンとロボティクスアプリケーションにとってコアタスクである。
従来のステレオ方式では優位であったが、手作りのマルコフランダムフィールド(MRF)モデルは、エンド・ツー・エンドのディープ・モデルに比べて十分なモデリング精度を欠いていた。
深層学習表現はMRFモデルの一意項を大幅に改善しているが、全体的な精度は手作りのペアワードとメッセージパッシングによって著しく制限されている。
これらの問題に対処するために、潜在的な機能とメッセージパッシングの両方をデータ駆動型ニューラルネットワークを用いて設計するニューラルネットワークモデルを提案する。
我々の完全データ駆動モデルは、収束問題を防止し、ステレオMDFのグラフ帰納バイアスを保持するために、変分推論理論の基礎の上に構築されている。
また,高解像度画像に対して精度よく推測可能かつスケール可能となるために,不均一な探索空間を適応的に創出する分散提案ネットワーク(DPN)を提案する。
提案手法は,KITTI 2012 と 2015 の両リーダーボードにおいて,100 ms 以上の速度で動作しながら,公表されたすべてのメソッドのそれぞれに $1^{st}$ をランク付けする。この手法は,従来のグローバルメソッド,例えば D1 メトリックを KITTI 2015 上で50% 以上下げるなど,はるかに優れたパフォーマンスを発揮する。
さらに,本手法は強いクロスドメイン一般化を示し,鋭いエッジを復元する。
https://github.com/aeolusguan/NMRF
関連論文リスト
- Model Inversion Attacks Through Target-Specific Conditional Diffusion Models [54.69008212790426]
モデル反転攻撃(MIA)は、ターゲット分類器のトレーニングセットからプライベートイメージを再構築することを目的としており、それによってAIアプリケーションにおけるプライバシー上の懸念が高まる。
従来のGANベースのMIAは、GANの固有の欠陥と潜伏空間における最適化の偏りにより、劣った遺伝子的忠実度に悩まされる傾向にある。
これらの問題を緩和するために拡散モデル反転(Diff-MI)攻撃を提案する。
論文 参考訳(メタデータ) (2024-07-16T06:38:49Z) - Multi-Fidelity Residual Neural Processes for Scalable Surrogate Modeling [19.60087366873302]
マルチフィデリティ・サロゲートモデリングは,最も高いフィデリティレベルで正確なサロゲートを学習することを目的としている。
ディープラーニングアプローチでは、ニューラルネットワークベースのエンコーダとデコーダを使用してスケーラビリティを向上させる。
本稿では,MFRNP(Multi-fidelity Residual Neural Processs)を提案する。
論文 参考訳(メタデータ) (2024-02-29T04:40:25Z) - Two Heads are Better than One: Robust Learning Meets Multi-branch Models [14.72099568017039]
本稿では,従来の対人訓練用データセットのみを用いて,最先端のパフォーマンスを得るために,分岐直交補助訓練(BORT)を提案する。
我々は, CIFAR-10, CIFAR-100, SVHN に対する Epsilon = 8/255 の ell_infty ノルム束縛摂動に対するアプローチを評価した。
論文 参考訳(メタデータ) (2022-08-17T05:42:59Z) - Scaling Structured Inference with Randomization [64.18063627155128]
本稿では、構造化されたモデルを数万の潜在状態に拡張するためにランダム化された動的プログラミング(RDP)のファミリを提案する。
我々の手法は古典的DPベースの推論に広く適用できる。
また、自動微分とも互換性があり、ニューラルネットワークとシームレスに統合できる。
論文 参考訳(メタデータ) (2021-12-07T11:26:41Z) - An MRF-UNet Product of Experts for Image Segmentation [1.7897459398362972]
Markovのランダムフィールド(MRF)は、オーバーフィットしやすいラベルよりもシンプルにエンコードします。
UNet と MRF の分布積を計算することにより、両方の戦略を融合させることを提案する。
MRF-UNetはバックプロパゲーションによって共同で訓練される。
論文 参考訳(メタデータ) (2021-04-12T14:25:32Z) - Coded Stochastic ADMM for Decentralized Consensus Optimization with Edge
Computing [113.52575069030192]
セキュリティ要件の高いアプリケーションを含むビッグデータは、モバイルデバイスやドローン、車両など、複数の異種デバイスに収集され、格納されることが多い。
通信コストとセキュリティ要件の制限のため、核融合センターにデータを集約するのではなく、分散的に情報を抽出することが最重要となる。
分散エッジノードを介してデータを局所的に処理するマルチエージェントシステムにおいて,モデルパラメータを学習する問題を考える。
分散学習モデルを開発するために,乗算器アルゴリズムの最小バッチ交互方向法(ADMM)のクラスについて検討した。
論文 参考訳(メタデータ) (2020-10-02T10:41:59Z) - Diversity inducing Information Bottleneck in Model Ensembles [73.80615604822435]
本稿では,予測の多様性を奨励することで,ニューラルネットワークの効果的なアンサンブルを生成する問題をターゲットにする。
そこで本研究では,潜伏変数の学習における逆損失の多様性を明示的に最適化し,マルチモーダルデータのモデリングに必要な出力予測の多様性を得る。
最も競争力のあるベースラインと比較して、データ分布の変化の下で、分類精度が大幅に向上した。
論文 参考訳(メタデータ) (2020-03-10T03:10:41Z) - PushNet: Efficient and Adaptive Neural Message Passing [1.9121961872220468]
メッセージパッシングニューラルネットワークは、最近、グラフ上での表現学習に対する最先端のアプローチへと進化した。
既存のメソッドは、複数のラウンドですべてのエッジに沿って同期メッセージパッシングを実行する。
我々は、収束するまで最も関連性の高いエッジに沿ってのみ情報をプッシュする、新しい非同期メッセージパッシングアプローチについて検討する。
論文 参考訳(メタデータ) (2020-03-04T18:15:30Z) - Uncertainty Estimation Using a Single Deep Deterministic Neural Network [66.26231423824089]
本稿では,1回のフォワードパスで,テスト時に分布データポイントの発見と拒否が可能な決定論的ディープモデルを訓練する手法を提案する。
我々は,新しい損失関数とセントロイド更新方式を用いて,これらをスケールトレーニングし,ソフトマックスモデルの精度に適合させる。
論文 参考訳(メタデータ) (2020-03-04T12:27:36Z) - Model Fusion via Optimal Transport [64.13185244219353]
ニューラルネットワークのための階層モデル融合アルゴリズムを提案する。
これは、不均一な非i.d.データに基づいてトレーニングされたニューラルネットワーク間での"ワンショット"な知識伝達に成功していることを示す。
論文 参考訳(メタデータ) (2019-10-12T22:07:15Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。