論文の概要: LoLep: Single-View View Synthesis with Locally-Learned Planes and
Self-Attention Occlusion Inference
- arxiv url: http://arxiv.org/abs/2307.12217v2
- Date: Wed, 9 Aug 2023 10:34:43 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-10 16:59:26.186175
- Title: LoLep: Single-View View Synthesis with Locally-Learned Planes and
Self-Attention Occlusion Inference
- Title(参考訳): LoLep: 局所学習平面と自己認識オクルージョン推論を用いた単一ビュービュー合成
- Authors: Cong Wang, Yu-Ping Wang, Dinesh Manocha
- Abstract要約: 本稿では,1枚のRGB画像から局所学習平面を回帰してシーンを正確に表現するLoLepを提案する。
MINEと比較して、LPIPSは4.8%-9.0%、RVは73.9%-83.5%である。
- 参考スコア(独自算出の注目度): 66.45326873274908
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We propose a novel method, LoLep, which regresses Locally-Learned planes from
a single RGB image to represent scenes accurately, thus generating better novel
views. Without the depth information, regressing appropriate plane locations is
a challenging problem. To solve this issue, we pre-partition the disparity
space into bins and design a disparity sampler to regress local offsets for
multiple planes in each bin. However, only using such a sampler makes the
network not convergent; we further propose two optimizing strategies that
combine with different disparity distributions of datasets and propose an
occlusion-aware reprojection loss as a simple yet effective geometric
supervision technique. We also introduce a self-attention mechanism to improve
occlusion inference and present a Block-Sampling Self-Attention (BS-SA) module
to address the problem of applying self-attention to large feature maps. We
demonstrate the effectiveness of our approach and generate state-of-the-art
results on different datasets. Compared to MINE, our approach has an LPIPS
reduction of 4.8%-9.0% and an RV reduction of 73.9%-83.5%. We also evaluate the
performance on real-world images and demonstrate the benefits.
- Abstract(参考訳): 本稿では,1枚のRGB画像から局所学習平面を回帰してシーンを正確に表現するLoLepを提案する。
深度情報がなければ、適切な平面位置の後退は難しい問題である。
この問題を解決するために、各ビンの複数の平面に対する局所オフセットを回帰する分散サンプリング器を設計し、各ビンに分散空間を分割する。
しかし,そのようなサンプルを用いただけでネットワークは収束しない。さらに,データセットの異なる分散分布と組み合わせた2つの最適化戦略を提案し,簡易かつ効果的な幾何的監督手法として,オクルージョン認識の再投影損失を提案する。
また、オクルージョン推論を改善する自己注意機構を導入し、大きな特徴マップに自己意識を適用する問題に対処するブロックサンプリング自己意識(BS-SA)モジュールを提案する。
提案手法の有効性を実証し,異なるデータセットで最新の結果を生成する。
MINEと比較して、LPIPSは4.8%-9.0%、RVは73.9%-83.5%である。
また,実世界の画像における性能評価を行い,その効果を示す。
関連論文リスト
- Distributional Reduction: Unifying Dimensionality Reduction and
Clustering with Gromov-Wasserstein Projection [50.51460159104604]
教師なし学習は、潜在的に大きな高次元データセットの基盤構造を捉えることを目的としている。
伝統的に、これは次元還元法を用いて解釈可能な空間にデータを投影したり、意味のあるクラスタにポイントを整理する。
私たちは新しい視点 – 流通の視点 – を提供しています。
我々はクラスタリングと次元還元を分散還元と呼ばれる単一のフレームワークに統合する。
論文 参考訳(メタデータ) (2024-02-03T19:00:19Z) - L-DAWA: Layer-wise Divergence Aware Weight Aggregation in Federated
Self-Supervised Visual Representation Learning [14.888569402903562]
自己教師付き学習(SSL)とフェデレーション付き学習(FL)をひとつのコヒーレントシステムに統合することは、データプライバシの保証を提供する可能性がある。
本稿では,FLアグリゲーションにおけるクライアントバイアスや分散の影響を軽減するため,レイヤワイド・ディバージェンス・アウェア・ウェイト・アグリゲーション(L-DAWA)と呼ばれる新たなアグリゲーション戦略を提案する。
論文 参考訳(メタデータ) (2023-07-14T15:07:30Z) - FedLAP-DP: Federated Learning by Sharing Differentially Private Loss
Approximations [58.192338472631405]
FedLAP-DPは、フェデレーション学習のための新しいプライバシー保護アプローチである。
我々の定式化は、クライアントから受信した合成サンプルを活用することで、グローバルな最適化を可能にします。
プライバシーの懸念が高まりつつある中で、私たちのアプローチがレコードレベルの差分プライバシーとシームレスに機能することを実証しています。
論文 参考訳(メタデータ) (2023-02-02T12:56:46Z) - Boosting Few-shot Fine-grained Recognition with Background Suppression
and Foreground Alignment [53.401889855278704]
FS-FGR (Few-shot Fine-fine Recognition) は、限られたサンプルの助けを借りて、新しいきめ細かなカテゴリを認識することを目的としている。
本研究では,背景アクティベーション抑制 (BAS) モジュール,フォアグラウンドオブジェクトアライメント (FOA) モジュール,および局所的局所的(L2L) 類似度測定器からなる2段階の背景アライメントとフォアグラウンドアライメントフレームワークを提案する。
複数のベンチマークで行った実験により,提案手法は既存の最先端技術よりも大きなマージンで優れていることが示された。
論文 参考訳(メタデータ) (2022-10-04T07:54:40Z) - Visual SLAM with Graph-Cut Optimized Multi-Plane Reconstruction [11.215334675788952]
本稿では,インスタンス平面セグメンテーションネットワークからのキューを用いたポーズ推定とマッピングを改善する意味平面SLAMシステムを提案する。
メインストリームのアプローチはRGB-Dセンサーを使用するが、そのようなシステムを備えた単眼カメラを使うことは、ロバストデータアソシエーションや正確な幾何モデルフィッティングといった課題に直面している。
論文 参考訳(メタデータ) (2021-08-09T18:16:08Z) - Towards Overcoming False Positives in Visual Relationship Detection [95.15011997876606]
視覚的関係検出(VRD)における偽陽性率の高い原因について検討する。
本稿では,偽陽性の影響を軽減する堅牢なVRDフレームワークとして,Spatially-Aware Balanced negative pRoposal sAmpling(SABRA)を提案する。
論文 参考訳(メタデータ) (2020-12-23T06:28:00Z) - Insights on Evaluation of Camera Re-localization Using Relative Pose
Regression [0.9236074230806579]
視覚的再局在化における相対的ポーズ回帰の問題を考察する。
上記の問題を治療するための3つの新しい指標を提案する。
我々のネットワークは、特に、一つのシーンでのトレーニングは、他のシーンのパフォーマンスをほとんど損なわないことを示す。
論文 参考訳(メタデータ) (2020-09-23T19:16:26Z) - Robust Locality-Aware Regression for Labeled Data Classification [5.432221650286726]
本稿では,ロバスト局所性認識回帰(RLAR)という特徴抽出フレームワークを提案する。
本モデルでは,クラス間の平均差を使わずに,適応的に境界表現学習を行うために再ターゲット回帰を導入する。
外れ値の乱れを緩和し、過度な適合を防止するため、L2,1ノルムによる正規化項とともに回帰項と局所性を考慮した項を計測する。
論文 参考訳(メタデータ) (2020-06-15T11:36:59Z) - Image Fine-grained Inpainting [89.17316318927621]
拡張畳み込みの密結合を利用してより大きく効果的な受容場を得る一段階モデルを提案する。
この効率的なジェネレータをよく訓練するために、頻繁に使用されるVGG特徴整合損失を除いて、新しい自己誘導回帰損失を設計する。
また、局所的・グローバルな分枝を持つ識別器を用いて、局所的・グローバルな内容の整合性を確保する。
論文 参考訳(メタデータ) (2020-02-07T03:45:25Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。