論文の概要: Reliable Propagation-Correction Modulation for Video Object Segmentation
- arxiv url: http://arxiv.org/abs/2112.02853v1
- Date: Mon, 6 Dec 2021 08:22:58 GMT
- ステータス: 処理完了
- システム内更新日: 2021-12-08 03:30:17.224110
- Title: Reliable Propagation-Correction Modulation for Video Object Segmentation
- Title(参考訳): 映像オブジェクトセグメンテーションのための信頼性伝搬補正
- Authors: Xiaohao Xu, Jinglu Wang, Xiao Li, Yan Lu
- Abstract要約: 本稿では,2つの変調器,伝搬変調器と補正変調器を導入し,ターゲットフレームの埋め込みに対してチャネルワイズ再校正を行う。
これにより、伝搬変調器による信頼性補正変調器の効果のオーバーライドを回避することができる。
提案手法は,YouTube-VOS18/19およびDAVIS17-Val/Testベンチマーク上での最先端性能を実現する。
- 参考スコア(独自算出の注目度): 19.51247081512788
- License: http://creativecommons.org/publicdomain/zero/1.0/
- Abstract: Error propagation is a general but crucial problem in online semi-supervised
video object segmentation. We aim to suppress error propagation through a
correction mechanism with high reliability. The key insight is to disentangle
the correction from the conventional mask propagation process with reliable
cues. We introduce two modulators, propagation and correction modulators, to
separately perform channel-wise re-calibration on the target frame embeddings
according to local temporal correlations and reliable references respectively.
Specifically, we assemble the modulators with a cascaded propagation-correction
scheme. This avoids overriding the effects of the reliable correction modulator
by the propagation modulator. Although the reference frame with the ground
truth label provides reliable cues, it could be very different from the target
frame and introduce uncertain or incomplete correlations. We augment the
reference cues by supplementing reliable feature patches to a maintained pool,
thus offering more comprehensive and expressive object representations to the
modulators. In addition, a reliability filter is designed to retrieve reliable
patches and pass them in subsequent frames. Our model achieves state-of-the-art
performance on YouTube-VOS18/19 and DAVIS17-Val/Test benchmarks. Extensive
experiments demonstrate that the correction mechanism provides considerable
performance gain by fully utilizing reliable guidance. Code is available at:
https://github.com/JerryX1110/RPCMVOS.
- Abstract(参考訳): エラー伝搬は、オンラインの半教師付きビデオオブジェクトセグメンテーションにおいて一般的なが重要な問題である。
信頼性の高い補正機構により誤りの伝播を抑制することを目的とする。
鍵となる洞察は、従来のマスク伝播プロセスから、信頼できる手がかりで補正を外すことである。
本稿では,2つの変調器,伝搬変調器と補正変調器を導入し,それぞれに局所時間相関と信頼基準に基づいて,対象フレームの埋め込みに対してチャネルワイズ再校正を行う。
具体的には、変調器をカスケードした伝搬補正方式で組み立てる。
これにより、伝搬変調器による信頼できる補正変調器の影響を克服する。
ground truthラベル付き参照フレームは信頼できる手がかりを提供するが、ターゲットフレームとは大きく異なり、不確かまたは不完全な相関をもたらす可能性がある。
我々は、信頼できる特徴パッチを保守プールに補足することで参照キューを強化し、より包括的で表現力のあるオブジェクト表現をモジュレータに提供します。
さらに、信頼性フィルタは信頼できるパッチを取得し、それに続くフレームに渡すように設計されている。
本モデルでは,YouTube-VOS18/19およびDAVIS17-Val/Testベンチマークを用いて,最先端のパフォーマンスを実現する。
広範な実験により、この補正機構は信頼性の高いガイダンスを十分に活用することでかなりの性能向上をもたらすことが示されている。
コードはhttps://github.com/jerryx1110/rpcmvos。
関連論文リスト
- PIDformer: Transformer Meets Control Theory [28.10913642120948]
我々は、そのソリューションのスムーズさを本質的に促進する自律的状態空間モデルとして自己意識を公表する。
モデルに参照点を持つPID(Proportional-Integral-Derivative)クローズドループフィードバック制御システムを導入し,ロバスト性や表現能力の向上を図る。
この制御フレームワークにより、新しい変換器のクラス、PID制御変換器(PIDformer)を導出する。
論文 参考訳(メタデータ) (2024-02-25T05:04:51Z) - Friendly Attacks to Improve Channel Coding Reliability [0.33993877661368754]
フレンドリーアタック」は、エラー訂正チャネルコードの性能を向上させることを目的としている。
敵攻撃の概念に触発された本手法は,ニューラルネットワーク入力にわずかな摂動を導入するという考え方を活用する。
提案手法は,異なるチャネル,変調,コード,デコーダ間の信頼性を向上させることができることを示す。
論文 参考訳(メタデータ) (2024-01-25T13:46:21Z) - RIGID: Recurrent GAN Inversion and Editing of Real Face Videos [73.97520691413006]
GANのインバージョンは、実画像に強力な編集可能性を適用するのに不可欠である。
既存のビデオフレームを個別に反転させる手法は、時間の経過とともに望ましくない一貫性のない結果をもたらすことが多い。
我々は、textbfRecurrent vtextbfIdeo textbfGAN textbfInversion and etextbfDiting (RIGID) という統合されたリカレントフレームワークを提案する。
本フレームワークは,入力フレーム間の固有コヒーレンスをエンドツーエンドで学習する。
論文 参考訳(メタデータ) (2023-08-11T12:17:24Z) - FACM: Intermediate Layer Still Retain Effective Features against
Adversarial Examples [18.880398046794138]
ディープニューラルネットワーク(DNN)に対する強力な敵攻撃では、生成された敵の例がDNNに実装された分類器を誤解させる。
我々は,textbfFeature textbfAnalysis と textbfConditional textbfMatching textbfPrediction textbfDistribution (CMPD) 補正モジュールと決定モジュールを提案する。
我々のモデルは微調整によって達成でき、他のモデル固有の防御と組み合わせることができる。
論文 参考訳(メタデータ) (2022-06-02T08:36:47Z) - Error Correction Code Transformer [92.10654749898927]
本稿では,トランスフォーマーアーキテクチャを任意のブロック長で線形符号のソフトデコードに拡張することを提案する。
我々は,各チャネルの出力次元を高次元に符号化し,個別に処理すべきビット情報のより良い表現を行う。
提案手法は、トランスフォーマーの極端なパワーと柔軟性を示し、既存の最先端のニューラルデコーダを、その時間的複雑さのごく一部で大きなマージンで上回る。
論文 参考訳(メタデータ) (2022-03-27T15:25:58Z) - Robustness and Accuracy Could Be Reconcilable by (Proper) Definition [109.62614226793833]
強靭性と精度のトレードオフは、敵文学において広く研究されている。
局所的不変性の帰納的バイアスを課す不適切に定義された頑健な誤差に由来する可能性がある。
定義上、SCOREは、最悪のケースの不確実性に対処しながら、堅牢性と正確性の間の和解を促進する。
論文 参考訳(メタデータ) (2022-02-21T10:36:09Z) - Self-Conditioned Generative Adversarial Networks for Image Editing [61.50205580051405]
Generative Adversarial Networks (GAN) はバイアスの影響を受けやすい。
我々は、このバイアスが公平性だけでなく、分布のコアから逸脱する際の潜在トラバース編集手法の崩壊に重要な役割を果たしていると論じる。
論文 参考訳(メタデータ) (2022-02-08T18:08:24Z) - Certifying Model Accuracy under Distribution Shifts [151.67113334248464]
本稿では,データ分布の有界ワッサースタインシフトの下でのモデルの精度について,証明可能なロバスト性保証を提案する。
変換空間におけるモデルの入力をランダム化する単純な手順は、変換の下での分布シフトに対して確実に堅牢であることを示す。
論文 参考訳(メタデータ) (2022-01-28T22:03:50Z) - AuxAdapt: Stable and Efficient Test-Time Adaptation for Temporally
Consistent Video Semantic Segmentation [81.87943324048756]
ビデオセグメンテーションでは、フレーム間で時間的に一貫した結果を生成することは、フレームワイドの精度を達成するのと同じくらい重要である。
既存の方法は、時間的整合性を達成するために、テストデータによる光フローの正則化や微調整に依存している。
本稿では、ほとんどのニューラルネットワークモデルの時間的一貫性を改善するために、効率的で直感的で教師なしのオンライン適応手法であるAuxAdaptを提案する。
論文 参考訳(メタデータ) (2021-10-24T07:07:41Z) - Scaling up reservoir engineering for error-correcting codes [0.0]
我々は、ビットフリップエラーに対処する繰り返し符号の提案と、論理量子ビットを符号化するネットワークのスケールアップ方法に焦点を当てる。
課題は、実験的な実現に向けて現実的でありながら、高次のエラーを自律的に修正できるネットワークアーキテクチャを考案することであった。
論文 参考訳(メタデータ) (2020-10-06T16:14:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。