論文の概要: Local Attention Transformers for High-Detail Optical Flow Upsampling
- arxiv url: http://arxiv.org/abs/2412.06439v1
- Date: Mon, 09 Dec 2024 12:30:59 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-12-10 14:54:29.457104
- Title: Local Attention Transformers for High-Detail Optical Flow Upsampling
- Title（参考訳）: 高精度光フローアップサンプリングのための局所アテンション変換器
- Authors: Alexander Gielisse, Nergis Tömen, Jan van Gemert,
- Abstract要約: 現在広く採用されている凸アップサンプリング手法のいくつかの問題点と限界について論じる。
我々は, 最終凸アップサンプラーの重みを分離し, 正確な凸結合を見つけるのを容易にすることを提案する。
我々は,注目に基づく代替凸アップサンプラーを用いて,凸マスクサイズを増大させる。
- 参考スコア（独自算出の注目度）: 52.68929881957646
- License:
- Abstract: Most recent works on optical flow use convex upsampling as the last step to obtain high-resolution flow. In this work, we show and discuss several issues and limitations of this currently widely adopted convex upsampling approach. We propose a series of changes, in an attempt to resolve current issues. First, we propose to decouple the weights for the final convex upsampler, making it easier to find the correct convex combination. For the same reason, we also provide extra contextual features to the convex upsampler. Then, we increase the convex mask size by using an attention-based alternative convex upsampler; Transformers for Convex Upsampling. This upsampler is based on the observation that convex upsampling can be reformulated as attention, and we propose to use local attention masks as a drop-in replacement for convex masks to increase the mask size. We provide empirical evidence that a larger mask size increases the likelihood of the existence of the convex combination. Lastly, we propose an alternative training scheme to remove bilinear interpolation artifacts from the model output. Our proposed ideas could theoretically be applied to almost every current state-of-the-art optical flow architecture. On the FlyingChairs + FlyingThings3D training setting we reduce the Sintel Clean training end-point-error of RAFT from 1.42 to 1.26, GMA from 1.31 to 1.18, and that of FlowFormer from 0.94 to 0.90, by solely adapting the convex upsampler.
- Abstract（参考訳）: 光学フローに関する最近の研究は、高分解能フローを得るための最後のステップとして凸アップサンプリング(convex upsampling)を使用している。
本稿では,現在広く採用されている凸アップサンプリング手法の問題点と限界について述べる。
我々は、現在の問題を解決するために、一連の変更を提案する。
まず、最終凸アップサンプラーの重みを分離し、正しい凸結合を見つけやすくする。
同じ理由から、凸アップサンプラーに追加のコンテキスト機能を提供しています。
次に、注目に基づく代替凸アップサンプラー、凸アップサンプリング用トランスフォーマーを用いて、凸マスクのサイズを拡大する。
このアップサンプラーは,コンベックスアップサンプリングを注意として再定義できるという観測に基づいており,我々は,コンベックスマスクのドロップイン代替として,局所的なアテンションマスクを用いてマスクサイズを増大させることを提案する。
より大きなマスクサイズが凸結合の存在可能性を高めるという実証的な証拠を提供する。
最後に、モデル出力から双線形補間アーティファクトを除去する代替のトレーニング手法を提案する。
我々の提案したアイデアは、理論上、現在最先端の光学フローアーキテクチャのほとんどすべてに適用できる。
FlyingChairs + FlyingThings3Dトレーニング設定では、コンベックスアップサンプラーのみを適応させることで、RAFTのシンテルクリーントレーニングエンドポイントエラーを1.42から1.26、GMAを1.31から1.18、FlowFormerを0.94から0.90に削減する。
関連論文リスト
- Adaptive Selection of Sampling-Reconstruction in Fourier Compressed Sensing [13.775902519100075]
圧縮センシング(CS)は、ナイキストサンプリングの非効率性を克服するために出現している。
ディープラーニングベースの再構築は、最適化ベースの再構築に代わる有望な代替手段である。
論文 参考訳（メタデータ） (2024-09-18T06:51:29Z) - Mip-Splatting: Alias-free 3D Gaussian Splatting [52.366815964832426]
3D Gaussian Splattingは素晴らしいビュー合成結果を示し、高い忠実度と効率を実現した。
ストロングアーティファクトは、サンプリングレート、例えば焦点距離やカメラ距離を変えることで観測することができる。
この現象の原因は,3次元周波数制約の欠如と2次元拡張フィルタの利用によると考えられる。
論文 参考訳（メタデータ） (2023-11-27T13:03:09Z) - Grad-PU: Arbitrary-Scale Point Cloud Upsampling via Gradient Descent
with Learned Distance Functions [77.32043242988738]
我々は、任意のアップサンプリングレートをサポートする、正確なポイントクラウドアップサンプリングのための新しいフレームワークを提案する。
提案手法は,まず,所定のアップサンプリング率に応じて低解像度の雲を補間する。
論文 参考訳（メタデータ） (2023-04-24T06:36:35Z) - FInC Flow: Fast and Invertible $k \times k$ Convolutions for Normalizing
Flows [2.156373334386171]
可逆畳み込みは、表現的正規化フローベース生成モデルを構築する上で不可欠な要素である。
我々は、$k倍の畳み込み層とDeep Normalizing Flowアーキテクチャを提案する。
論文 参考訳（メタデータ） (2023-01-23T04:31:03Z) - Diffusion Posterior Sampling for General Noisy Inverse Problems [50.873313752797124]
我々は、後方サンプリングの近似により、雑音(非線形)逆問題に対処するために拡散解法を拡張した。
本手法は,拡散モデルが様々な計測ノイズ統計を組み込むことができることを示す。
論文 参考訳（メタデータ） (2022-09-29T11:12:27Z) - BIMS-PU: Bi-Directional and Multi-Scale Point Cloud Upsampling [60.257912103351394]
我々はBIMS-PUと呼ばれる新しいポイント・クラウド・アップサンプリング・パイプラインを開発した。
対象のサンプリング因子を小さな因子に分解することにより,アップ/ダウンサンプリング手順をいくつかのアップ/ダウンサンプリングサブステップに分解する。
提案手法は最先端手法よりも優れた結果が得られることを示す。
論文 参考訳（メタデータ） (2022-06-25T13:13:37Z) - Anti-aliasing Deep Image Classifiers using Novel Depth Adaptive Blurring
and Activation Function [7.888131635057012]
深層畳み込みネットワークは画像翻訳やシフトに弱い。
教科書の解決策は、ダウンサンプリングの前にローパスフィルタリングである。
単調なぼかしとは対照的に,Depth Adaptive Blurringの方が有効であることを示す。
論文 参考訳（メタデータ） (2021-10-03T01:00:52Z) - PC2-PU: Patch Correlation and Position Correction for Effective Point
Cloud Upsampling [12.070762117164092]
点雲アップサンプリングは、3Dセンサーから取得したスパース点を密度化することである。
既存の方法は単一のパッチ上でアップサンプリングを行い、表面全体のコヒーレンスと関係を無視している。
本稿では,より堅牢で改良された性能を実現するために,より効率的な点群アップサンプリング法を提案する。
論文 参考訳（メタデータ） (2021-09-20T07:40:20Z) - Normalized Convolution Upsampling for Refined Optical Flow Estimation [23.652615797842085]
正常化された畳み込みのUPsampler (NCUP)は光学流れCNNsの訓練の間にフル レゾリューションの流れを作り出す有効な共同アップサンプリングのアプローチです。
提案手法では,アップサンプリングタスクをスパース問題として定式化し,正規化畳み込みニューラルネットワークを用いて解く。
6%のエラー低減とKITTIデータセットのオンパーで、Sintelベンチマークの最新の結果を達成し、パラメータを7.5%削減します。
論文 参考訳（メタデータ） (2021-02-13T18:34:03Z) - Learning Affinity-Aware Upsampling for Deep Image Matting [83.02806488958399]
アップサンプリングにおける学習親和性は、ディープ・ネットワークにおけるペアワイズ・インタラクションを効果的かつ効率的に利用するためのアプローチであることを示す。
特に、コンポジション1kマッチングデータセットの結果は、A2Uが強いベースラインに対してSAD測定値の14%の相対的な改善を達成していることを示している。
最先端のマッティングネットワークと比較すると、モデル複雑度は40%に過ぎず、8%高いパフォーマンスを実現しています。
論文 参考訳（メタデータ） (2020-11-29T05:09:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。