論文の概要: Beyond Fixed Grid: Learning Geometric Image Representation with a Deformable Grid

• arxiv url: http://arxiv.org/abs/2008.09269v2
• Date: Mon, 3 Apr 2023 23:03:54 GMT
• ステータス: 処理完了
• システム内更新日: 2023-04-05 20:06:13.518607
• Title: Beyond Fixed Grid: Learning Geometric Image Representation with a Deformable Grid
• Title（参考訳）: Beyond Fixed Grid: 変形可能なグリッドによる幾何学的画像表現の学習
• Authors: Jun Gao, Zian Wang, Jinchen Xuan, Sanja Fidler
• Abstract要約: 本稿では,学習可能なニューラルネットワークモジュールであるemphDeformable Grid DefGridを紹介する。 DefGridは、2次元三角格子の頂点の位置オフセットを予測する。 セマンティックセグメンテーションのための一様グリッド上でCNNを使用する場合と比較して,同じグリッド解像度で有意に改善された結果を示す。
• 参考スコア（独自算出の注目度）: 70.83353059694531
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In modern computer vision, images are typically represented as a fixed uniform grid with some stride and processed via a deep convolutional neural network. We argue that deforming the grid to better align with the high-frequency image content is a more effective strategy. We introduce \emph{Deformable Grid} DefGrid, a learnable neural network module that predicts location offsets of vertices of a 2-dimensional triangular grid, such that the edges of the deformed grid align with image boundaries. We showcase our DefGrid in a variety of use cases, i.e., by inserting it as a module at various levels of processing. We utilize DefGrid as an end-to-end \emph{learnable geometric downsampling} layer that replaces standard pooling methods for reducing feature resolution when feeding images into a deep CNN. We show significantly improved results at the same grid resolution compared to using CNNs on uniform grids for the task of semantic segmentation. We also utilize DefGrid at the output layers for the task of object mask annotation, and show that reasoning about object boundaries on our predicted polygonal grid leads to more accurate results over existing pixel-wise and curve-based approaches. We finally showcase DefGrid as a standalone module for unsupervised image partitioning, showing superior performance over existing approaches. Project website: http://www.cs.toronto.edu/~jungao/def-grid
• Abstract（参考訳）: 現代のコンピュータビジョンでは、画像は通常、一定の一様格子として表現され、いくつかのストライドを持ち、深層畳み込みニューラルネットワークによって処理される。 我々は、グリッドを変形して、高周波画像コンテンツとよりよく一致させることは、より効果的な戦略であると主張する。 学習可能なニューラルネットワークモジュールである \emph{Deformable Grid} DefGrid を導入し、2次元三角格子の頂点の位置オフセットを予測し、変形格子のエッジが画像境界と整合する。 defgridをさまざまな処理レベルでモジュールとして挿入することで、さまざまなユースケース、すなわちさまざまなユースケースで紹介しています。 我々はDefGridをエンド・ツー・エンドのemph{learnable geometry downsampling} 層として利用し、画像の深部CNNへの送出時の解像度を下げるための標準的なプール法を置き換える。 意味セグメンテーションタスクにおいて,一様グリッド上でcnnを使用する場合と比較して,同じグリッド解像度で有意に改善された結果を示す。 また,オブジェクトマスクアノテーションのタスクにおいてDefGridを出力層に利用し,予測した多角形格子上のオブジェクト境界の推論により,既存のピクセルワイドおよび曲線ベースのアプローチよりも正確な結果が得られることを示す。 最終的にdefgridを,教師なし画像分割のためのスタンドアロンモジュールとして紹介し,既存のアプローチよりも優れた性能を示す。 プロジェクトウェブサイト: http://www.cs.toronto.edu/~jungao/def-grid

関連論文リスト

• GridFormer: Point-Grid Transformer for Surface Reconstruction [37.30776475324579]
  我々はGridFormer(GridFormer)という名前のグリッドとポイントの特徴の間に新しい注意機構を導入する。 このメカニズムは、グリッドを空間と点雲を繋ぐ移動点として扱う。 また,差分二項クロスエントロピー損失と境界サンプリングを併用した境界最適化手法を提案する。
  論文  参考訳（メタデータ） (2024-01-04T14:31:56Z)
• Ske2Grid: Skeleton-to-Grid Representation Learning for Action Recognition [15.497054173951584]
  Ske2Gridは骨格に基づく行動認識を改善するための新しい表現学習フレームワークである。 グラフ畳み込みネットワーク上にネットワークを構築し、6つの主流骨格に基づく行動認識データセットで実験を行う。
  論文  参考訳（メタデータ） (2023-08-15T04:49:11Z)
• Learning Self-Prior for Mesh Inpainting Using Self-Supervised Graph Convolutional Networks [4.424836140281846]
  入力として不完全なメッシュのみを必要とする自己優先型のメッシュインペイントフレームワークを提案する。 本手法は塗装工程を通して多角形メッシュフォーマットを維持している。 提案手法は従来のデータセットに依存しない手法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-01T02:51:38Z)
• 3D Human Pose Lifting with Grid Convolution [20.60797374692489]
  本稿では,画像空間における正規畳み込み操作の知恵を模倣したグリッド畳み込み(GridConv)を提案する。 我々の完全畳み込みグリッドリフトネットワークは、最先端の手法よりも顕著なマージンで優れていることを示す。
  論文  参考訳（メタデータ） (2023-02-17T08:52:16Z)
• RecRecNet: Rectangling Rectified Wide-Angle Images by Thin-Plate Spline Model and DoF-based Curriculum Learning [62.86400614141706]
  我々はRecRecNet(Rectangling Rectification Network)という新しい学習モデルを提案する。 我々のモデルは、ソース構造をターゲット領域に柔軟にワープし、エンドツーエンドの非教師なし変形を実現する。 実験により, 定量評価と定性評価の両面において, 比較法よりも解法の方が優れていることが示された。
  論文  参考訳（メタデータ） (2023-01-04T15:12:57Z)
• Deep Rectangling for Image Stitching: A Learning Baseline [57.76737888499145]
  我々は不規則な境界やシーンに大きな多様性を持つ最初の画像縫合整形データセットを構築した。 実験では、従来の方法よりも定量的にも質的にも優位性を示す。
  論文  参考訳（メタデータ） (2022-03-08T03:34:10Z)
• Primal-Dual Mesh Convolutional Neural Networks [62.165239866312334]
  本稿では,グラフ・ニューラル・ネットワークの文献からトライアングル・メッシュへ引き起こされた原始双対のフレームワークを提案する。 提案手法は,3次元メッシュのエッジと顔の両方を入力として特徴付け,動的に集約する。 メッシュ単純化の文献から得られたツールを用いて、我々のアプローチに関する理論的知見を提供する。
  論文  参考訳（メタデータ） (2020-10-23T14:49:02Z)
• TilinGNN: Learning to Tile with Self-Supervised Graph Neural Network [53.64132784328536]
  タイリング問題の古典的な事例を解決するための,最初のニューラルネットワーク最適化フレームワークを紹介する。 すなわち、1種類以上のタイルを用いて任意の2次元形状の非周期的タイリングを求める。 我々はTilinGNNというグラフ畳み込みニューラルネットワークを構築し、グラフエッジ上の機能を段階的に伝播し集約する。
  論文  参考訳（メタデータ） (2020-07-05T10:06:06Z)
• Neural Subdivision [58.97214948753937]
  本稿では,データ駆動型粗粒度モデリングの新しいフレームワークであるNeural Subdivisionを紹介する。 すべてのローカルメッシュパッチで同じネットワーク重みのセットを最適化するため、特定の入力メッシュや固定属、カテゴリに制約されないアーキテクチャを提供します。 単一の高分解能メッシュでトレーニングしても,本手法は新規な形状に対して合理的な区分を生成する。
  論文  参考訳（メタデータ） (2020-05-04T20:03:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。