論文の概要: Structure-Regularized Attention for Deformable Object Representation

• arxiv url: http://arxiv.org/abs/2106.06672v1
• Date: Sat, 12 Jun 2021 03:10:17 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-15 16:05:18.812359
• Title: Structure-Regularized Attention for Deformable Object Representation
• Title（参考訳）: 変形可能なオブジェクト表現のための構造規則化アテンション
• Authors: Shenao Zhang, Li Shen, Zhifeng Li, Wei Liu
• Abstract要約: 文脈依存のキャプチャは、ディープニューラルネットワークの表現力を改善するのに有用であることが証明されている。 自己注意や非局所操作といったグローバルコンテキストのモデリングに焦点をあてた近年のアプローチは、要素間の制約のないペアワイズ相互作用を可能にすることで、この目標を達成する。 本稿では,データに固有の構造的依存関係をモデル化することにより,コンテキスト利用の恩恵を受けることができる変形可能なオブジェクトの学習表現について考察する。
• 参考スコア（独自算出の注目度）: 17.120035855774344
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Capturing contextual dependencies has proven useful to improve the representational power of deep neural networks. Recent approaches that focus on modeling global context, such as self-attention and non-local operation, achieve this goal by enabling unconstrained pairwise interactions between elements. In this work, we consider learning representations for deformable objects which can benefit from context exploitation by modeling the structural dependencies that the data intrinsically possesses. To this end, we provide a novel structure-regularized attention mechanism, which formalizes feature interaction as structural factorization through the use of a pair of light-weight operations. The instantiated building blocks can be directly incorporated into modern convolutional neural networks, to boost the representational power in an efficient manner. Comprehensive studies on multiple tasks and empirical comparisons with modern attention mechanisms demonstrate the gains brought by our method in terms of both performance and model complexity. We further investigate its effect on feature representations, showing that our trained models can capture diversified representations characterizing object parts without resorting to extra supervision.
• Abstract（参考訳）: コンテキスト依存のキャプチャは、ディープニューラルネットワークの表現力を改善する上で有用であることが証明されている。 自己注意や非局所操作といったグローバルコンテキストのモデリングに焦点をあてた近年のアプローチは、要素間の制約のないペアワイズ相互作用を可能にすることで、この目標を達成する。 本研究では,データに内在する構造的依存関係をモデル化することで,文脈利用のメリットを享受できる変形可能なオブジェクトの学習表現を検討する。 この目的のために, 軽量操作の対を用いて特徴的相互作用を構造的因子化として定式化する新しい構造正規化注意機構を提案する。 インスタンス化されたビルディングブロックは、現代の畳み込みニューラルネットワークに直接組み込むことができ、効率的な表現力を高めることができる。 複数のタスクに関する包括的研究と、現代の注意メカニズムとの比較は、性能とモデルの複雑さの両方の観点から、この手法がもたらした利益を示しています。 さらに,その特徴表現への影響についても検討し,訓練したモデルが,余分な監督を必要とせずに,対象部品を特徴付ける多様な表現をキャプチャできることを示した。

関連論文リスト

• Interpreting token compositionality in LLMs: A robustness analysis [10.777646083061395]
  Constituent-Aware Pooling (CAP)は、大規模言語モデルが言語構造をどのように処理するかを分析するために設計された方法論である。 CAPは様々なモデルレベルで構成型プールを通してモデル活性化に介入する。
  論文  参考訳（メタデータ） (2024-10-16T18:10:50Z)
• Binding Dynamics in Rotating Features [72.80071820194273]
  本稿では,特徴間のアライメントを明示的に計算し,それに応じて重みを調整する「コサイン結合」機構を提案する。 これにより、自己注意と生物学的神経プロセスに直接接続し、回転する特徴に現れるオブジェクト中心の表現の基本的なダイナミクスに光を当てることができます。
  論文  参考訳（メタデータ） (2024-02-08T12:31:08Z)
• A Grammatical Compositional Model for Video Action Detection [24.546886938243393]
  典型的なAnd-Orグラフに基づく行動検出のための新しい文法合成モデル(GCM)を提案する。 本モデルは,文法モデルの構成性とDNNのリッチな特徴を表現する能力の両面を活用するために,階層的な動作の固有構造と潜時的関係を利用する。
  論文  参考訳（メタデータ） (2023-10-04T15:24:00Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• Robust and Controllable Object-Centric Learning through Energy-based Models [95.68748828339059]
  我々の研究は概念的にシンプルで一般的なアプローチであり、エネルギーベースモデルを通してオブジェクト中心の表現を学習する。 既存のアーキテクチャに容易に統合でき、高品質なオブジェクト中心表現を効果的に抽出できることを示す。
  論文  参考訳（メタデータ） (2022-10-11T15:11:15Z)
• Sparse Relational Reasoning with Object-Centric Representations [78.83747601814669]
  対象中心表現の操作において,リレーショナルニューラルアーキテクチャによって学習されたソフトルールの構成可能性について検討する。 特に特徴量の増加は,いくつかのモデルの性能を向上し,より単純な関係をもたらすことが判明した。
  論文  参考訳（メタデータ） (2022-07-15T14:57:33Z)
• Interpreting and improving deep-learning models with reality checks [13.287382944078562]
  この章では、1つの予測のために特徴と特徴グループに重要さをもたらすことによってモデルを解釈することを目的とした最近の研究について取り上げる。 これらの属性は、ニューラルネットワークの一般化を直接的に改善したり、あるいは単純なモデルに蒸留するためにどのように使用できるかを示す。
  論文  参考訳（メタデータ） (2021-08-16T00:58:15Z)
• S2RMs: Spatially Structured Recurrent Modules [105.0377129434636]
  モジュール構造とテンポラル構造の両方を同時に活用できる動的構造を利用するための一歩を踏み出します。 我々のモデルは利用可能なビューの数に対して堅牢であり、追加のトレーニングなしで新しいタスクに一般化できる。
  論文  参考訳（メタデータ） (2020-07-13T17:44:30Z)
• A Trainable Optimal Transport Embedding for Feature Aggregation and its Relationship to Attention [96.77554122595578]
  固定サイズのパラメータ化表現を導入し、与えられた入力セットから、そのセットとトレーニング可能な参照の間の最適な輸送計画に従って要素を埋め込み、集約する。 我々のアプローチは大規模なデータセットにスケールし、参照のエンドツーエンドのトレーニングを可能にすると同時に、計算コストの少ない単純な教師なし学習メカニズムも提供する。
  論文  参考訳（メタデータ） (2020-06-22T08:35:58Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。