論文の概要: Padding Aware Neurons
- arxiv url: http://arxiv.org/abs/2309.08048v1
- Date: Thu, 14 Sep 2023 22:20:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-09-18 16:35:00.836579
- Title: Padding Aware Neurons
- Title(参考訳): パディング認識ニューロン
- Authors: Dario Garcia-Gasulla and Victor Gimenez-Abalos and Pablo Martin-Torres
- Abstract要約: 静的なパディングで訓練された畳み込みモデルの大部分(すべてではないとしても)においてパディング意識ニューロン(PAN)を同定する。
PANは入力境界位置の特性と認識に注目し、モデルに空間的帰納バイアスを導入する。
我々は、PANのさまざまなタイプ、カーネル、振る舞いについて論じ、その関連性を理解するために、モデル性能への影響を検証し、データに強い特性バイアスをもたらすパディングとPANを見つけ出す。
- 参考スコア(独自算出の注目度): 0.6906005491572401
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Convolutional layers are a fundamental component of most image-related
models. These layers often implement by default a static padding policy (\eg
zero padding), to control the scale of the internal representations, and to
allow kernel activations centered on the border regions. In this work we
identify Padding Aware Neurons (PANs), a type of filter that is found in most
(if not all) convolutional models trained with static padding. PANs focus on
the characterization and recognition of input border location, introducing a
spatial inductive bias into the model (e.g., how close to the input's border a
pattern typically is). We propose a method to identify PANs through their
activations, and explore their presence in several popular pre-trained models,
finding PANs on all models explored, from dozens to hundreds. We discuss and
illustrate different types of PANs, their kernels and behaviour. To understand
their relevance, we test their impact on model performance, and find padding
and PANs to induce strong and characteristic biases in the data. Finally, we
discuss whether or not PANs are desirable, as well as the potential side
effects of their presence in the context of model performance, generalisation,
efficiency and safety.
- Abstract(参考訳): 畳み込み層は、ほとんどの画像関連モデルの基本的な構成要素である。
これらのレイヤは、デフォルトで静的なパディングポリシー(\eg 0パディング)を実装し、内部表現のスケールを制御し、境界領域を中心としたカーネルの活性化を可能にする。
この研究では、静的パディングで訓練されたほとんどの(すべてではないにせよ)畳み込みモデルに見られるパディング認識ニューロン(pan)を特定する。
pansは入力境界の位置の特徴付けと認識に焦点を当て、モデルに空間的帰納的バイアスを導入する(例えば、典型的なパターンが入力境界にどれだけ近いか)。
我々は,その活性化を通じてパンを識別する手法を提案し,いくつかの一般的な事前学習モデルにおいてその存在を探索し,探索された全モデルのパンを数十から数百まで発見する。
PANのさまざまなタイプ、カーネル、動作について論じ、解説する。
それらの妥当性を理解するため、モデルの性能への影響を検証し、データに強い特性バイアスをもたらすパディングとPANを見つける。
最後に, PANが望ましいか否か, モデル性能, 一般化, 効率, 安全性の文脈におけるその存在の潜在的な副作用について論じる。
関連論文リスト
- Targeted Visualization of the Backbone of Encoder LLMs [46.453758431767724]
注意に基づく大規模言語モデル(LLMs)は、自然言語処理(NLP)における最先端技術である。
エンコーダモデルの成功にもかかわらず、私たちはこの作業に集中していますが、バイアスの問題や敵の攻撃に対する感受性など、いくつかのリスクも抱えています。
決定関数の一部を2次元のデータセットとともに視覚化するDeepViewのNLPドメインへの応用について検討する。
論文 参考訳(メタデータ) (2024-03-26T12:51:02Z) - Boundary-Aware Proposal Generation Method for Temporal Action
Localization [23.79359799496947]
TALは、トリミングされていないビデオの中で、アクションのカテゴリと時間的境界を見つけることを目的としている。
ほとんどの TAL 法は時間境界ではなく行動ラベルに敏感な行動認識モデルに大きく依存している。
コントラスト学習を用いた境界認識提案生成(BAPG)手法を提案する。
論文 参考訳(メタデータ) (2023-09-25T01:41:09Z) - Few-Shot Panoptic Segmentation With Foundation Models [23.231014713335664]
約0ラベルのSegmenting Panoptic Information(SPINO)を提示することで、タスク非依存の画像特徴を活用して、少ショットのパノプティクスセグメンテーションを可能にすることを提案する。
本手法では,DINOv2のバックボーンと,セマンティックセグメンテーションと境界推定のための軽量なネットワークヘッドを組み合わせる。
提案手法は,10個の注釈付き画像のみを用いてトレーニングし,既存の汎視的セグメンテーション法で使用可能な高品質な擬似ラベルを予測する。
論文 参考訳(メタデータ) (2023-09-19T16:09:01Z) - Unleashing Mask: Explore the Intrinsic Out-of-Distribution Detection
Capability [70.72426887518517]
Out-of-Distribution(OOD)検出は、機械学習モデルを現実世界のアプリケーションにデプロイする際に、セキュアAIの必須の側面である。
本稿では,IDデータを用いた学習モデルのOOD識別能力を復元する新しい手法であるUnleashing Maskを提案する。
本手法では, マスクを用いて記憶した非定型サンプルを抽出し, モデルを微調整するか, 導入したマスクでプルーする。
論文 参考訳(メタデータ) (2023-06-06T14:23:34Z) - CPPF++: Uncertainty-Aware Sim2Real Object Pose Estimation by Vote Aggregation [67.12857074801731]
そこで本研究では,シミュレートからリアルなポーズ推定のための新しい手法であるCPPF++を提案する。
投票衝突による課題に対処するため,投票の不確実性をモデル化する新たなアプローチを提案する。
ノイズの多いペアフィルタリング、オンラインアライメント最適化、機能アンサンブルなど、いくつかの革新的なモジュールを組み込んでいます。
論文 参考訳(メタデータ) (2022-11-24T03:27:00Z) - TabDDPM: Modelling Tabular Data with Diffusion Models [23.655109609658226]
TabDDPM -- どんなデータセットにも普遍的に適用でき、どんなタイプの機能でも扱える拡散モデルです。
我々は,TabDDPMを広範囲のベンチマークで評価し,既存のGAN/VAE代替よりも優れていることを示す。
論文 参考訳(メタデータ) (2022-09-30T12:26:14Z) - PANet: Perspective-Aware Network with Dynamic Receptive Fields and
Self-Distilling Supervision for Crowd Counting [63.84828478688975]
本稿では,視点問題に対処するため,PANetと呼ばれる新しい視点認識手法を提案する。
対象物のサイズが視点効果によって1つの画像で大きく変化するという観測に基づいて,動的受容場(DRF)フレームワークを提案する。
このフレームワークは、入力画像に応じて拡張畳み込みパラメータによって受容野を調整することができ、モデルが各局所領域についてより識別的な特徴を抽出するのに役立つ。
論文 参考訳(メタデータ) (2021-10-31T04:43:05Z) - Panoramic Panoptic Segmentation: Towards Complete Surrounding
Understanding via Unsupervised Contrastive Learning [97.37544023666833]
我々は,パノラマパオプティックセグメンテーションを最も総合的なシーン理解として導入する。
完全な周囲の理解は、エージェントに最大限の情報を提供する。
標準ピンホール画像のモデルトレーニングを可能にし、学習した機能を異なるドメインに転送するフレームワークを提案する。
論文 参考訳(メタデータ) (2021-03-01T09:37:27Z) - SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。
事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。
本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
論文 参考訳(メタデータ) (2021-02-25T14:13:44Z) - Fully Convolutional Networks for Panoptic Segmentation [91.84686839549488]
そこで我々は,Panoptic FCNという概念的,シンプルで,強力で,効率的なパノプティックセグメンテーションフレームワークを提案する。
我々のアプローチは、統一された完全な畳み込みパイプラインにおいて、前景や背景を表現し、予測することを目的としています。
Panoptic FCNは、提案されたカーネルジェネレータで、各オブジェクトインスタンスまたは物カテゴリを特定のカーネル重みにエンコードする。
論文 参考訳(メタデータ) (2020-12-01T18:31:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。