論文の概要: Padding Aware Neurons

• arxiv url: http://arxiv.org/abs/2309.08048v1
• Date: Thu, 14 Sep 2023 22:20:57 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-18 16:35:00.836579
• Title: Padding Aware Neurons
• Title（参考訳）: パディング認識ニューロン
• Authors: Dario Garcia-Gasulla and Victor Gimenez-Abalos and Pablo Martin-Torres
• Abstract要約: 静的なパディングで訓練された畳み込みモデルの大部分(すべてではないとしても)においてパディング意識ニューロン(PAN)を同定する。 PANは入力境界位置の特性と認識に注目し、モデルに空間的帰納バイアスを導入する。 我々は、PANのさまざまなタイプ、カーネル、振る舞いについて論じ、その関連性を理解するために、モデル性能への影響を検証し、データに強い特性バイアスをもたらすパディングとPANを見つけ出す。
• 参考スコア（独自算出の注目度）: 0.6906005491572401
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Convolutional layers are a fundamental component of most image-related models. These layers often implement by default a static padding policy (\eg zero padding), to control the scale of the internal representations, and to allow kernel activations centered on the border regions. In this work we identify Padding Aware Neurons (PANs), a type of filter that is found in most (if not all) convolutional models trained with static padding. PANs focus on the characterization and recognition of input border location, introducing a spatial inductive bias into the model (e.g., how close to the input's border a pattern typically is). We propose a method to identify PANs through their activations, and explore their presence in several popular pre-trained models, finding PANs on all models explored, from dozens to hundreds. We discuss and illustrate different types of PANs, their kernels and behaviour. To understand their relevance, we test their impact on model performance, and find padding and PANs to induce strong and characteristic biases in the data. Finally, we discuss whether or not PANs are desirable, as well as the potential side effects of their presence in the context of model performance, generalisation, efficiency and safety.
• Abstract（参考訳）: 畳み込み層は、ほとんどの画像関連モデルの基本的な構成要素である。 これらのレイヤは、デフォルトで静的なパディングポリシー(\eg 0パディング)を実装し、内部表現のスケールを制御し、境界領域を中心としたカーネルの活性化を可能にする。 この研究では、静的パディングで訓練されたほとんどの(すべてではないにせよ)畳み込みモデルに見られるパディング認識ニューロン(pan)を特定する。 pansは入力境界の位置の特徴付けと認識に焦点を当て、モデルに空間的帰納的バイアスを導入する(例えば、典型的なパターンが入力境界にどれだけ近いか)。 我々は,その活性化を通じてパンを識別する手法を提案し,いくつかの一般的な事前学習モデルにおいてその存在を探索し,探索された全モデルのパンを数十から数百まで発見する。 PANのさまざまなタイプ、カーネル、動作について論じ、解説する。 それらの妥当性を理解するため、モデルの性能への影響を検証し、データに強い特性バイアスをもたらすパディングとPANを見つける。 最後に, PANが望ましいか否か, モデル性能, 一般化, 効率, 安全性の文脈におけるその存在の潜在的な副作用について論じる。

関連論文リスト

• Seeing Through VisualBERT: A Causal Adventure on Memetic Landscapes [35.36331164446824]
  構造因果モデル(SCM)に基づくフレームワークを提案する。 このフレームワークでは、VisualBERTは、ミーム入力と因果概念の両方に基づいて、入力ミームのクラスを予測するように訓練されている。 入力属性法は我々のフレームワークの因果性を保証するものではないことが分かり、安全クリティカルなアプリケーションにおけるそれらの信頼性に関する疑問を提起する。
  論文  参考訳（メタデータ） (2024-10-17T12:32:00Z)
• Generative Edge Detection with Stable Diffusion [52.870631376660924]
  エッジ検出は一般的に、主に識別法によって対処されるピクセルレベルの分類問題と見なされる。 本稿では、事前学習した安定拡散モデルのポテンシャルを十分に活用して、GED(Generative Edge Detector)という新しい手法を提案する。 複数のデータセットに対して広範な実験を行い、競争性能を達成する。
  論文  参考訳（メタデータ） (2024-10-04T01:52:23Z)
• One Wave to Explain Them All: A Unifying Perspective on Post-hoc Explainability [6.151633954305939]
  本稿では,ウェーブレット領域を寄与のための堅牢な数学的基礎として活用することを提案する。 我々のアプローチは、既存の勾配に基づく特徴属性をウェーブレット領域に拡張する。 私たちのメソッドが、入力の重要な部分である場所だけでなく、何についてもどのように説明しているかを示します。
  論文  参考訳（メタデータ） (2024-10-02T12:34:04Z)
• A Simple and Generalist Approach for Panoptic Segmentation [57.94892855772925]
  汎用的なビジョンモデルは、様々なビジョンタスクのための1つの同じアーキテクチャを目指している。 このような共有アーキテクチャは魅力的に思えるかもしれないが、ジェネラリストモデルは、その好奇心に満ちたモデルよりも優れている傾向にある。 一般モデルの望ましい性質を損なうことなく、2つの重要なコントリビューションを導入することでこの問題に対処する。
  論文  参考訳（メタデータ） (2024-08-29T13:02:12Z)
• Few-Shot Panoptic Segmentation With Foundation Models [23.231014713335664]
  約0ラベルのSegmenting Panoptic Information(SPINO)を提示することで、タスク非依存の画像特徴を活用して、少ショットのパノプティクスセグメンテーションを可能にすることを提案する。 本手法では,DINOv2のバックボーンと,セマンティックセグメンテーションと境界推定のための軽量なネットワークヘッドを組み合わせる。 提案手法は,10個の注釈付き画像のみを用いてトレーニングし,既存の汎視的セグメンテーション法で使用可能な高品質な擬似ラベルを予測する。
  論文  参考訳（メタデータ） (2023-09-19T16:09:01Z)
• Studying How to Efficiently and Effectively Guide Models with Explanations [52.498055901649025]
  「モデルガイダンス」とは「正しい理由のために正しい」ことを保証するためにモデルの説明を規則化する考え方である。 PASCAL VOC 2007 および MS COCO 2014 データセット上で, 各種損失関数, 帰属方法, モデル, 誘導深度について詳細な評価を行う。 具体的には、一般的に使用されるセグメンテーションマスクよりもはるかに安価で入手可能なバウンディングボックスアノテーションを用いてモデルをガイドする。
  論文  参考訳（メタデータ） (2023-03-21T15:34:50Z)
• PANet: Perspective-Aware Network with Dynamic Receptive Fields and Self-Distilling Supervision for Crowd Counting [63.84828478688975]
  本稿では,視点問題に対処するため,PANetと呼ばれる新しい視点認識手法を提案する。 対象物のサイズが視点効果によって1つの画像で大きく変化するという観測に基づいて,動的受容場(DRF)フレームワークを提案する。 このフレームワークは、入力画像に応じて拡張畳み込みパラメータによって受容野を調整することができ、モデルが各局所領域についてより識別的な特徴を抽出するのに役立つ。
  論文  参考訳（メタデータ） (2021-10-31T04:43:05Z)
• Panoramic Panoptic Segmentation: Towards Complete Surrounding Understanding via Unsupervised Contrastive Learning [97.37544023666833]
  我々は,パノラマパオプティックセグメンテーションを最も総合的なシーン理解として導入する。 完全な周囲の理解は、エージェントに最大限の情報を提供する。 標準ピンホール画像のモデルトレーニングを可能にし、学習した機能を異なるドメインに転送するフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-03-01T09:37:27Z)
• SparseBERT: Rethinking the Importance Analysis in Self-attention [107.68072039537311]
  トランスフォーマーベースのモデルは、その強力な能力のために自然言語処理(NLP)タスクに人気がある。 事前学習モデルの注意マップの可視化は,自己着脱機構を理解するための直接的な方法の一つである。 本研究では,sparsebert設計の指導にも適用可能な微分可能アテンションマスク(dam)アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2021-02-25T14:13:44Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。