論文の概要: On the Bias Against Inductive Biases

• arxiv url: http://arxiv.org/abs/2105.14077v1
• Date: Fri, 28 May 2021 19:41:48 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-01 17:39:25.250116
• Title: On the Bias Against Inductive Biases
• Title（参考訳）: 誘導バイアスに対するバイアスについて
• Authors: George Cazenavette, Simon Lucey
• Abstract要約: 視覚タスクのための自己教師付き特徴学習は、これらの非常に深い等方性ネットワークを使用して最先端の成功を収めた。 本研究では、教師なし視覚特徴学習に用いる小型・中等度等方性ネットワークに対する誘導バイアスの効果を解析する。
• 参考スコア（独自算出の注目度）: 34.10348216388905
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Borrowing from the transformer models that revolutionized the field of natural language processing, self-supervised feature learning for visual tasks has also seen state-of-the-art success using these extremely deep, isotropic networks. However, the typical AI researcher does not have the resources to evaluate, let alone train, a model with several billion parameters and quadratic self-attention activations. To facilitate further research, it is necessary to understand the features of these huge transformer models that can be adequately studied by the typical researcher. One interesting characteristic of these transformer models is that they remove most of the inductive biases present in classical convolutional networks. In this work, we analyze the effect of these and more inductive biases on small to moderately-sized isotropic networks used for unsupervised visual feature learning and show that their removal is not always ideal.
• Abstract（参考訳）: 自然言語処理の分野に革命をもたらしたトランスフォーマーモデルから、視覚タスクのための自己教師型特徴学習もまた、非常に深い等方性ネットワークを使って最先端の成功を収めた。 しかし、典型的なai研究者は、数十億のパラメータと二次的な自己アテンションアクティベーションを持つモデルを評価するリソースを持っていません。 さらなる研究を容易にするためには、典型的な研究者が適切に研究できる巨大なトランスフォーマーモデルの特徴を理解する必要がある。 これらの変圧器モデルの興味深い特徴の1つは、古典的畳み込みネットワークに存在する帰納的バイアスの大半を取り除くことである。 本研究では,これらの帰納バイアスが,教師なし視覚特徴学習に使用される小型・中規模等方性ネットワークに与える影響を分析し,その除去が必ずしも理想的ではないことを示す。

関連論文リスト

• MAGIC: Modular Auto-encoder for Generalisable Model Inversion with Bias Corrections [0.19241821314180374]
  我々は、標準オートエンコーダのデコーダステージを物理モデルに置き換え、バイアス補正層で置き換える。 この一般化可能なアプローチは、モデルを同時に反転させ、バイアスの性質について強い仮定をすることなく、そのバイアスをエンドツーエンドで補正する。 我々の手法は、バイアスを明示的にフィルタリングすることなく、古典的なアプローチの結果に一致または超えます。
  論文  参考訳（メタデータ） (2024-05-29T10:11:10Z)
• Multi-Dimensional Hyena for Spatial Inductive Bias [69.3021852589771]
  自己注意に依存しないデータ効率の高い視覚変換器を提案する。 代わりに、非常に最近のハイエナ層の複数の軸に新しい一般化を用いる。 ハイエナN-DをベースとしたハイブリッドなアプローチをViTの第1層に適用し,それに続いて従来の注目層を取り入れた手法により,様々な視覚トランスフォーマーアーキテクチャの性能が一貫して向上することを示す。
  論文  参考訳（メタデータ） (2023-09-24T10:22:35Z)
• Exploring Model Transferability through the Lens of Potential Energy [78.60851825944212]
  トランスファーラーニングは、事前訓練されたディープラーニングモデルが広く利用可能であることから、コンピュータビジョンタスクにおいて重要になっている。 既存のトレーニング済みモデルの転送可能性の測定方法は、符号化された静的特徴とタスクラベルの間の統計的相関に依存する。 我々はこれらの課題に対処するために,PEDという物理に着想を得たアプローチを提案する。
  論文  参考訳（メタデータ） (2023-08-29T07:15:57Z)
• Bias in Pruned Vision Models: In-Depth Analysis and Countermeasures [93.17009514112702]
  ニューラルネットワークのパラメータのかなりの部分集合をゼロに設定するプルーニングは、モデル圧縮の最も一般的な方法の1つである。 この現象の既存の証拠にもかかわらず、ニューラルネットワークのプルーニングと誘導バイアスの関係はよく理解されていない。
  論文  参考訳（メタデータ） (2023-04-25T07:42:06Z)
• Beyond Transformers for Function Learning [0.6768558752130311]
  単純な関数を学習し、予測する能力は、人間の知性の重要な側面である。 最近の研究はトランスフォーマーアーキテクチャを使ってこの能力を探求し始めている。 2つの単純な帰納的学習バイアスでトランスフォーマーアーキテクチャを拡張することで、このギャップに対処することを提案する。
  論文  参考訳（メタデータ） (2023-04-19T21:33:06Z)
• Attention Enables Zero Approximation Error [22.110336842946555]
  固定数の変圧器エンコーダブロックと自由パラメータを持つ単一ヘッド自己アテンション変圧器は,任意の所望の入力エンコーダを誤りなく生成可能であることを示す。 その結果,自由パラメータ数が増加するシングルヘッド自己注意変換器は普遍的であることがわかった。
  論文  参考訳（メタデータ） (2022-02-24T16:06:01Z)
• Human Interpretation and Exploitation of Self-attention Patterns in Transformers: A Case Study in Extractive Summarization [9.42402875164615]
  本稿では,まず,タスク固有の重要な注意パターンを見つけるために,ループ内パイプラインにおける2つの研究の行を相乗化する。 そして、これらのパターンを元のモデルだけでなく、より小さなモデルにも適用します。 実験の結果、そのようなパターンを注入すると、元のモデルと小さなモデルの両方のパフォーマンスが向上し、必然的に解釈可能であることが示された。
  論文  参考訳（メタデータ） (2021-12-10T07:15:09Z)
• Counterfactual Generative Networks [59.080843365828756]
  画像生成過程を直接監督せずに訓練する独立した因果機構に分解することを提案する。 適切な誘導バイアスを活用することによって、これらのメカニズムは物体の形状、物体の質感、背景を解き放つ。 その結果, 偽画像は, 元の分類タスクにおける性能の低下を伴い, 分散性が向上することが示された。
  論文  参考訳（メタデータ） (2021-01-15T10:23:12Z)
• A Survey on Visual Transformer [126.56860258176324]
  Transformerは、主に自己認識機構に基づくディープニューラルネットワークの一種である。 本稿では、これらの視覚変換器モデルについて、異なるタスクで分類し、それらの利点と欠点を分析することでレビューする。
  論文  参考訳（メタデータ） (2020-12-23T09:37:54Z)
• Effects of Parameter Norm Growth During Transformer Training: Inductive Bias from Gradient Descent [44.44543743806831]
  本研究では, トレーニング中にこれらの標準間に飽和しながら, 変圧器パラメータが大きくなる傾向について検討した。 パラメータが大きくなるにつれて、ネットワークは飽和活性化関数を持つ離散化されたネットワークに近似することが証明される。 以上の結果から,飽和はNLPに対する特定の関心のGDに暗黙的な誘導バイアスの新たな特徴であることが示唆された。
  論文  参考訳（メタデータ） (2020-10-19T17:40:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。