論文の概要: Contrastive Similarity Matching for Supervised Learning

• arxiv url: http://arxiv.org/abs/2002.10378v5
• Date: Sun, 6 Dec 2020 02:09:28 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-29 03:28:02.674420
• Title: Contrastive Similarity Matching for Supervised Learning
• Title（参考訳）: 教師付き学習におけるコントラスト類似性マッチング
• Authors: Shanshan Qin, Nayantara Mudur and Cengiz Pehlevan
• Abstract要約: 本稿では,腹側視覚路の観察と深部神経回路の訓練によって動機付けられた,生物学的に有望な信用代入問題の解法を提案する。 どちらの場合も、同じ圏に属する対象の表現は徐々に類似し、異なる圏に属する対象はより類似しなくなる。 我々は、この概念を、目的関数と対比した対照的な類似性を用いて定式化し、フィードフォワード、横、フィードバック接続を持つ深層ニューラルネットワークから導出する。
• 参考スコア（独自算出の注目度）: 13.750624267664156
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a novel biologically-plausible solution to the credit assignment problem motivated by observations in the ventral visual pathway and trained deep neural networks. In both, representations of objects in the same category become progressively more similar, while objects belonging to different categories become less similar. We use this observation to motivate a layer-specific learning goal in a deep network: each layer aims to learn a representational similarity matrix that interpolates between previous and later layers. We formulate this idea using a contrastive similarity matching objective function and derive from it deep neural networks with feedforward, lateral, and feedback connections, and neurons that exhibit biologically-plausible Hebbian and anti-Hebbian plasticity. Contrastive similarity matching can be interpreted as an energy-based learning algorithm, but with significant differences from others in how a contrastive function is constructed.
• Abstract（参考訳）: 本稿では,腹側視覚路の観察と深部神経回路の訓練による信用割当問題に対する新しい生物学的解決法を提案する。 どちらの場合でも、同じカテゴリのオブジェクトの表現は徐々に似ているが、異なるカテゴリに属するオブジェクトはより似ている。 各レイヤは、前層と後層の間を補間する表現的類似性マトリックスを学習することを目的としています。 目的関数に適合する対比的類似性を用いてこの概念を定式化し、フィードフォワード、横方向、フィードバックの結合を持つディープニューラルネットワークと、生物学的に可塑性および抗ヘビー性を示すニューロンから導出する。 コントラスト類似性マッチングはエネルギーベースの学習アルゴリズムとして解釈できるが、コントラスト関数がどのように構築されるかという点で他のアルゴリズムと大きく異なる。

関連論文リスト

• Decoupling Semantic Similarity from Spatial Alignment for Neural Networks [4.801683210246596]
  意味オブジェクトの空間的位置は人間の知覚や深層学習の分類に影響を与えない。 これはコンピュータビジョンシステムにおける画像応答の類似性の定義に反映されるべきである。 入力応答間の意味的類似性を,集合マッチング問題として定式化することで測定する。
  論文  参考訳（メタデータ） (2024-10-30T15:17:58Z)
• Deep Neural Networks Can Learn Generalizable Same-Different Visual Relations [22.205838756057314]
  我々は、ディープニューラルネットワークが、分布内と分布外の両方において、同じ微分関係を取得および一般化できるかどうかを検討する。 ある事前学習された変換器は、ほぼ完全な精度で分布外刺激に一般化する同じ微分関係を学習できる。
  論文  参考訳（メタデータ） (2023-10-14T16:28:57Z)
• Going Beyond Neural Network Feature Similarity: The Network Feature Complexity and Its Interpretation Using Category Theory [64.06519549649495]
  機能的に等価な機能と呼ぶものの定義を提供します。 これらの特徴は特定の変換の下で等価な出力を生成する。 反復的特徴マージ(Iterative Feature Merging)というアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-10-10T16:27:12Z)
• Multilayer Multiset Neuronal Networks -- MMNNs [55.2480439325792]
  本研究は,2層以上の類似性ニューロンを組み込んだ多層神経回路網について述べる。 また,回避すべき画像領域に割り当てられる反プロトタイプ点の利用についても検討した。
  論文  参考訳（メタデータ） (2023-08-28T12:55:13Z)
• Contrastive-Signal-Dependent Plasticity: Self-Supervised Learning in Spiking Neural Circuits [61.94533459151743]
  この研究は、スパイキングネットワークのシナプスを調整するための神経生物学的に動機づけられたスキームを設計することの課題に対処する。 我々の実験シミュレーションは、繰り返しスパイクネットワークを訓練する際、他の生物学的に証明可能なアプローチに対して一貫した優位性を示す。
  論文  参考訳（メタデータ） (2023-03-30T02:40:28Z)
• Attributable Visual Similarity Learning [90.69718495533144]
  本稿では、画像間のより正確で説明可能な類似度測定のための帰属的視覚類似度学習(AVSL)フレームワークを提案する。 人間の意味的類似性認知に動機づけられた2つの画像とグラフとの類似性を表現するために,一般化された類似性学習パラダイムを提案する。 CUB-200-2011、Cars196、Stanford Online Productsデータセットの実験は、既存の深い類似性学習方法よりも大幅に改善されたことを示している。
  論文  参考訳（メタデータ） (2022-03-28T17:35:31Z)
• Grounding Psychological Shape Space in Convolutional Neural Networks [0.0]
  我々は畳み込みニューラルネットワークを用いて、知覚入力間の一般化可能なマッピングと、最近提案された形状領域の心理学的類似性空間を学習する。 この結果から,分類に基づくマルチタスク学習シナリオが最も優れた結果が得られるが,その性能は類似性空間の次元に比較的敏感であることが示唆された。
  論文  参考訳（メタデータ） (2021-11-16T12:21:07Z)
• Similarity and Matching of Neural Network Representations [0.0]
  我々は、深層ニューラルネットワークにおける表現の類似性を分析するために、Frankenstein博士と呼ばれるツールセットを使用します。 我々は、2つのトレーニングニューラルネットワークの与えられた層上でのアクティベーションを、縫合層で結合することで一致させることを目指している。
  論文  参考訳（メタデータ） (2021-10-27T17:59:46Z)
• Comparing Deep Neural Nets with UMAP Tour [12.910602784766562]
  UMAP Tourは、現実世界のニューラルネットワークモデルの内部動作を視覚的に検査し、比較するために構築されている。 最先端のモデルで学んだ概念と、GoogLeNetやResNetといった両者の相違点を見出す。
  論文  参考訳（メタデータ） (2021-10-18T15:59:13Z)
• Few-shot Visual Reasoning with Meta-analogical Contrastive Learning [141.2562447971]
  本稿では,類似推論に頼って,数ショット(または低ショット)の視覚推論問題を解くことを提案する。 両領域の要素間の構造的関係を抽出し、類似学習と可能な限り類似するように強制する。 RAVENデータセット上での本手法の有効性を検証し, トレーニングデータが少ない場合, 最先端の手法より優れることを示す。
  論文  参考訳（メタデータ） (2020-07-23T14:00:34Z)
• Pairwise Supervision Can Provably Elicit a Decision Boundary [84.58020117487898]
  類似性学習は、パターンのペア間の関係を予測することによって有用な表現を引き出す問題である。 類似性学習は、決定境界を直接引き出すことによって二項分類を解くことができることを示す。
  論文  参考訳（メタデータ） (2020-06-11T05:35:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。