論文の概要: Generalization Beyond Feature Alignment: Concept Activation-Guided Contrastive Learning

• arxiv url: http://arxiv.org/abs/2211.06843v2
• Date: Mon, 16 Oct 2023 02:49:12 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-18 06:39:03.208659
• Title: Generalization Beyond Feature Alignment: Concept Activation-Guided Contrastive Learning
• Title（参考訳）: 機能アライメントを超えた一般化:コンセプトアクティベーションによるコントラスト学習
• Authors: Yibing Liu, Chris Xing Tian, Haoliang Li, Shiqi Wang
• Abstract要約: 概念コントラスト(CoCo)は、ニューロンに符号化された高レベルな概念と対比することにより、要素的特徴アライメントを緩和する。 CoCoは一貫してモデルの一般化機能を改善している。
• 参考スコア（独自算出の注目度）: 34.52414482636396
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning invariant representations via contrastive learning has seen state-of-the-art performance in domain generalization (DG). Despite such success, in this paper, we find that its core learning strategy -- feature alignment -- could heavily hinder model generalization. Drawing insights in neuron interpretability, we characterize this problem from a neuron activation view. Specifically, by treating feature elements as neuron activation states, we show that conventional alignment methods tend to deteriorate the diversity of learned invariant features, as they indiscriminately minimize all neuron activation differences. This instead ignores rich relations among neurons -- many of them often identify the same visual concepts despite differing activation patterns. With this finding, we present a simple yet effective approach, Concept Contrast (CoCo), which relaxes element-wise feature alignments by contrasting high-level concepts encoded in neurons. Our CoCo performs in a plug-and-play fashion, thus it can be integrated into any contrastive method in DG. We evaluate CoCo over four canonical contrastive methods, showing that CoCo promotes the diversity of feature representations and consistently improves model generalization capability. By decoupling this success through neuron coverage analysis, we further find that CoCo potentially invokes more meaningful neurons during training, thereby improving model learning.
• Abstract（参考訳）: コントラスト学習による不変表現の学習は、ドメイン一般化(dg)において最先端のパフォーマンスを示す。 このような成功にもかかわらず、本論文では、そのコア学習戦略 -- 機能アライメント -- がモデルの一般化を妨げる可能性があることを見出します。 ニューロンの解釈可能性に関する洞察を導き、ニューロンの活性化の観点からこの問題を特徴づける。 具体的には、特徴要素をニューロン活性化状態として扱うことにより、従来のアライメント手法は学習した不変な特徴の多様性を低下させる傾向を示し、ニューロン活性化の差を無差別に最小化する。 多くのニューロンは、活性化パターンが異なるにもかかわらず、同じ視覚概念を識別する。 そこで本研究では,ニューロンにコードされるハイレベルな概念を対比することにより,要素的特徴のアライメントを緩和する,単純かつ効果的な概念コントラスト(coco)を提案する。 当社のCoCoはプラグイン・アンド・プレイ方式で動作しているので,DGのコントラスト手法に統合することが可能です。 我々はCoCoを4つの正準コントラスト法で評価し、CoCoは特徴表現の多様性を促進し、モデルの一般化能力を一貫して改善することを示した。 この成功をニューロンのカバレッジ分析によって分離することで、CoCoがトレーニング中により有意義なニューロンを誘発し、モデル学習を改善する可能性があることがさらに明らかになった。

関連論文リスト

• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。 このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。 これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Vector-based Representation is the Key: A Study on Disentanglement and Compositional Generalization [77.57425909520167]
  良質な概念認識と斬新な概念構成を両立させることが可能であることを示す。 本研究では,スカラーベース・アンタングル化作業のベクトルベース化を図り,両機能を向上する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-29T13:05:15Z)
• Hierarchical Contrastive Learning Enhanced Heterogeneous Graph Neural Network [59.860534520941485]
  ヘテロジニアスグラフニューラルネットワーク(HGNN)は、異種情報ネットワーク(HIN)を扱う能力に優れていた。 近年,自己指導型学習は最もエキサイティングな学習パラダイムの1つとなり,ラベルがない場合に大きな可能性を示す。 本稿では,自己教師型HGNNの問題点を考察し,HGNNのための新しいコントラスト学習機構であるHeCoを提案する。
  論文  参考訳（メタデータ） (2023-04-24T16:17:21Z)
• Understanding Neural Coding on Latent Manifolds by Sharing Features and Dividing Ensembles [3.625425081454343]
  システム神経科学は、単一ニューロンのチューニング曲線と集団活動の分析を特徴とする2つの相補的な神経データ観に依存している。 これらの2つの視点は、潜伏変数とニューラルアクティビティの関係を制約するニューラル潜伏変数モデルにおいてエレガントに結合する。 ニューラルチューニング曲線にまたがる機能共有を提案し、性能を大幅に改善し、より良い最適化を実現する。
  論文  参考訳（メタデータ） (2022-10-06T18:37:49Z)
• Global Concept-Based Interpretability for Graph Neural Networks via Neuron Analysis [0.0]
  グラフニューラルネットワーク(GNN)は、さまざまなグラフ関連タスクに非常に効果的である。 解釈性と透明性が欠如している。 現在の説明可能性のアプローチは一般的にローカルで、GNNをブラックボックスとして扱う。 本稿では,ニューロンレベルの概念を用いたGNNのグローバルな説明を創出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-08-22T21:30:55Z)
• Drop, Swap, and Generate: A Self-Supervised Approach for Generating Neural Activity [33.06823702945747]
  我々はSwap-VAEと呼ばれる神経活動の不整合表現を学習するための新しい教師なしアプローチを導入する。 このアプローチは、生成モデリングフレームワークとインスタンス固有のアライメント損失を組み合わせたものです。 我々は、行動に関連付けられた関連する潜在次元に沿って、ニューラルネットワークをアンタングルする表現を構築することが可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-03T16:39:43Z)
• Learning Evolved Combinatorial Symbols with a Neuro-symbolic Generative Model [35.341634678764066]
  人間は限られたデータからリッチな概念を素早く理解することができる。 従来のアプローチと概念学習の強みを融合したニューロシンボリックジェネレーションモデルを提案する。
  論文  参考訳（メタデータ） (2021-04-16T17:57:51Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
  メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。 良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
  論文  参考訳（メタデータ） (2020-06-18T15:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。