論文の概要: Generalization Beyond Feature Alignment: Concept Activation-Guided Contrastive Learning

• arxiv url: http://arxiv.org/abs/2211.06843v1
• Date: Sun, 13 Nov 2022 08:16:19 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-15 18:14:22.166475
• Title: Generalization Beyond Feature Alignment: Concept Activation-Guided Contrastive Learning
• Title（参考訳）: 機能アライメントを超えた一般化:コンセプトアクティベーションによるコントラスト学習
• Authors: Yibing Liu, Chris Xing Tian, Haoliang Li, Shiqi Wang
• Abstract要約: 対照的な学習は、領域の一般化において最先端のパフォーマンスを見てきた。 その中核となる学習戦略 -- 機能アライメント -- が、モデルの一般化を著しく妨げていることに気付きました。 要素的特徴アライメントを緩和するシンプルなアプローチである textitConcept Contrast (CoCo) を提案する。
• 参考スコア（独自算出の注目度）: 28.56375377281136
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Learning invariant representations via contrastive learning has seen state-of-the-art performance in domain generalization (DG). Despite such success, in this paper, we find that its core learning strategy -- feature alignment -- could heavily hinder the model generalization. Inspired by the recent progress in neuron interpretability, we characterize this problem from a neuron activation view. Specifically, by treating feature elements as neuron activation states, we show that conventional alignment methods tend to deteriorate the diversity of learned invariant features, as they indiscriminately minimize all neuron activation differences. This instead ignores rich relations among neurons -- many of them often identify the same visual concepts though they emerge differently. With this finding, we present a simple yet effective approach, \textit{Concept Contrast} (CoCo), which relaxes element-wise feature alignments by contrasting high-level concepts encoded in neurons. This approach is highly flexible and can be integrated into any contrastive method in DG. Through extensive experiments, we further demonstrate that our CoCo promotes the diversity of feature representations, and consistently improves model generalization capability over the DomainBed benchmark.
• Abstract（参考訳）: コントラスト学習による不変表現の学習は、ドメイン一般化(dg)において最先端のパフォーマンスを示す。 このような成功にもかかわらず、本論文では、そのコア学習戦略 -- 機能アライメント -- がモデルの一般化を妨げる可能性があることを見出します。 近年の神経細胞の解釈能力の進歩に触発されて,ニューロンの活性化の観点からこの問題を特徴づける。 具体的には、特徴要素をニューロン活性化状態として扱うことにより、従来のアライメント手法は学習した不変な特徴の多様性を低下させる傾向を示し、ニューロン活性化の差を無差別に最小化する。 これは代わりにニューロン間のリッチな関係を無視し、多くの場合、同じ視覚概念を識別する。 この発見により,ニューロンにコードされる高レベル概念を対比することにより,要素的特徴のアライメントを緩和する,単純かつ効果的なアプローチである \textit{concept contrast} (coco) を提案する。 このアプローチは非常に柔軟であり、DGのあらゆる対照的な方法に統合することができる。 広範な実験を通じて、我々のCoCoは特徴表現の多様性を促進し、DomainBedベンチマークよりもモデル一般化能力を一貫して改善することを示す。

関連論文リスト

• Artificial Kuramoto Oscillatory Neurons [65.16453738828672]
  しきい値単位の動的代替として人工内蔵ニューロン(AKOrN)を導入する。 このアイデアは、幅広いタスクにまたがってパフォーマンス改善をもたらすことを示しています。 これらの経験的結果は、神経表現の最も基本的なレベルにおいて、私たちの仮定の重要性を示していると信じている。
  論文  参考訳（メタデータ） (2024-10-17T17:47:54Z)
• Manipulating Feature Visualizations with Gradient Slingshots [54.31109240020007]
  本稿では,モデルの決定過程に大きな影響を及ぼすことなく,特徴可視化(FV)を操作する新しい手法を提案する。 ニューラルネットワークモデルにおける本手法の有効性を評価し,任意の選択したニューロンの機能を隠蔽する能力を示す。
  論文  参考訳（メタデータ） (2024-01-11T18:57:17Z)
• Vector-based Representation is the Key: A Study on Disentanglement and Compositional Generalization [77.57425909520167]
  良質な概念認識と斬新な概念構成を両立させることが可能であることを示す。 本研究では,スカラーベース・アンタングル化作業のベクトルベース化を図り,両機能を向上する手法を提案する。
  論文  参考訳（メタデータ） (2023-05-29T13:05:15Z)
• Hierarchical Contrastive Learning Enhanced Heterogeneous Graph Neural Network [59.860534520941485]
  ヘテロジニアスグラフニューラルネットワーク(HGNN)は、異種情報ネットワーク(HIN)を扱う能力に優れていた。 近年,自己指導型学習は最もエキサイティングな学習パラダイムの1つとなり,ラベルがない場合に大きな可能性を示す。 本稿では,自己教師型HGNNの問題点を考察し,HGNNのための新しいコントラスト学習機構であるHeCoを提案する。
  論文  参考訳（メタデータ） (2023-04-24T16:17:21Z)
• Understanding Neural Coding on Latent Manifolds by Sharing Features and Dividing Ensembles [3.625425081454343]
  システム神経科学は、単一ニューロンのチューニング曲線と集団活動の分析を特徴とする2つの相補的な神経データ観に依存している。 これらの2つの視点は、潜伏変数とニューラルアクティビティの関係を制約するニューラル潜伏変数モデルにおいてエレガントに結合する。 ニューラルチューニング曲線にまたがる機能共有を提案し、性能を大幅に改善し、より良い最適化を実現する。
  論文  参考訳（メタデータ） (2022-10-06T18:37:49Z)
• Global Concept-Based Interpretability for Graph Neural Networks via Neuron Analysis [0.0]
  グラフニューラルネットワーク(GNN)は、さまざまなグラフ関連タスクに非常に効果的である。 解釈性と透明性が欠如している。 現在の説明可能性のアプローチは一般的にローカルで、GNNをブラックボックスとして扱う。 本稿では,ニューロンレベルの概念を用いたGNNのグローバルな説明を創出するための新しい手法を提案する。
  論文  参考訳（メタデータ） (2022-08-22T21:30:55Z)
• Drop, Swap, and Generate: A Self-Supervised Approach for Generating Neural Activity [33.06823702945747]
  我々はSwap-VAEと呼ばれる神経活動の不整合表現を学習するための新しい教師なしアプローチを導入する。 このアプローチは、生成モデリングフレームワークとインスタンス固有のアライメント損失を組み合わせたものです。 我々は、行動に関連付けられた関連する潜在次元に沿って、ニューラルネットワークをアンタングルする表現を構築することが可能であることを示す。
  論文  参考訳（メタデータ） (2021-11-03T16:39:43Z)
• Learning Evolved Combinatorial Symbols with a Neuro-symbolic Generative Model [35.341634678764066]
  人間は限られたデータからリッチな概念を素早く理解することができる。 従来のアプローチと概念学習の強みを融合したニューロシンボリックジェネレーションモデルを提案する。
  論文  参考訳（メタデータ） (2021-04-16T17:57:51Z)
• Compositional Explanations of Neurons [52.71742655312625]
  本稿では, 合成論理的概念を同定し, 深部表現におけるニューロンの説明手順について述べる。 本稿では,視覚と自然言語処理のモデルにおける解釈可能性に関するいくつかの疑問に答えるために,この手順を用いる。
  論文  参考訳（メタデータ） (2020-06-24T20:37:05Z)
• Compositional Generalization by Learning Analytical Expressions [87.15737632096378]
  メモリ拡張ニューラルモデルは、合成一般化を達成するために解析式に接続される。 良く知られたベンチマークSCANの実験は、我々のモデルが構成的一般化の優れた能力をつかむことを示した。
  論文  参考訳（メタデータ） (2020-06-18T15:50:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。