論文の概要: Pointwise Representational Similarity

• arxiv url: http://arxiv.org/abs/2305.19294v1
• Date: Tue, 30 May 2023 09:40:08 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-01 20:25:50.887627
• Title: Pointwise Representational Similarity
• Title（参考訳）: ポイントワイズ表現の類似性
• Authors: Camila Kolling, Till Speicher, Vedant Nanda, Mariya Toneva, Krishna P. Gummadi
• Abstract要約: ポイントワイド正規化カーネルアライメント (Pointwise Normalized Kernel Alignment, PNKA) は、個々の入力が2つの表現空間でどのように表現されるかを測定する尺度である。 我々は、(a)誤分類される可能性のある入力例、(b)レイヤ内の(個別の)ニューロンによって符号化された概念、(c)学習された表現に対する公平な介入の効果をより深く理解するために、PNKAをどのように活用できるかを示す。
• 参考スコア（独自算出の注目度）: 14.22332335495585
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the increasing reliance on deep neural networks, it is important to develop ways to better understand their learned representations. Representation similarity measures have emerged as a popular tool for examining learned representations However, existing measures only provide aggregate estimates of similarity at a global level, i.e. over a set of representations for N input examples. As such, these measures are not well-suited for investigating representations at a local level, i.e. representations of a single input example. Local similarity measures are needed, for instance, to understand which individual input representations are affected by training interventions to models (e.g. to be more fair and unbiased) or are at greater risk of being misclassified. In this work, we fill in this gap and propose Pointwise Normalized Kernel Alignment (PNKA), a measure that quantifies how similarly an individual input is represented in two representation spaces. Intuitively, PNKA compares the similarity of an input's neighborhoods across both spaces. Using our measure, we are able to analyze properties of learned representations at a finer granularity than what was previously possible. Concretely, we show how PNKA can be leveraged to develop a deeper understanding of (a) the input examples that are likely to be misclassified, (b) the concepts encoded by (individual) neurons in a layer, and (c) the effects of fairness interventions on learned representations.
• Abstract（参考訳）: ディープニューラルネットワークへの依存が高まる中、学習した表現をよりよく理解する方法を開発することが重要である。 表現類似性尺度は、学習表現を調べるための一般的なツールとして登場したが、既存の尺度は、n個の入力例の一連の表現に対して、グローバルレベルでの類似性の集合的推定のみを提供する。 したがって、これらの測度は局所的なレベルの表現、すなわち単一の入力例の表現を調べるのに適していない。 例えば、個々の入力表現がモデルへのトレーニング介入(例えば、より公平で偏りのない)によって影響を受けるか、あるいは誤分類されるリスクが高いかを理解するために、局所的類似性対策が必要となる。 本研究では、このギャップを埋め、各入力が2つの表現空間でどのように表現されているかを定量化する尺度である、ポイントワイズ正規化カーネルアライメント(pnka)を提案する。 直感的には、PNKAは入力の近傍の類似性を両方の空間にわたって比較する。 この測定値を用いることで,学習表現の特性を従来よりも細かい粒度で解析することができる。 具体的には、PNKAがどのように活用され、より深い理解を深めるかを示す。 (a)誤分類される可能性のある入力例 b) 層内の(個別の)ニューロンによって符号化された概念、及び (c) 公正介入が学習表現に及ぼす影響

関連論文リスト

• ALVIN: Active Learning Via INterpolation [44.410677121415695]
  アクティブラーニングVia Interpolation (ALVIN) は、表現不足群と表現不足群の例間のクラス内一般化を行う。 ALVINは、ショートカットの影響に反する表現空間の領域にモデルを公開する情報的な例を特定する。 感情分析、自然言語推論、パラフレーズ検出を含む6つのデータセットの実験結果は、ALVINが最先端のアクティブな学習方法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-10-11T16:44:39Z)
• Weighted Point Cloud Embedding for Multimodal Contrastive Learning Toward Optimal Similarity Metric [44.95433989446052]
  提案手法の利点は,CLIPの相対的損失に対する新たな理解を通じて示される。 重み付き点雲に基づく提案した類似性は、常に最適類似性を達成することを示す。
  論文  参考訳（メタデータ） (2024-04-30T03:15:04Z)
• Towards out-of-distribution generalization in large-scale astronomical surveys: robust networks learn similar representations [3.653721769378018]
  ニューラルネットワーク表現の類似度尺度である Centered Kernel Alignment (CKA) を用いて、表現類似度と性能の関係について検討する。 モデルが分散シフトに対して堅牢である場合、OODデータ上に層間でかなり異なる表現を生成することが分かりました。 本稿では,CKAを誘導バイアスとして取り入れることで,モデル設計,トレーニング戦略,OOD問題を緩和する上での類似性表現の可能性について論じる。
  論文  参考訳（メタデータ） (2023-11-29T19:00:05Z)
• Beyond Instance Discrimination: Relation-aware Contrastive Self-supervised Learning [75.46664770669949]
  本稿では,関係認識型コントラスト型自己教師型学習(ReCo)をインスタンス関係に統合するために提案する。 当社のReCoは、常に顕著なパフォーマンス改善を実現しています。
  論文  参考訳（メタデータ） (2022-11-02T03:25:28Z)
• Measuring the Interpretability of Unsupervised Representations via Quantized Reverse Probing [97.70862116338554]
  本稿では,自己教師付き表現の解釈可能性の測定問題について検討する。 我々は、後者を、表現と手動でラベル付けされた概念の空間の間の相互情報を推定するものとして定式化する。 提案手法は,多人数の自己教師付き表現の評価に利用し,解釈可能性による評価を行う。
  論文  参考訳（メタデータ） (2022-09-07T16:18:50Z)
• Not All Instances Contribute Equally: Instance-adaptive Class Representation Learning for Few-Shot Visual Recognition [94.04041301504567]
  少数ショットの視覚認識は、いくつかのラベル付きインスタンスから新しい視覚概念を認識することを指す。 本稿では,数ショットの視覚認識を実現するために,インスタンス適応型クラス表現学習ネットワーク(ICRL-Net)と呼ばれる新しいメトリックベースのメタラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2022-09-07T10:00:18Z)
• Contrastive Learning for Fair Representations [50.95604482330149]
  訓練された分類モデルは、意図せずバイアスのある表現や予測につながる可能性がある。 対戦訓練のような既存の分類モデルのデバイアス化手法は、訓練に高価であり、最適化が困難であることが多い。 比較学習を取り入れたバイアス軽減手法を提案し、同じクラスラベルを共有するインスタンスに類似した表現を推奨する。
  論文  参考訳（メタデータ） (2021-09-22T10:47:51Z)
• Instance Similarity Learning for Unsupervised Feature Representation [83.31011038813459]
  教師なし特徴表現のための例類似性学習(ISL)手法を提案する。 我々はGAN(Generative Adversarial Networks)を用いて、基礎となる特徴多様体をマイニングする。 画像分類実験は, 最先端手法と比較して, 提案手法の優位性を示した。
  論文  参考訳（メタデータ） (2021-08-05T16:42:06Z)
• Toward Scalable and Unified Example-based Explanation and Outlier Detection [128.23117182137418]
  我々は,試行錯誤の予測に例ベースの説明を与えることのできる,プロトタイプベースの学生ネットワークのより広範な採用を論じる。 類似カーネル以外のプロトタイプベースのネットワークは,分類精度を損なうことなく,有意義な説明と有望な外乱検出結果が得られることを示す。
  論文  参考訳（メタデータ） (2020-11-11T05:58:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。