論文の概要: On convex conceptual regions in deep network representations

• arxiv url: http://arxiv.org/abs/2305.17154v1
• Date: Fri, 26 May 2023 10:33:03 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 23:20:59.376267
• Title: On convex conceptual regions in deep network representations
• Title（参考訳）: 深部ネットワーク表現における凸概念領域について
• Authors: Lenka T\v{e}tkov\'a, Thea Br\"usch, Teresa Karen Scheidt, Fabian Martin Mager, Rasmus {\O}rtoft Aagaard, Jonathan Foldager, Tommy Sonne Alstr{\o}m and Lars Kai Hansen
• Abstract要約: 機械学習型潜在空間における概念領域の凸性の概念について検討する。 凸性は基本的な再パラメータ化に対して堅牢であることを示す。 近似凸性は、複数のアプリケーション領域における神経表現において広く見られる。
• 参考スコア（独自算出の注目度）: 2.810015466166704
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: The current study of human-machine alignment aims at understanding the geometry of latent spaces and the correspondence to human representations. G\"ardenfors' conceptual spaces is a prominent framework for understanding human representations. Convexity of object regions in conceptual spaces is argued to promote generalizability, few-shot learning, and intersubject alignment. Based on these insights, we investigate the notion of convexity of concept regions in machine-learned latent spaces. We develop a set of tools for measuring convexity in sampled data and evaluate emergent convexity in layered representations of state-of-the-art deep networks. We show that convexity is robust to basic re-parametrization, hence, meaningful as a quality of machine-learned latent spaces. We find that approximate convexity is pervasive in neural representations in multiple application domains, including models of images, audio, human activity, text, and brain data. We measure convexity separately for labels (i.e., targets for fine-tuning) and other concepts. Generally, we observe that fine-tuning increases the convexity of label regions, while for more general concepts, it depends on the alignment of the concept with the fine-tuning objective. We find evidence that pre-training convexity of class label regions predicts subsequent fine-tuning performance.
• Abstract（参考訳）: ヒトと機械のアライメントに関する現在の研究は、潜在空間の幾何学と人間の表現への対応を理解することを目的としている。 G\"ardenforsの概念空間は人間の表現を理解するための顕著な枠組みである。 概念空間における対象領域の凸性は、一般化可能性、少数ショット学習、オブジェクト間のアライメントを促進する。 これらの知見に基づき,機械学習型潜在空間における概念領域の凸性の概念を検討する。 サンプルデータ中の凸度を測定し,最先端深層ネットワークの階層表現における創発的凸度を評価するための一連のツールを開発した。 凸性は基本的再パラメータ化に対して堅牢であることを示し、したがって、機械学習された潜在空間の品質として有意義である。 近似凸性は、画像、音声、人間の活動、テキスト、および脳データを含む複数のアプリケーション領域の神経表現に広く分布する。 我々はラベル(すなわち微調整対象)や他の概念に対して別々に凸性を測定する。 一般に、ファインチューニングはラベル領域の凸性を増大させるが、より一般的な概念では、その概念と微調整の目的との整合性に依存する。 クラスラベル領域の事前学習凸性がその後の微調整性能を予測する証拠を見出した。

関連論文リスト

• Connecting Concept Convexity and Human-Machine Alignment in Deep Neural Networks [3.001674556825579]
  ニューラルネットワークと人間の認知プロセスの整合性を理解することは、より解釈可能で信頼性の高いAIシステムを開発するための重要なステップである。 認知タスクにおける人間との類似関係を反映した2つの次元の相関関係を同定する。 これは、人間と機械のアライメント間の関係の凸性を理解するための第一歩である。
  論文  参考訳（メタデータ） (2024-09-10T09:32:16Z)
• Understanding Distributed Representations of Concepts in Deep Neural Networks without Supervision [25.449397570387802]
  本稿では,ニューロンの主部分集合を選択することによって,概念の分散表現を発見する教師なし手法を提案する。 我々の経験から、類似のニューロン活性化状態のインスタンスはコヒーレントな概念を共有する傾向があることが示されている。 データ内のラベルなしサブクラスを特定し、誤分類の原因を検出するために利用することができる。
  論文  参考訳（メタデータ） (2023-12-28T07:33:51Z)
• Rewrite Caption Semantics: Bridging Semantic Gaps for Language-Supervised Semantic Segmentation [100.81837601210597]
  本研究では,事前学習データにおける視覚的意味論とテキスト的意味論のギャップを埋めるための概念キュレーション(CoCu)を提案する。 CoCuは、最高にゼロショット転送性能を達成し、言語教師ありセグメンテーションベースラインを大きなマージンで大幅に向上させる。
  論文  参考訳（メタデータ） (2023-09-24T00:05:39Z)
• SimNP: Learning Self-Similarity Priors Between Neural Points [52.4201466988562]
  SimNPはカテゴリーレベルの自己相似性を学ぶ方法である。 我々は、SimNPが対称な見えない対象領域の再構成において、従来の手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-09-07T16:02:40Z)
• Denoise and Contrast for Category Agnostic Shape Completion [48.66519783934386]
  本稿では,自己スーパービジョンのパワーを利用して3dポイントのクラウド補完を行うディープラーニングモデルを提案する。 Denoising Pretextタスクは、高レベルのセマンティクスから切り離された、必要なローカルキューをネットワークに提供する。 コントラスト学習は、異なる欠落部分を持つ同じ形状の変種間の一致を最大化する。
  論文  参考訳（メタデータ） (2021-03-30T20:33:24Z)
• Variational Structured Attention Networks for Deep Visual Representation Learning [49.80498066480928]
  空間的注意マップとチャネル的注意の両方を原則的に共同学習するための統合的深層フレームワークを提案する。 具体的には,確率的表現学習フレームワークに注目度の推定と相互作用を統合する。 ニューラルネットワーク内で推論ルールを実装し,確率パラメータとcnnフロントエンドパラメータのエンドツーエンド学習を可能にする。
  論文  参考訳（メタデータ） (2021-03-05T07:37:24Z)
• Regional Attention Network (RAN) for Head Pose and Fine-grained Gesture Recognition [9.131161856493486]
  本研究では,CNN(Convolutional Neural Network) である RAN (End-to-end textbfRegional Attention Network) を提案する。 我々の領域は1つ以上の連続した細胞から構成されており、HOG(Histogram of Oriented Gradient)ディスクリプタの計算に使用される戦略に適応している。 提案手法は、異なる指標のかなりの差で最先端の手法より優れている。
  論文  参考訳（メタデータ） (2021-01-17T10:14:28Z)
• Evidential Sparsification of Multimodal Latent Spaces in Conditional Variational Autoencoders [63.46738617561255]
  訓練された条件付き変分オートエンコーダの離散潜時空間をスパース化する問題を考察する。 顕在的理論を用いて、特定の入力条件から直接証拠を受け取る潜在クラスを特定し、そうでないクラスをフィルタリングする。 画像生成や人間の行動予測などの多様なタスクの実験により,提案手法の有効性を実証した。
  論文  参考訳（メタデータ） (2020-10-19T01:27:21Z)
• Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
  画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。 本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。 本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-13T18:05:36Z)
• Focus on Semantic Consistency for Cross-domain Crowd Understanding [34.560447389853614]
  いくつかのドメイン適応アルゴリズムは、合成データでモデルをトレーニングすることでそれを解放しようとする。 その結果,背景領域における推定誤差が既存手法の性能を阻害していることが判明した。 本稿では,ドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2020-02-20T08:51:05Z)
• Topologically Densified Distributions [25.140319008330167]
  オーバーパラメータ化ニューラルネットワークを用いた小さなサンプルサイズ学習の文脈における正規化について検討する。 我々は、その空間で誘導される確率測度から引き出されたサンプルに位相的制約を課す。 このことは、トレーニングインスタンスの表現に関する質量濃度の影響を確実に引き起こす。
  論文  参考訳（メタデータ） (2020-02-12T05:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。