論文の概要: Comparing the information content of probabilistic representation spaces
- arxiv url: http://arxiv.org/abs/2405.21042v3
- Date: Wed, 19 Feb 2025 01:10:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-02-20 13:56:01.494487
- Title: Comparing the information content of probabilistic representation spaces
- Title（参考訳）: 確率的表現空間の情報内容の比較
- Authors: Kieran A. Murphy, Sam Dillavou, Dani S. Bassett,
- Abstract要約: 確率的表現空間はデータセットに関する情報を伝達し、トレーニングデータ、ネットワークアーキテクチャ、損失関数などの要因によって形成される。
一般確率表現空間を比較するための2つの情報理論尺度を提案する。
3つのケーススタディでこれらの尺度の有用性を実証する。
- 参考スコア（独自算出の注目度）: 3.7277730514654555
- License:
- Abstract: Probabilistic representation spaces convey information about a dataset and are shaped by factors such as the training data, network architecture, and loss function. Comparing the information content of such spaces is crucial for understanding the learning process, yet most existing methods assume point-based representations, neglecting the distributional nature of probabilistic spaces. To address this gap, we propose two information-theoretic measures to compare general probabilistic representation spaces by extending classic methods to compare the information content of hard clustering assignments. Additionally, we introduce a lightweight method of estimation that is based on fingerprinting a representation space with a sample of the dataset, designed for scenarios where the communicated information is limited to a few bits. We demonstrate the utility of these measures in three case studies. First, in the context of unsupervised disentanglement, we identify recurring information fragments within individual latent dimensions of VAE and InfoGAN ensembles. Second, we compare the full latent spaces of models and reveal consistent information content across datasets and methods, despite variability during training. Finally, we leverage the differentiability of our measures to perform model fusion, synthesizing the information content of weak learners into a single, coherent representation. Across these applications, the direct comparison of information content offers a natural basis for characterizing the processing of information.
- Abstract（参考訳）: 確率的表現空間はデータセットに関する情報を伝達し、トレーニングデータ、ネットワークアーキテクチャ、損失関数などの要因によって形成される。
このような空間の情報内容を比較することは学習過程を理解する上で重要であるが、既存のほとんどの手法は点ベースの表現を仮定し、確率空間の分布性を無視している。
このギャップに対処するために,従来の手法を拡張し,ハードクラスタリング代入の情報内容を比較することによって,一般的な確率的表現空間を比較するための2つの情報理論手法を提案する。
さらに,数ビットに制限されたシナリオ用に設計されたデータセットのサンプルを用いて表現空間をフィンガープリントすることに基づく,軽量な推定手法を提案する。
3つのケーススタディでこれらの尺度の有用性を実証する。
まず、教師なし不絡みの文脈において、VAEおよびInfoGANアンサンブルの個々の潜伏次元内の繰り返し情報断片を同定する。
第2に、トレーニング中の可変性にもかかわらず、モデルの全潜在空間を比較し、データセットやメソッド間で一貫性のある情報内容を明らかにする。
最後に,弱い学習者の情報内容を単一の一貫性のある表現に合成することで,モデルの融合を行うための尺度の微分可能性を活用する。
これらのアプリケーション全体にわたって、情報コンテンツの直接比較は、情報の処理を特徴付ける自然な基盤を提供する。
関連論文リスト
- Learning Representations without Compositional Assumptions [79.12273403390311]
本稿では,特徴集合をグラフノードとして表現し,それらの関係を学習可能なエッジとして表現することで,特徴集合の依存関係を学習するデータ駆動型アプローチを提案する。
また,複数のビューから情報を動的に集約するために,より小さな潜在グラフを学習する新しい階層グラフオートエンコーダLEGATOを導入する。
論文 参考訳（メタデータ） (2023-05-31T10:36:10Z) - infoVerse: A Universal Framework for Dataset Characterization with
Multidimensional Meta-information [68.76707843019886]
infoVerseは、データセットの特徴付けのための普遍的なフレームワークである。
infoVerseは、様々なモデル駆動メタ情報を統合することで、データセットの多次元特性をキャプチャする。
実世界の3つのアプリケーション(データプルーニング、アクティブラーニング、データアノテーション)において、infoVerse空間で選択されたサンプルは、強いベースラインを一貫して上回る。
論文 参考訳（メタデータ） (2023-05-30T18:12:48Z) - Inv-SENnet: Invariant Self Expression Network for clustering under
biased data [17.25929452126843]
本研究では,各サブ空間におけるデータポイントのクラスタ化を学習しながら,不要な属性(バイアス)を共同で除去する新しいフレームワークを提案する。
合成および実世界のデータセットに対する実験結果から,本手法の有効性が示された。
論文 参考訳（メタデータ） (2022-11-13T01:19:06Z) - Leachable Component Clustering [10.377914682543903]
本研究では,非完全データのクラスタリングに対する新たなアプローチとして,リーチ可能なコンポーネントクラスタリングを提案する。
提案手法はベイズアライメントを用いてデータ計算を処理し,理論上失われたパターンを収集する。
いくつかの人工不完全データセットの実験により、提案手法は、他の最先端アルゴリズムと比較して優れた性能を示すことができることを示した。
論文 参考訳（メタデータ） (2022-08-28T13:13:17Z) - Leveraging Ensembles and Self-Supervised Learning for Fully-Unsupervised
Person Re-Identification and Text Authorship Attribution [77.85461690214551]
完全ラベル付きデータからの学習は、Person Re-IdentificationやText Authorship Attributionなどのマルチメディアフォレスト問題において困難である。
近年の自己教師型学習法は,基礎となるクラスに意味的差異が有る場合に,完全ラベル付きデータを扱う際に有効であることが示されている。
本研究では,異なるクラスからのサンプルが顕著に多様性を持っていない場合でも,ラベルのないデータから学習できるようにすることにより,個人再認識とテキストオーサシップの属性に対処する戦略を提案する。
論文 参考訳（メタデータ） (2022-02-07T13:08:11Z) - Discriminative Supervised Subspace Learning for Cross-modal Retrieval [16.035973055257642]
クロスモーダル検索のための識別型教師付き部分空間学習法(DS2L)を提案する。
具体的には、まず、各モダリティ内の意味構造を保存するために、共有セマンティックグラフを構築する。
次に,Hilbert-Schmidt Independence Criterion (HSIC)を導入し,特徴相似性とサンプルの意味相似性との相似性を維持する。
論文 参考訳（メタデータ） (2022-01-26T14:27:39Z) - Learning Debiased and Disentangled Representations for Semantic
Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。
各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。
提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文 参考訳（メタデータ） (2021-10-31T16:15:09Z) - Integrating Auxiliary Information in Self-supervised Learning [94.11964997622435]
まず、補助情報がデータ構造に関する有用な情報をもたらす可能性があることを観察する。
補助情報に基づいてデータクラスタを構築する。
我々はCl-InfoNCEがデータクラスタリング情報を活用するためのより良いアプローチであることを示した。
論文 参考訳（メタデータ） (2021-06-05T11:01:15Z) - Contrastive analysis for scatter plot-based representations of
dimensionality reduction [0.0]
本稿では,マルチ次元データセットを探索し,クラスタの形成を解釈する手法を提案する。
また,属性がクラスタ形成にどのように影響するかを理解するために使用される統計変数間の関係を視覚的に解釈し,探索する二部グラフも導入する。
論文 参考訳（メタデータ） (2021-01-26T01:16:31Z) - Relation-Guided Representation Learning [53.60351496449232]
本稿では,サンプル関係を明示的にモデル化し,活用する表現学習手法を提案する。
私たちのフレームワークは、サンプル間の関係をよく保存します。
サンプルをサブスペースに埋め込むことにより,本手法が大規模なサンプル外問題に対処可能であることを示す。
論文 参考訳（メタデータ） (2020-07-11T10:57:45Z) - Learning Unbiased Representations via Mutual Information Backpropagation [36.383338079229695]
特に、モデルによって学習された場合、データのいくつかの属性(バイアス)が一般化特性を著しく損なう可能性がある場合に直面します。
本稿では,学習した表現とデータ属性の相互情報を同時に推定し,最小化する,新しいエンドツーエンド最適化手法を提案する。
論文 参考訳（メタデータ） (2020-03-13T18:06:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。