論文の概要: Disentanglement with Holographic Reduced Representations

• arxiv url: http://arxiv.org/abs/2606.09725v1
• Date: Mon, 08 Jun 2026 16:48:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-09 14:42:07.569641
• Title: Disentanglement with Holographic Reduced Representations
• Title（参考訳）: ホログラフィック縮小表現を用いたディスタングルメント
• Authors: Jhonny J. Velasquez Olivera, Christo K. Thomas, Walid Saad,
• Abstract要約: ニューラルネットワークを用いたデータの変動要因の分離であるディアンタングルメントは、機械学習における長年にわたる課題である。 本稿では, ホログラフィック還元表現(HRR)を用いた教師なし学習アルゴリズムを提案する。 我々は,HRRアンバインド操作が因子の分離に誘導バイアスを与え,ベースラインに対する競争結果が得られることを示した。
• 参考スコア（独自算出の注目度）: 36.48134953186487
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Disentanglement, the separation of factors of variation in data using neural networks, remains a long-standing challenge in machine learning. Prior work has addressed this problem with variational autoencoders and generative adversarial networks that incorporate ideas from variational inference and information-theoretic constraints. In contrast to methods that rely on continuous representations, we propose a design that treats disentangled representations as symbolic structures, motivated by the compositional relationships among the concepts that make up samples from a distribution. However, learning discrete symbolic structures with neural networks while maintaining differentiability is difficult and often requires complex architectures. To address this, we introduce an unsupervised learning algorithm that uses holographic reduced representations (HRR) for neural disentanglement. We show that the HRR unbinding operation provides an inductive bias for separating factors and yields competitive results against baselines, as measured by latent traversals and disentanglement metrics. We complement these empirical findings with an information-theoretic analysis of the HRR unbinding channel. We prove that unbinding induces approximately independent symbol-value pairs and derive a per-slot capacity bound that quantifies how many distinct symbolic concepts can be reliably encoded, giving a quantitative account of the inductive bias toward disentanglement. The resulting representations differ from standard autoencoder-based models, in that their latent units are vectors that are summed together, rather than scalar dimensions of a low-dimensional latent vector. We show that this HRR representation is more robust to noise than other disentangled representations and maintains reconstruction quality across a range of SNRs.
• Abstract（参考訳）: ニューラルネットワークを用いたデータの変動要因の分離であるディアンタングルメントは、機械学習における長年にわたる課題である。 従来の研究は、変分自己エンコーダや、変分推論や情報理論の制約からアイデアを取り入れた生成的敵ネットワークによってこの問題に対処してきた。 連続表現に依存する手法とは対照的に,分布からサンプルを構成する概念間の構成的関係に動機づけられた,非交叉表現を記号構造として扱う設計を提案する。 しかし、ニューラルネットワークを用いて離散的なシンボル構造を学習し、差別性を維持しながら学習することは困難であり、複雑なアーキテクチャを必要とすることが多い。 そこで我々は, ホログラフィック還元表現(HRR)を用いた教師なし学習アルゴリズムを導入する。 我々は,HRRアンバインド操作が要因の分離に誘導バイアスを与え,潜在トラバーサルと非絡み合いの測定値から,基準線に対する競争結果が得られることを示した。 我々はこれらの経験的知見をHRRアンバインドチャネルの情報理論解析で補完する。 我々は、アンバインドがほぼ独立なシンボル値対を誘導し、何つの異なるシンボル概念を確実にエンコードできるかを定量化するスロット単位の容量境界を導出することを証明する。 結果として得られる表現は、標準のオートエンコーダベースのモデルと異なり、その潜在単位は低次元の潜在ベクトルのスカラー次元ではなく、まとめられるベクトルである。 このHRR表現は、他の不整合表現よりもノイズに対して頑健であり、様々なSNRの再構成品質を維持していることを示す。

関連論文リスト

• Twinning Complex Networked Systems: Data-Driven Calibration of the mABCD Synthetic Graph Generator [2.6776012440607784]
  本稿では、マッチング構成を推定し、関連するエラーを定量化する手法を提案する。 構成パラメータ間の強い相互依存が独立推定を弱め、代わりに共同予測アプローチを好んでいることから,本課題は非自明であることを示す。
  論文  参考訳（メタデータ） (2026-02-02T12:40:19Z)
• Diffusion Model with Cross Attention as an Inductive Bias for Disentanglement [58.9768112704998]
  遠方表現学習は、観測データ内の本質的要因を抽出する試みである。 我々は新しい視点と枠組みを導入し、クロスアテンションを持つ拡散モデルが強力な帰納バイアスとなることを示す。 これは、複雑な設計を必要とせず、クロスアテンションを持つ拡散モデルの強力な解離能力を明らかにする最初の研究である。
  論文  参考訳（メタデータ） (2024-02-15T05:07:54Z)
• Labeling Neural Representations with Inverse Recognition [25.867702786273586]
  Inverse Recognition (INVERT)は、学習した表現と人間の理解可能な概念を結びつけるためのスケーラブルなアプローチである。 以前の研究とは対照的に、INVERTは多様な種類のニューロンを処理でき、計算の複雑さが小さく、セグメンテーションマスクの可用性に依存しない。 本稿では,様々なシナリオにおけるINVERTの適用性を示す。
  論文  参考訳（メタデータ） (2023-11-22T18:55:25Z)
• Learning Disentangled Discrete Representations [22.5004558029479]
  本稿では,標準ガウス変分オートエンコーダをカテゴリー変分オートエンコーダに置き換えることで,離散潜在空間と非交分表現の関係を示す。 本研究では,非絡み合った表現を学習する上で,個別のVAEの利点を示す分析的および実証的な知見を提供する。
  論文  参考訳（メタデータ） (2023-07-26T12:29:58Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• Structure-preserving GANs [6.438897276587413]
  分散学習のためのデータ効率フレームワークとして,構造保存型GANを導入する。 我々は、不変判別器空間上のその射影に対して、判別器空間を減少させることができることを示す。 固有群対称性を持つ分布に対する対称性保存GANを構築することで、我々の枠組みを文脈化する。
  論文  参考訳（メタデータ） (2022-02-02T16:40:04Z)
• Learning Disentangled Representations with Latent Variation Predictability [102.4163768995288]
  本稿では,潜在不整合表現の変動予測可能性について述べる。 逆生成プロセス内では、潜時変動と対応する画像対の相互情報を最大化することにより、変動予測可能性を高める。 本研究では,潜在表現の絡み合いを測るために,基礎的構造的生成因子に依存しない評価指標を開発する。
  論文  参考訳（メタデータ） (2020-07-25T08:54:26Z)
• When Relation Networks meet GANs: Relation GANs with Triplet Loss [110.7572918636599]
  GAN(Generative Adversarial Network)の学習安定性はいまだに悩みの種である 本稿では,判別器のための関係ネットワークアーキテクチャについて検討し,より優れた一般化と安定性を実現する三重項損失を設計する。 ベンチマークデータセットの実験により、提案された関係判別器と新たな損失は、可変視覚タスクに大幅な改善をもたらすことが示された。
  論文  参考訳（メタデータ） (2020-02-24T11:35:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。