論文の概要: Enriching Disentanglement: From Logical Definitions to Quantitative Metrics
- arxiv url: http://arxiv.org/abs/2305.11512v2
- Date: Tue, 21 May 2024 16:37:32 GMT
- ステータス: 処理完了
- システム内更新日: 2024-05-22 19:30:20.968076
- Title: Enriching Disentanglement: From Logical Definitions to Quantitative Metrics
- Title(参考訳): 絡み合いの強化:論理的定義から量的メトリクスへ
- Authors: Yivan Zhang, Masashi Sugiyama,
- Abstract要約: 複素データにおける説明的要因の解消は、一般化可能かつデータ効率のよい表現学習のための有望なアプローチである。
我々は、トポス理論とリッチな圏論を用いて、非絡み合いの論理的定義と量的メトリクスの間に理論的な関係を確立する。
本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
- 参考スコア(独自算出の注目度): 59.12308034729482
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Disentangling the explanatory factors in complex data is a promising approach for generalizable and data-efficient representation learning. While a variety of quantitative metrics for learning and evaluating disentangled representations have been proposed, it remains unclear what properties these metrics truly quantify. In this work, we establish a theoretical connection between logical definitions of disentanglement and quantitative metrics using topos theory and enriched category theory. We introduce a systematic approach for converting a first-order predicate into a real-valued quantity by replacing (i) equality with a strict premetric, (ii) the Heyting algebra of binary truth values with a quantale of continuous values, and (iii) quantifiers with aggregators. The metrics induced by logical definitions have strong theoretical guarantees, and some of them are easily differentiable and can be used as learning objectives directly. Finally, we empirically demonstrate the effectiveness of the proposed metrics by isolating different aspects of disentangled representations.
- Abstract(参考訳): 複素データにおける説明的要因の解消は、一般化可能かつデータ効率のよい表現学習のための有望なアプローチである。
不整合表現を学習し、評価するための様々な定量的指標が提案されているが、これらの指標が真に定量化する性質は定かではない。
本研究では、トポス理論とリッチな圏論を用いて、非絡み合いの論理的定義と定量的メトリクスの間の理論的関係を確立する。
我々は,一階述語を置換して実数値に変換する体系的アプローチを導入する。
(i)厳格な事前基準による等式
(ii)連続値の量子を持つ二項真理値のハイティング代数、及び
三 凝集剤を添加した定量器
論理的定義によって引き起こされるメトリクスは強力な理論的保証を持ち、その一部は容易に微分可能であり、直接学習目的として利用することができる。
最後に,不整合表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
関連論文リスト
- Quantization of Large Language Models with an Overdetermined Basis [73.79368761182998]
本稿では,嘉心表現の原理に基づくデータ量子化アルゴリズムを提案する。
以上の結果から, カシ量子化はモデル性能の競争力や優れた品質を達成できることが示唆された。
論文 参考訳(メタデータ) (2024-04-15T12:38:46Z) - A Category-theoretical Meta-analysis of Definitions of Disentanglement [97.34033555407403]
データの変化の要因を識別することは、機械学習の基本的な概念である。
本稿では,既存の乱れの定義をメタ分析する。
論文 参考訳(メタデータ) (2023-05-11T15:24:20Z) - Evaluating the Robustness of Interpretability Methods through
Explanation Invariance and Equivariance [72.50214227616728]
解釈可能性法は、それらの説明が説明されたモデルを忠実に記述した場合にのみ有用である。
特定の対称性群の下で予測が不変であるニューラルネットワークを考える。
論文 参考訳(メタデータ) (2023-04-13T17:59:03Z) - Synergies between Disentanglement and Sparsity: Generalization and
Identifiability in Multi-Task Learning [79.83792914684985]
我々は,最大スパース基底予測器が不整合表現をもたらす条件を提供する新しい識別可能性の結果を証明した。
この理論的な結果から,両レベル最適化問題に基づくアンタングル表現学習の実践的アプローチを提案する。
論文 参考訳(メタデータ) (2022-11-26T21:02:09Z) - A Theoretical Analysis on Independence-driven Importance Weighting for
Covariate-shift Generalization [44.88645911638269]
安定学習文学における独立駆動の重要度アルゴリズムは経験的効果を示している。
本稿では,このようなアルゴリズムの有効性を,特徴選択プロセスとして説明することにより理論的に証明する。
理想的な条件下では、独立駆動の重み付けアルゴリズムがこの集合の変数を識別できることを証明した。
論文 参考訳(メタデータ) (2021-11-03T17:18:49Z) - Disentanglement Analysis with Partial Information Decomposition [31.56299813238937]
不整合表現は、異なる生成因子を個別にキャプチャする複数のランダム変数にデータをマッピングすることで、プロセスを逆転させることを目的としている。
現在の遠絡測定値は、各生成因子によって条件付けられた各変数の絶対偏差、分散、エントロピーなどの濃度を測定するように設計されている。
本研究では,2つ以上の変数間の情報共有を評価するために部分情報分解フレームワークを使用し,新しいアンタングル化指標を含むフレームワークを構築する。
論文 参考訳(メタデータ) (2021-08-31T11:09:40Z) - Discrete representations in neural models of spoken language [56.29049879393466]
音声言語の弱教師付きモデルの文脈における4つの一般的なメトリクスの利点を比較した。
異なる評価指標が矛盾する結果をもたらすことが分かりました。
論文 参考訳(メタデータ) (2021-05-12T11:02:02Z) - Metrics and continuity in reinforcement learning [34.10996560464196]
メトリクスのレンズを通してトポロジを定義するために統一的な定式化を導入する。
我々はこれらの指標の階層を確立し、マルコフ決定過程にその理論的意味を実証する。
考察した指標間の差異を示す実証的な評価で理論結果を補完する。
論文 参考訳(メタデータ) (2021-02-02T14:30:41Z) - Kendall transformation: a robust representation of continuous data for
information theory [0.0]
ケンドール変換 (Kendall transformation) は、順序付けられた特徴を個々の値間のペアの順序関係のベクトルに変換するものである。
このようにして、観測のランキングを保存し、分類形式で表現する。
情報理論の多くのアプローチは、ケンドール変換された連続データに直接適用することができる。
論文 参考訳(メタデータ) (2020-06-29T12:36:57Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。