論文の概要: Modular Representations for Weak Disentanglement
- arxiv url: http://arxiv.org/abs/2209.05336v1
- Date: Mon, 12 Sep 2022 15:44:23 GMT
- ステータス: 処理完了
- システム内更新日: 2022-09-13 13:36:26.818491
- Title: Modular Representations for Weak Disentanglement
- Title(参考訳): 弱い絡み合いに対するモジュラー表現
- Authors: Andrea Valenti, Davide Bacciu
- Abstract要約: 弱みの絡み合いは、データの変化の要因の数が増えるにつれて、監督の量を増やすことでのみ達成できる。
本稿では,生成因子の数に対して教師付き情報の量を一定に抑える新しい手法である,弱絡みのモジュラー表現を提案する。
- 参考スコア(独自算出の注目度): 11.460692362624533
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The recently introduced weakly disentangled representations proposed to relax
some constraints of the previous definitions of disentanglement, in exchange
for more flexibility. However, at the moment, weak disentanglement can only be
achieved by increasing the amount of supervision as the number of factors of
variations of the data increase. In this paper, we introduce modular
representations for weak disentanglement, a novel method that allows to keep
the amount of supervised information constant with respect the number of
generative factors. The experiments shows that models using modular
representations can increase their performance with respect to previous work
without the need of additional supervision.
- Abstract(参考訳): 最近導入された弱い非絡み合い表現は、より柔軟性と引き換えに以前の非絡み合いの定義の制約を緩和するために提案された。
しかし、現時点では、データの変化の要因の数が増えるため、監視の量を増やすことでのみ、弱い絡み合いが達成できる。
本稿では,生成因子数に対して教師付き情報量を一定に保つことを可能にする新しい手法である弱絡みに対するモジュラ表現を提案する。
実験により、モジュラー表現を用いたモデルは、追加の監督を必要とせずに、以前の作業に対してパフォーマンスを向上できることが示された。
関連論文リスト
- Mixtures of Experts Unlock Parameter Scaling for Deep RL [56.067378934033265]
本稿では,Mixture-of-Expert(MoE)モジュールを値ベースネットワークに組み込むことで,パラメータスケーラブルなモデルが得られることを示す。
この研究は、強化学習のためのスケーリング法則の開発に関する強力な実証的証拠を提供する。
論文 参考訳(メタデータ) (2024-02-13T17:18:56Z) - Minusformer: Improving Time Series Forecasting by Progressively Learning
Residuals [15.815842882043734]
我々は,情報集約機構を付加と減算から再構築することで,バニラ変圧器を改修する。
本稿では,原モデルの各ブロックに補助出力分岐を組み込んで,最終的な予測に導くハイウェイを構築する。
提案手法は既存の最先端手法よりも優れており,各データセットの平均性能は11.9%向上した。
論文 参考訳(メタデータ) (2024-02-04T03:54:31Z) - On the Embedding Collapse when Scaling up Recommendation Models [56.86200867149761]
拡大モデルの埋め込み層について検討し, 埋没崩壊現象を同定した。
本稿では,組込みセット固有の相互作用モジュールを組み込んだ,シンプルで効果的なマルチ埋め込み設計を提案する。
論文 参考訳(メタデータ) (2023-10-06T17:50:38Z) - On the Generalization and Adaption Performance of Causal Models [99.64022680811281]
異なる因果発見は、データ生成プロセスを一連のモジュールに分解するために提案されている。
このようなモジュラニューラル因果モデルの一般化と適応性能について検討する。
我々の分析では、モジュラーニューラル因果モデルが、低データレギュレーションにおけるゼロおよび少数ショットの適応において、他のモデルよりも優れていることを示している。
論文 参考訳(メタデータ) (2022-06-09T17:12:32Z) - Generative Modeling Helps Weak Supervision (and Vice Versa) [87.62271390571837]
本稿では,弱い監督と生成的敵ネットワークを融合したモデルを提案する。
弱い監督によるラベル推定と並行して、データの離散変数をキャプチャする。
これは、弱い教師付き合成画像と擬似ラベルによるデータ拡張を可能にする最初のアプローチである。
論文 参考訳(メタデータ) (2022-03-22T20:24:21Z) - Overcoming Mode Collapse with Adaptive Multi Adversarial Training [5.09817514580101]
GAN(Generative Adversarial Networks)は、様々なアプリケーションで使用される生成モデルのクラスである。
GANは、ターゲット分布のいくつかのモードがジェネレータによって無視されるモード崩壊問題に悩まされていることが知られている。
本稿では,従来の世代形態を記憶するために,新たな差別者を適応的に生成する新たな訓練手法を提案する。
論文 参考訳(メタデータ) (2021-12-29T05:57:55Z) - GroupifyVAE: from Group-based Definition to VAE-based Unsupervised
Representation Disentanglement [91.9003001845855]
他の誘導バイアスを導入しないと、VAEベースの非監視的非絡み合いは実現できない。
グループ理論に基づく定義から導かれる制約を非確率的帰納的バイアスとして活用し,vaeに基づく教師なし不連続に対処する。
提案手法の有効性を検証するために,5つのデータセット上で,vaeベースモデルが最も目立つ1800モデルをトレーニングした。
論文 参考訳(メタデータ) (2021-02-20T09:49:51Z) - Improving the Reconstruction of Disentangled Representation Learners via
Multi-Stage Modelling [36.511724015405036]
現在の自己エンコーダに基づく非絡み合い表現学習法は、(集合体)後部をペナルティ化し、潜伏因子の統計的独立を促進することで、非絡み合いを実現する。
モデルが相関変数を学習するのに十分な能力を持っていないため,不整合表現学習と再構成品質のトレードオフがもたらされる。
本稿では,既存の不整合表現学習手法を用いて,非整合因子をまず学習する,新しい多段階モデリング手法を提案する。
提案するマルチステージモデルは,複数の標準ベンチマークにおいて等価なアンタングル性能を有する現在の最先端手法よりも,はるかに高い再現性を有することを示す。
論文 参考訳(メタデータ) (2020-10-25T18:51:15Z) - Explainable Matrix -- Visualization for Global and Local
Interpretability of Random Forest Classification Ensembles [78.6363825307044]
本研究では,ランダムフォレスト (RF) 解釈のための新しい可視化手法である Explainable Matrix (ExMatrix) を提案する。
単純なマトリックスのようなメタファで、行はルール、列は特徴、セルはルールを述語する。
ExMatrixの適用性は、異なる例を通じて確認され、RFモデルの解釈可能性を促進するために実際にどのように使用できるかを示している。
論文 参考訳(メタデータ) (2020-05-08T21:03:48Z) - Better Set Representations For Relational Reasoning [30.398348643632445]
リレーショナル推論は、標準的なベクトル表現とは対照的に、エンティティのセットで動作する。
本稿では,SRN(Set Refiner Network)と呼ばれるシンプルで汎用的なネットワークモジュールを提案する。
論文 参考訳(メタデータ) (2020-03-09T23:07:27Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。