論文の概要: DEFT: Distilling Entangled Factors

• arxiv url: http://arxiv.org/abs/2102.03986v1
• Date: Mon, 8 Feb 2021 03:43:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-09 16:08:05.397412
• Title: DEFT: Distilling Entangled Factors
• Title（参考訳）: DEFT: エンタングルドファクターの蒸留
• Authors: Jiantao Wu, Lin Wang, Chunxiuzi Liu
• Abstract要約: 本稿では,変分オートエンコーダに基づくアンタングル化手法の限界を低くするために,アンタングル化フレームワークであるDEFTを提案する。 学習速度の異なる多群エンコーダと片方向のゆがみ圧力を含む多段階の訓練戦略を、段階的蒸留絡み要因によって段階的に適用する。 我々は,dSpriteとSmallNORBの3つの変種についてDEFTを評価し,頑健かつ高レベルなアンタングルメントスコアを示した。
• 参考スコア（独自算出の注目度）: 4.534233822234797
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Disentanglement is a highly desirable property of representation due to its similarity with human understanding and reasoning. However, the performance of current disentanglement approaches is still unreliable and largely depends on the hyperparameter selection. Inspired by fractional distillation in chemistry, we propose DEFT, a disentanglement framework, to raise the lower limit of disentanglement approaches based on variational autoencoder. It applies a multi-stage training strategy, including multi-group encoders with different learning rates and piecewise disentanglement pressure, to stage by stage distill entangled factors. Furthermore, we provide insight into identifying the hyperparameters according to the information thresholds. We evaluate DEFT on three variants of dSprite and SmallNORB, showing robust and high-level disentanglement scores.
• Abstract（参考訳）: 絡み合いは、人間の理解と推論との類似性から非常に望ましい表現特性である。 しかし、現在の束縛アプローチのパフォーマンスはまだ信頼性がなく、主にハイパーパラメータの選択に依存します。 化学における分数蒸留に着想を得て,変分オートエンコーダに基づく不等角化アプローチの限界を低くするために,不等角化フレームワークdeftを提案する。 それは段階蒸留の絡み合った要因によって段階に学習率および部分的な束縛圧力の複数のグループのエンコーダを含む多段階の訓練の戦略を適用します。 さらに,情報しきい値に応じてハイパーパラメータを識別する知見を提供する。 DEFTをdSpriteとSmallNORBの3種類で評価し、堅牢で高レベルの非絡みスコアを示します。

関連論文リスト

• Online Probabilistic Model Identification using Adaptive Recursive MCMC [7.794211366198157]
  Adaptive Recursive Markov Chain Monte Carlo法はモデルパラメータの完全確率密度関数を計算する。 時間的誤り係数(TFF)に基づく可変ジャンプ分布をARMCMCで提案する。 本稿では,ソフト曲げアクチュエータのパラメータ推定とHunt-Crossley動的モデルについて検討した。
  論文  参考訳（メタデータ） (2022-10-23T02:06:48Z)
• Reinforcement Learning with a Terminator [74.67960309602518]
  我々は, TerMDP のパラメータを学習し, 推定問題の構造を活用し, 状態ワイドな信頼境界を提供する。 我々はこれらを用いて証明可能な効率のよいアルゴリズムを構築し、終端を考慮し、その後悔を抑える。
  論文  参考訳（メタデータ） (2022-05-30T18:40:28Z)
• Automatic Mixed-Precision Quantization Search of BERT [62.65905462141319]
  BERTのような事前訓練された言語モデルは、様々な自然言語処理タスクにおいて顕著な効果を示している。 これらのモデルは通常、数百万のパラメータを含んでおり、リソースに制約のあるデバイスへの実践的なデプロイを妨げている。 本稿では,サブグループレベルでの量子化とプルーニングを同時に行うことができるBERT用に設計された混合精密量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-30T06:32:47Z)
• Explaining Hyperparameter Optimization via Partial Dependence Plots [5.25855526614851]
  我々は、解釈型機械学習(IML)を用いて、ベイズ最適化(BO)を用いたHPOで得られた実験データから洞察を得ることを提案する。 BOサロゲートモデルの後方不確実性を利用して、推定信頼帯域を持つ部分依存プロット(PDP)の変種を導入する。 本研究では,サブリージョンにおけるPDPの質向上に関する定量的証拠を実験的に提示する。
  論文  参考訳（メタデータ） (2021-11-08T20:51:54Z)
• Pseudo-Spherical Contrastive Divergence [119.28384561517292]
  エネルギーベースモデルの最大学習確率を一般化するために,擬球面コントラスト分散(PS-CD)を提案する。 PS-CDは難解な分割関数を避け、学習目的の一般化されたファミリーを提供する。
  論文  参考訳（メタデータ） (2021-11-01T09:17:15Z)
• Sparse Progressive Distillation: Resolving Overfitting under Pretrain-and-Finetune Paradigm [7.662952656290564]
  トランスフォーマーベースの言語モデルのフットプリント要求を減らすために、様々なプルーニング手法が提案されている。 オーバーフィッティングのリスクを減らすことが,プレトレイン・アンド・ファインチューンパラダイムの下での刈り込みの有効性を初めて示す。
  論文  参考訳（メタデータ） (2021-10-15T16:42:56Z)
• Permutation Invariant Policy Optimization for Mean-Field Multi-Agent Reinforcement Learning: A Principled Approach [128.62787284435007]
  本稿では,平均場近似ポリシ最適化(MF-PPO)アルゴリズムを提案する。 我々は,MF-PPOが収束のサブ線形速度で世界的最適政策を達成することを証明した。 特に、置換不変ニューラルアーキテクチャによって引き起こされる誘導バイアスは、MF-PPOが既存の競合より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-18T04:35:41Z)
• Multi-Agent Determinantal Q-Learning [39.79718674655209]
  マルチエージェント決定型Q-ラーニングを提案する。Q-DPPはエージェントが多様な行動モデルを取得することを奨励する。 分散型協調作業において,Q-DPPがVDN,QMIX,QTRANなどの主要なソリューションを一般化することを実証する。
  論文  参考訳（メタデータ） (2020-06-02T09:32:48Z)
• Lower bounds in multiple testing: A framework based on derandomized proxies [107.69746750639584]
  本稿では, 各種コンクリートモデルへの適用例を示す, デランドマイズに基づく分析戦略を提案する。 これらの下界のいくつかを数値シミュレーションし、Benjamini-Hochberg (BH) アルゴリズムの実際の性能と密接な関係を示す。
  論文  参考訳（メタデータ） (2020-05-07T19:59:51Z)
• Learnable Bernoulli Dropout for Bayesian Deep Learning [53.79615543862426]
  Learnable Bernoulli Dropout (LBD) は、他のモデルパラメータと共に最適化されたパラメータとしてドロップアウト率を考慮する新しいモデルに依存しないドロップアウトスキームである。 LBDは画像分類とセマンティックセグメンテーションにおける精度と不確実性の推定を改善する。
  論文  参考訳（メタデータ） (2020-02-12T18:57:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。