論文の概要: DEFT: Distilling Entangled Factors

• arxiv url: http://arxiv.org/abs/2102.03986v1
• Date: Mon, 8 Feb 2021 03:43:34 GMT
• ステータス: 処理完了
• システム内更新日: 2021-02-09 16:08:05.397412
• Title: DEFT: Distilling Entangled Factors
• Title（参考訳）: DEFT: エンタングルドファクターの蒸留
• Authors: Jiantao Wu, Lin Wang, Chunxiuzi Liu
• Abstract要約: 本稿では,変分オートエンコーダに基づくアンタングル化手法の限界を低くするために,アンタングル化フレームワークであるDEFTを提案する。 学習速度の異なる多群エンコーダと片方向のゆがみ圧力を含む多段階の訓練戦略を、段階的蒸留絡み要因によって段階的に適用する。 我々は,dSpriteとSmallNORBの3つの変種についてDEFTを評価し,頑健かつ高レベルなアンタングルメントスコアを示した。
• 参考スコア（独自算出の注目度）: 4.534233822234797
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Disentanglement is a highly desirable property of representation due to its similarity with human understanding and reasoning. However, the performance of current disentanglement approaches is still unreliable and largely depends on the hyperparameter selection. Inspired by fractional distillation in chemistry, we propose DEFT, a disentanglement framework, to raise the lower limit of disentanglement approaches based on variational autoencoder. It applies a multi-stage training strategy, including multi-group encoders with different learning rates and piecewise disentanglement pressure, to stage by stage distill entangled factors. Furthermore, we provide insight into identifying the hyperparameters according to the information thresholds. We evaluate DEFT on three variants of dSprite and SmallNORB, showing robust and high-level disentanglement scores.
• Abstract（参考訳）: 絡み合いは、人間の理解と推論との類似性から非常に望ましい表現特性である。 しかし、現在の束縛アプローチのパフォーマンスはまだ信頼性がなく、主にハイパーパラメータの選択に依存します。 化学における分数蒸留に着想を得て,変分オートエンコーダに基づく不等角化アプローチの限界を低くするために,不等角化フレームワークdeftを提案する。 それは段階蒸留の絡み合った要因によって段階に学習率および部分的な束縛圧力の複数のグループのエンコーダを含む多段階の訓練の戦略を適用します。 さらに,情報しきい値に応じてハイパーパラメータを識別する知見を提供する。 DEFTをdSpriteとSmallNORBの3種類で評価し、堅牢で高レベルの非絡みスコアを示します。

関連論文リスト

• Decoupling Training-Free Guided Diffusion by ADMM [17.425995507142467]
  非条件生成モデルと誘導損失関数を明確に分離する新しいフレームワークを提案する。 そこで我々は,これらの成分を適応的にバランスをとるために,alternating Direction Method of Multipliers (ADMM) に基づく新しいアルゴリズムを開発した。 実験の結果,提案手法は高品質なサンプルを連続的に生成することがわかった。
  論文  参考訳（メタデータ） (2024-11-18T23:05:54Z)
• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• PreQuant: A Task-agnostic Quantization Approach for Pre-trained Language Models [52.09865918265002]
  ファインチューニングのフレームワークPreQuantに先立って,新しい量子化を提案する。 PreQuantは様々な量子化戦略と互換性があり、インダクションされた量子化誤差を修正するために、アウタリア対応の微調整が組み込まれている。 BERT,RoBERTa,T5を用いたGLUEベンチマークにおけるPreQuantの有効性を示す。
  論文  参考訳（メタデータ） (2023-05-30T08:41:33Z)
• Online Probabilistic Model Identification using Adaptive Recursive MCMC [8.465242072268019]
  適応再帰的マルコフ連鎖モンテカルロ法(ARMCMC)を提案する。 モデルパラメータの確率密度関数全体を計算しながら、従来のオンライン手法の欠点を解消する。 本研究では,ソフト曲げアクチュエータとハント・クロスリー動的モデルを用いてパラメータ推定を行った。
  論文  参考訳（メタデータ） (2022-10-23T02:06:48Z)
• Reinforcement Learning with a Terminator [80.34572413850186]
  我々は, TerMDP のパラメータを学習し, 推定問題の構造を活用し, 状態ワイドな信頼境界を提供する。 我々はこれらを用いて証明可能な効率のよいアルゴリズムを構築し、終端を考慮し、その後悔を抑える。
  論文  参考訳（メタデータ） (2022-05-30T18:40:28Z)
• Automatic Mixed-Precision Quantization Search of BERT [62.65905462141319]
  BERTのような事前訓練された言語モデルは、様々な自然言語処理タスクにおいて顕著な効果を示している。 これらのモデルは通常、数百万のパラメータを含んでおり、リソースに制約のあるデバイスへの実践的なデプロイを妨げている。 本稿では,サブグループレベルでの量子化とプルーニングを同時に行うことができるBERT用に設計された混合精密量子化フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-30T06:32:47Z)
• Explaining Hyperparameter Optimization via Partial Dependence Plots [5.25855526614851]
  我々は、解釈型機械学習(IML)を用いて、ベイズ最適化(BO)を用いたHPOで得られた実験データから洞察を得ることを提案する。 BOサロゲートモデルの後方不確実性を利用して、推定信頼帯域を持つ部分依存プロット(PDP)の変種を導入する。 本研究では,サブリージョンにおけるPDPの質向上に関する定量的証拠を実験的に提示する。
  論文  参考訳（メタデータ） (2021-11-08T20:51:54Z)
• Pseudo-Spherical Contrastive Divergence [119.28384561517292]
  エネルギーベースモデルの最大学習確率を一般化するために,擬球面コントラスト分散(PS-CD)を提案する。 PS-CDは難解な分割関数を避け、学習目的の一般化されたファミリーを提供する。
  論文  参考訳（メタデータ） (2021-11-01T09:17:15Z)
• Permutation Invariant Policy Optimization for Mean-Field Multi-Agent Reinforcement Learning: A Principled Approach [128.62787284435007]
  本稿では,平均場近似ポリシ最適化(MF-PPO)アルゴリズムを提案する。 我々は,MF-PPOが収束のサブ線形速度で世界的最適政策を達成することを証明した。 特に、置換不変ニューラルアーキテクチャによって引き起こされる誘導バイアスは、MF-PPOが既存の競合より優れていることを示す。
  論文  参考訳（メタデータ） (2021-05-18T04:35:41Z)
• Multi-Agent Determinantal Q-Learning [39.79718674655209]
  マルチエージェント決定型Q-ラーニングを提案する。Q-DPPはエージェントが多様な行動モデルを取得することを奨励する。 分散型協調作業において,Q-DPPがVDN,QMIX,QTRANなどの主要なソリューションを一般化することを実証する。
  論文  参考訳（メタデータ） (2020-06-02T09:32:48Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。