論文の概要: Manifold-Aware Deep Clustering: Maximizing Angles between Embedding Vectors Based on Regular Simplex

• arxiv url: http://arxiv.org/abs/2106.02331v1
• Date: Fri, 4 Jun 2021 08:27:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-07 14:51:46.619722
• Title: Manifold-Aware Deep Clustering: Maximizing Angles between Embedding Vectors Based on Regular Simplex
• Title（参考訳）: Manifold-Aware Deep Clustering:正規表現に基づく埋め込みベクトル間の角度の最大化
• Authors: Keitaro Tanaka, Ryosuke Sawata and Shusuke Takahashi
• Abstract要約: 多様体対応直流 (M-DC) は, もともとの直流よりも効率よく超空間利用を向上させることができる。 本手法は,正規表現の性質に基づいて,超空間の目標角度を最大化することを目的とした一意な損失関数を導出する。
• 参考スコア（独自算出の注目度）: 0.34376560669160383
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: This paper presents a new deep clustering (DC) method called manifold-aware DC (M-DC) that can enhance hyperspace utilization more effectively than the original DC. The original DC has a limitation in that a pair of two speakers has to be embedded having an orthogonal relationship due to its use of the one-hot vector-based loss function, while our method derives a unique loss function aimed at maximizing the target angle in the hyperspace based on the nature of a regular simplex. Our proposed loss imposes a higher penalty than the original DC when the speaker is assigned incorrectly. The change from DC to M-DC can be easily achieved by rewriting just one term in the loss function of DC, without any other modifications to the network architecture or model parameters. As such, our method has high practicability because it does not affect the original inference part. The experimental results show that the proposed method improves the performances of the original DC and its expansion method.
• Abstract（参考訳）: 本稿では,従来のdcよりも高効率なハイパースペース利用を実現するために,m-dcと呼ばれる新しい深層クラスタリング手法を提案する。 元々のdcは、1つのホットベクトルに基づく損失関数を用いて直交関係を持つ2つの話者を組込む必要があり、一方、本手法は正則な単純性に基づいて超空間の目標角を最大化することを目的とした一意的な損失関数を導出する。 提案する損失は,話者が誤って割り当てられた場合,元のdcよりも高いペナルティを課す。 DC から M-DC への変更は、ネットワークアーキテクチャやモデルパラメータの変更なしに、DC の損失関数で 1 項だけ書き直すことで容易に実現できる。 したがって,本手法は元々の推論に影響を与えないため,高い実用性を有する。 実験の結果,提案手法は元のDCと拡張法の性能を向上することがわかった。

関連論文リスト

• Multi-Granularity Semantic Revision for Large Language Model Distillation [66.03746866578274]
  LLM蒸留における多粒性セマンティックリビジョン法を提案する。 シーケンスレベルでは、シーケンス修正と再生戦略を提案する。 トークンレベルでは、蒸留目的関数として、Kulback-Leibler損失を補正する分布適応クリッピングを設計する。 スパンレベルでは、シーケンスのスパン前処理を利用して、スパン内の確率相関を計算し、教師と学生の確率相関を一貫性に制約する。
  論文  参考訳（メタデータ） (2024-07-14T03:51:49Z)
• Pruning for Improved ADC Efficiency in Crossbar-based Analog In-memory Accelerators [9.169425049927554]
  クロスバー型アナログインメモリアーキテクチャはディープニューラルネットワーク(DNN)の高速化に魅力的である クロスバー出力の通信にはアナログ・デジタル変換器(ADC)が必要である。 ADCは各クロスバー処理ユニットのエネルギーと面積の大部分を消費する。 ADC固有の非効率性を目標とするクロスバー調整プルーニングの動機付けを行う。
  論文  参考訳（メタデータ） (2024-03-19T18:26:45Z)
• Difference of Submodular Minimization via DC Programming [3.970829316359541]
  2つのサブモジュール(DS)関数の差を最小化することは、様々な機械学習問題に自然に発生する。 DC問題に対する古典的アルゴリズムはDCアルゴリズム (DCA) と呼ばれる。 DS最小化に対応するDCプログラムに適用したDCAの変種とその完全形(CDCA)を紹介する。
  論文  参考訳（メタデータ） (2023-05-18T15:39:02Z)
• An Accelerated Doubly Stochastic Gradient Method with Faster Explicit Model Identification [97.28167655721766]
  本稿では、分散正規化損失最小化問題に対する2倍加速勾配降下法(ADSGD)を提案する。 まず、ADSGDが線形収束率を達成でき、全体的な計算複雑性を低減できることを示す。
  論文  参考訳（メタデータ） (2022-08-11T22:27:22Z)
• Orthogonal Jacobian Regularization for Unsupervised Disentanglement in Image Generation [64.92152574895111]
  直交ジャコビアン正規化法(OroJaR)を提案する。 提案手法は, 絡み合った, 制御可能な画像生成に有効であり, 最先端の手法に対して好適に機能する。
  論文  参考訳（メタデータ） (2021-08-17T15:01:46Z)
• KL Guided Domain Adaptation [88.19298405363452]
  ドメイン適応は重要な問題であり、現実世界のアプリケーションにしばしば必要である。 ドメイン適応文学における一般的なアプローチは、ソースとターゲットドメインに同じ分布を持つ入力の表現を学ぶことである。 確率的表現ネットワークにより、KL項はミニバッチサンプルにより効率的に推定できることを示す。
  論文  参考訳（メタデータ） (2021-06-14T22:24:23Z)
• A Refined Inertial DCA for DC Programming [0.0]
  目的関数がレベル境界である定常型(dc)プログラミング問題を考える。 古典的なDCアルゴリズム(DCA)は、ある種の問題を解決することで知られており、臨界点を返す。 そこで本研究では,2つの改良型DCA(RInDCA)を提案する。
  論文  参考訳（メタデータ） (2021-04-30T04:21:57Z)
• Regressive Domain Adaptation for Unsupervised Keypoint Detection [67.2950306888855]
  ドメイン適応(DA)は、ラベル付きソースドメインからラベル付きターゲットドメインに知識を転送することを目的とする。 本稿では,教師なしキーポイント検出のためのレグレッシブドメイン適応(RegDA)法を提案する。 提案手法は,異なるデータセット上のPCKにおいて,8%から11%の大幅な改善をもたらす。
  論文  参考訳（メタデータ） (2021-03-10T16:45:22Z)
• Domain Contrast for Domain Adaptive Object Detection [79.77438747622135]
  ドメインコントラスト(ドメインコントラスト、Domain Contrast、DC)は、ドメイン適応検出器の訓練のための対照的な学習にインスパイアされたアプローチである。 DCは画像レベルでも領域レベルでも適用可能で、検出器の転送性や識別性は一貫して改善されている。
  論文  参考訳（メタデータ） (2020-06-26T08:45:36Z)
• Simple, Scalable, and Stable Variational Deep Clustering [0.0874967598360817]
  ディープクラスタリング(DC)は、教師なしクラスタリングの最先端技術となっている。 DC法は一般に、高い運用コスト、低いスケーラビリティ、不安定な結果のために、適用が不十分である。 本稿では, 産業応用の文脈において, 8つの経験的基準を用いて, 一般的なDC変種を最初に評価する。 次に、単純さ、スケーラビリティ、安定性を除いて、これらの基準をほぼ満たしているため、変分深層クラスタリング(VDC)手法に焦点を合わせることにしました。 Initial $gamma$-training, periodic $beta$-annealing, mini-batch GMM (G) の4つの汎用アルゴリズムの改善を導入する。
  論文  参考訳（メタデータ） (2020-05-16T17:24:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。