論文の概要: Representation Collapsing Problems in Vector Quantization

• arxiv url: http://arxiv.org/abs/2411.16550v1
• Date: Mon, 25 Nov 2024 16:32:29 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-26 14:23:09.281041
• Title: Representation Collapsing Problems in Vector Quantization
• Title（参考訳）: ベクトル量子化における表現衝突問題
• Authors: Wenhao Zhao, Qiran Zou, Rushi Shah, Dianbo Liu,
• Abstract要約: ベクトル量子化は、連続表現を離散ベクトルの集合に離散化する機械学習の技法である。 その頻度にもかかわらず、生成モデルにおけるベクトル量子化の特性と振舞いは、ほとんど未解明のままである。
• 参考スコア（独自算出の注目度）: 2.2750239768387255
• License:
• Abstract: Vector quantization is a technique in machine learning that discretizes continuous representations into a set of discrete vectors. It is widely employed in tokenizing data representations for large language models, diffusion models, and other generative models. Despite its prevalence, the characteristics and behaviors of vector quantization in generative models remain largely underexplored. In this study, we investigate representation collapse in vector quantization - a critical degradation where codebook tokens or latent embeddings lose their discriminative power by converging to a limited subset of values. This collapse fundamentally compromises the model's ability to capture diverse data patterns. By leveraging both synthetic and real datasets, we identify the severity of each type of collapses and triggering conditions. Our analysis reveals that restricted initialization and limited encoder capacity result in tokens collapse and embeddings collapse. Building on these findings, we propose potential solutions aimed at mitigating each collapse. To the best of our knowledge, this is the first comprehensive study examining representation collapsing problems in vector quantization.
• Abstract（参考訳）: ベクトル量子化は、連続表現を離散ベクトルの集合に離散化する機械学習の技法である。 大規模な言語モデルや拡散モデル、その他の生成モデルのためのデータ表現のトークン化に広く用いられている。 その頻度にもかかわらず、生成モデルにおけるベクトル量子化の特性と振舞いは、ほとんど未解明のままである。 本研究では,ベクトル量子化における表現崩壊について検討し,符号ブックトークンや潜伏埋め込みが限られた値のサブセットに収束することで識別力を失う臨界劣化について検討した。 この崩壊は、様々なデータパターンをキャプチャするモデルの能力を根本的に損なう。 合成データセットと実データセットの両方を活用することで、各タイプの崩壊とトリガー条件の重症度を特定する。 分析の結果,初期化の制限とエンコーダ容量の制限によりトークンが崩壊し,埋め込みが崩壊することがわかった。 これらの知見に基づいて,各崩壊の緩和を目的とした潜在的解決策を提案する。 我々の知る限りでは、ベクトル量子化における表現崩壊問題を調べる最初の総合的研究である。

関連論文リスト

• Aliasing and Label-Independent Decomposition of Risk: Beyond the bias-variance trade-off [0.0]
  データサイエンスの中心的な問題は、潜在的にノイズの多いサンプルを使用して、目に見えない入力の関数値を予測することである。 一般化エイリアス分解(GAD)と呼ばれる代替パラダイムを導入する。 GADは、データラベルを見ることなく、モデルクラスとサンプルの関係から明示的に計算することができる。
  論文  参考訳（メタデータ） (2024-08-15T17:49:24Z)
• Gradient Estimation and Variance Reduction in Stochastic and Deterministic Models [0.0]
  この論文は制約のない非線形最適化問題を考察している。 このような問題の解決を可能にする鍵となる量である勾配そのものに着目する。 決定論と要素の双方に関わる問題の勾配を計算するための新しい枠組みを提案する。
  論文  参考訳（メタデータ） (2024-05-14T14:41:58Z)
• Quantization of Large Language Models with an Overdetermined Basis [73.79368761182998]
  本稿では,嘉心表現の原理に基づくデータ量子化アルゴリズムを提案する。 以上の結果から, カシ量子化はモデル性能の競争力や優れた品質を達成できることが示唆された。
  論文  参考訳（メタデータ） (2024-04-15T12:38:46Z)
• Sample, estimate, aggregate: A recipe for causal discovery foundation models [28.116832159265964]
  我々は、古典因果探索アルゴリズムの出力からより大きな因果グラフを予測することを学ぶ教師付きモデルを訓練する。 我々のアプローチは、古典的手法の出力における典型的なエラーがデータセット間で比較できるという観察によって実現されている。 実データおよび合成データに関する実験では、このモデルが不特定性や分布シフトに直面して高い精度を維持することを示した。
  論文  参考訳（メタデータ） (2024-02-02T21:57:58Z)
• Disentanglement via Latent Quantization [60.37109712033694]
  本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。 本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
  論文  参考訳（メタデータ） (2023-05-28T06:30:29Z)
• ChiroDiff: Modelling chirographic data with Diffusion Models [132.5223191478268]
  チャーログラフィーデータのための強力なモデルクラスである「拡散確率モデル(Denoising Diffusion Probabilistic Models)」やDDPMを導入している。 我々のモデルは「ChiroDiff」と呼ばれ、非自己回帰的であり、全体論的概念を捉えることを学び、したがって高い時間的サンプリングレートに回復する。
  論文  参考訳（メタデータ） (2023-04-07T15:17:48Z)
• Learning Sparsity of Representations with Discrete Latent Variables [15.05207849434673]
  本稿では,スパース深部潜伏生成モデルSDLGMを提案する。 表現の空間性は固定されていないが、事前に定義された制限の下で観察そのものに適合する。 推論と学習のために,MC勾配推定器をベースとした補正変分法を開発した。
  論文  参考訳（メタデータ） (2023-04-03T12:47:18Z)
• Neuro-Symbolic Entropy Regularization [78.16196949641079]
  構造化予測では、目的は構造化されたオブジェクトをエンコードする多くの出力変数を共同で予測することである。 エントロピー正則化(Entropy regularization)という1つのアプローチは、決定境界が低確率領域にあるべきであることを示唆している。 我々は、モデルが有効対象を確実に予測することを奨励する損失、ニューロシンボリックエントロピー正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-25T06:23:10Z)
• Entropy optimized semi-supervised decomposed vector-quantized variational autoencoder model based on transfer learning for multiclass text classification and generation [3.9318191265352196]
  多クラステキスト分類とテキスト生成のための半教師付き離散潜在変数モデルを提案する。 提案モデルは,量子化変圧器モデルの学習に伝達学習の概念を用いる。 実験結果から,提案モデルが最先端モデルを大幅に上回ったことが示唆された。
  論文  参考訳（メタデータ） (2021-11-10T07:07:54Z)
• Understanding Neural Abstractive Summarization Models via Uncertainty [54.37665950633147]
  seq2seq抽象要約モデルは、自由形式の方法でテキストを生成する。 モデルのトークンレベルの予測のエントロピー、すなわち不確実性について検討する。 要約とテキスト生成モデルをより広範囲に解析する上で,不確実性は有用であることを示す。
  論文  参考訳（メタデータ） (2020-10-15T16:57:27Z)
• Deducing neighborhoods of classes from a fitted model [68.8204255655161]
  本稿では,新しいタイプの解釈可能な機械学習手法を提案する。 量子シフトを用いた分類モデルでは、特徴空間の予測クラスへの分割を理解するのに役立ちます。 基本的に、実際のデータポイント(または特定の関心点)を使用し、特定の特徴をわずかに引き上げたり減少させたりした後の予測の変化を観察する。
  論文  参考訳（メタデータ） (2020-09-11T16:35:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。