論文の概要: ResBit: Residual Bit Vector for Categorical Values

• arxiv url: http://arxiv.org/abs/2309.17196v4
• Date: Thu, 14 Nov 2024 10:16:35 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-15 15:21:57.194331
• Title: ResBit: Residual Bit Vector for Categorical Values
• Title（参考訳）: ResBit: カテゴリ値のための残留ビットベクトル
• Authors: Masane Fuchi, Amar Zanashir, Hiroto Minami, Tomohiro Takagi,
• Abstract要約: 1ホットベクトルは、多くのカテゴリを含むデータセットを扱う際に、次元性の線形増加に悩まされる。 分類データを密に表現する手法であるResidual Bit Vectors (ResBit)を提案する。 以上の結果から,多くの既存手法が低次元表現の必要性を強調し,高次心的データに苦しむことが示唆された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: One-hot vectors, a common method for representing discrete/categorical data, in machine learning are widely used because of their simplicity and intuitiveness. However, one-hot vectors suffer from a linear increase in dimensionality, posing computational and memory challenges, especially when dealing with datasets containing numerous categories. In this paper, we focus on tabular data generation, and reveal the multinomial diffusion faces the mode collapse phenomenon when the cardinality is high. Moreover, due to the limitations of one-hot vectors, the training phase takes time longer in such a situation. To address these issues, we propose Residual Bit Vectors (ResBit), a technique for densely representing categorical data. ResBit is an extension of analog bits and overcomes limitations of analog bits when applied to tabular data generation. Our experiments demonstrate that ResBit not only accelerates training but also maintains performance when compared with the situations before applying ResBit. Furthermore, our results indicate that many existing methods struggle with high-cardinality data, underscoring the need for lower-dimensional representations, such as ResBit and latent vectors.
• Abstract（参考訳）: 機械学習における離散/分類データの一般的な表現法であるワンホットベクトルは、その単純さと直感性のために広く使われている。 しかし、1ホットベクトルは次元の線形増加に悩まされ、特に多くのカテゴリを含むデータセットを扱う場合、計算とメモリの課題が引き起こされる。 本稿では,表形式のデータ生成に注目し,濃度が高い場合にモード崩壊現象に直面する多項拡散を明らかにする。 さらに、ワンホットベクトルの制限により、そのような状況下ではトレーニングフェーズが長くかかる。 これらの問題に対処するために、分類データを密に表現するResidual Bit Vectors (ResBit)を提案する。 ResBitはアナログビットの拡張であり、表データ生成に適用した場合にアナログビットの制限を克服する。 実験の結果,ResBitはトレーニングを加速するだけでなく,ResBit適用前の状況と比較して性能も維持することがわかった。 さらに,本研究の結果から,ResBitや潜伏ベクトルなどの低次元表現の必要性が強調され,多くの既存手法が心電図データに苦しむことが示唆された。

関連論文リスト

• Sparser Training for On-Device Recommendation Systems [50.74019319100728]
  動的スパーストレーニング(DST)に基づく軽量埋め込み手法であるスパースRecを提案する。 これは、重要なベクトルの部分集合をサンプリングすることによって、バックプロパゲーション中の密度勾配を避ける。
  論文  参考訳（メタデータ） (2024-11-19T03:48:48Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Temporal Latent Bottleneck: Synthesis of Fast and Slow Processing Mechanisms in Sequence Learning [85.95599675484341]
  リカレントニューラルネットワークは、時間的に圧縮された表現の学習に対して強い誘導バイアスを持つ。 変換器は時間的に圧縮された表現を学習する際の帰納的バイアスがほとんどない。
  論文  参考訳（メタデータ） (2022-05-30T00:12:33Z)
• Kronecker Decomposition for Knowledge Graph Embeddings [5.49810117202384]
  知識グラフ埋め込みモデルにおけるパラメータ数を削減するために,Kronecker分解に基づく手法を提案する。 この分解により、3つの埋め込みベクトル間の要素的相互作用が各埋め込みベクトル内の相互作用によって拡張されることが保証される。 実験により,Kronecker分解を埋め込み行列に適用すると,全てのベンチマークデータセットのパラメータ効率が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-05-13T11:11:03Z)
• OCT-GAN: Neural ODE-based Conditional Tabular GANs [8.062118111791495]
  ニューラル常微分方程式(NODE)に基づくジェネレータと判別器を導入する。 我々は、保険詐欺の検出やオンラインニュース記事の予測などを含む13のデータセットを用いて実験を行う。
  論文  参考訳（メタデータ） (2021-05-31T13:58:55Z)
• A Precise Performance Analysis of Support Vector Regression [105.94855998235232]
  我々は,n$の線形測定に応用したハードおよびソフトサポートベクター回帰法について検討した。 得られた結果は、ハードおよびソフトサポートベクトル回帰アルゴリズムの設計に介入するパラメータを最適に調整するために使用される。
  論文  参考訳（メタデータ） (2021-05-21T14:26:28Z)
• FlipReID: Closing the Gap between Training and Inference in Person Re-Identification [17.209060627291315]
  個人再識別モデルでは、元の画像と水平に反転した変種の両方の埋め込みを抽出することが一般的である。 最終的な表現は、前述の特徴ベクトルの平均である。 この問題に対処するために,FlipReID構造を反転損失で設計する。
  論文  参考訳（メタデータ） (2021-05-12T13:14:01Z)
• A Local Similarity-Preserving Framework for Nonlinear Dimensionality Reduction with Neural Networks [56.068488417457935]
  本稿では,Vec2vecという新しい局所非線形手法を提案する。 ニューラルネットワークを訓練するために、マトリックスの近傍類似度グラフを構築し、データポイントのコンテキストを定義します。 8つの実データセットにおけるデータ分類とクラスタリングの実験により、Vec2vecは統計仮説テストにおける古典的な次元削減法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-03-10T23:10:47Z)
• Missing Value Imputation on Multidimensional Time Series [16.709162372224355]
  本稿では,多次元時系列データセットにおける深層学習手法DeepMVIを提案する。 DeepMVIは、時系列に沿った細粒度と粗粒度パターンと、カテゴリ次元にわたる関連するシリーズのトレンドを組み合わせる。 実験の結果、DeepMVIの精度は著しく向上し、半数以上のケースで50%以上のエラーが削減された。
  論文  参考訳（メタデータ） (2021-03-02T09:55:05Z)
• Dissecting Supervised Constrastive Learning [24.984074794337157]
  高容量エンコーダで構成された線形マップのソフトマックススコアよりもクロスエントロピーを最小化することは、教師付き学習タスクでニューラルネットワークを訓練するための最も一般的な選択肢である。 コントラスト目的の教師付き変種を通して等しく(あるいはそれ以上)識別表現を得るために、エンコーダを直接最適化することができることを示す。
  論文  参考訳（メタデータ） (2021-02-17T15:22:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。