論文の概要: ResBit: Residual Bit Vector for Categorical Values

• arxiv url: http://arxiv.org/abs/2309.17196v2
• Date: Mon, 5 Feb 2024 08:40:05 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-07 04:52:53.494700
• Title: ResBit: Residual Bit Vector for Categorical Values
• Title（参考訳）: ResBit: カテゴリ値のための残留ビットベクトル
• Authors: Masane Fuchi, Amar Zanashir, Hiroto Minami, Tomohiro Takagi
• Abstract要約: ワンホットベクトルは次元の線形増加に悩まされ、計算とメモリの課題が引き起こされる。 分類データを密に表現する手法であるResidual Bit Vectors (ResBit)を提案する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: One-hot vectors, a method for representing discrete/categorical data, are commonly used in machine learning due to their simplicity and intuitiveness. However, the one-hot vectors suffer from a linear increase in dimensionality, posing computational and memory challenges, especially when dealing with datasets containing numerous categories. To address this issue, we propose Residual Bit Vectors (ResBit), a technique for densely representing categorical data. While Analog Bits presents a similar approach, it faces challenges in categorical data generation tasks. ResBit overcomes these limitations, offering a more versatile solution. In our experiments, we focus on tabular data generation, examining the performance across scenarios with varying amounts of categorical data. We verify the acceleration and ensure the maintenance or improvement of performance.
• Abstract（参考訳）: 離散/分類データの表現方法であるワンホットベクトルは、その単純さと直感性のために機械学習で一般的に使用される。 しかし、1ホットベクトルは次元の線形増加に悩まされ、特に多くのカテゴリを含むデータセットを扱う場合、計算とメモリの課題が引き起こされる。 この問題に対処するために,分類データを密に表現するResidual Bit Vectors (ResBit)を提案する。 Analog Bitsも同様のアプローチを示しているが、分類データ生成タスクでは課題に直面している。 ResBitはこれらの制限を克服し、より汎用的なソリューションを提供する。 実験では,表データ生成に焦点をあて,さまざまなカテゴリデータを用いて,シナリオ間のパフォーマンスを検証した。 アクセラレーションを確認し、パフォーマンスの維持や改善を確実にします。

関連論文リスト

• Sparser Training for On-Device Recommendation Systems [50.74019319100728]
  動的スパーストレーニング(DST)に基づく軽量埋め込み手法であるスパースRecを提案する。 これは、重要なベクトルの部分集合をサンプリングすることによって、バックプロパゲーション中の密度勾配を避ける。
  論文  参考訳（メタデータ） (2024-11-19T03:48:48Z)
• Large-Margin Representation Learning for Texture Classification [67.94823375350433]
  本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。 テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
  論文  参考訳（メタデータ） (2022-06-17T04:07:45Z)
• Variable Bitrate Neural Fields [75.24672452527795]
  本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。 辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
  論文  参考訳（メタデータ） (2022-06-15T17:58:34Z)
• Temporal Latent Bottleneck: Synthesis of Fast and Slow Processing Mechanisms in Sequence Learning [85.95599675484341]
  リカレントニューラルネットワークは、時間的に圧縮された表現の学習に対して強い誘導バイアスを持つ。 変換器は時間的に圧縮された表現を学習する際の帰納的バイアスがほとんどない。
  論文  参考訳（メタデータ） (2022-05-30T00:12:33Z)
• Kronecker Decomposition for Knowledge Graph Embeddings [5.49810117202384]
  知識グラフ埋め込みモデルにおけるパラメータ数を削減するために,Kronecker分解に基づく手法を提案する。 この分解により、3つの埋め込みベクトル間の要素的相互作用が各埋め込みベクトル内の相互作用によって拡張されることが保証される。 実験により,Kronecker分解を埋め込み行列に適用すると,全てのベンチマークデータセットのパラメータ効率が向上することが示唆された。
  論文  参考訳（メタデータ） (2022-05-13T11:11:03Z)
• OCT-GAN: Neural ODE-based Conditional Tabular GANs [8.062118111791495]
  ニューラル常微分方程式(NODE)に基づくジェネレータと判別器を導入する。 我々は、保険詐欺の検出やオンラインニュース記事の予測などを含む13のデータセットを用いて実験を行う。
  論文  参考訳（メタデータ） (2021-05-31T13:58:55Z)
• A Precise Performance Analysis of Support Vector Regression [105.94855998235232]
  我々は,n$の線形測定に応用したハードおよびソフトサポートベクター回帰法について検討した。 得られた結果は、ハードおよびソフトサポートベクトル回帰アルゴリズムの設計に介入するパラメータを最適に調整するために使用される。
  論文  参考訳（メタデータ） (2021-05-21T14:26:28Z)
• FlipReID: Closing the Gap between Training and Inference in Person Re-Identification [17.209060627291315]
  個人再識別モデルでは、元の画像と水平に反転した変種の両方の埋め込みを抽出することが一般的である。 最終的な表現は、前述の特徴ベクトルの平均である。 この問題に対処するために,FlipReID構造を反転損失で設計する。
  論文  参考訳（メタデータ） (2021-05-12T13:14:01Z)
• A Local Similarity-Preserving Framework for Nonlinear Dimensionality Reduction with Neural Networks [56.068488417457935]
  本稿では,Vec2vecという新しい局所非線形手法を提案する。 ニューラルネットワークを訓練するために、マトリックスの近傍類似度グラフを構築し、データポイントのコンテキストを定義します。 8つの実データセットにおけるデータ分類とクラスタリングの実験により、Vec2vecは統計仮説テストにおける古典的な次元削減法よりも優れていることが示された。
  論文  参考訳（メタデータ） (2021-03-10T23:10:47Z)
• Missing Value Imputation on Multidimensional Time Series [16.709162372224355]
  本稿では,多次元時系列データセットにおける深層学習手法DeepMVIを提案する。 DeepMVIは、時系列に沿った細粒度と粗粒度パターンと、カテゴリ次元にわたる関連するシリーズのトレンドを組み合わせる。 実験の結果、DeepMVIの精度は著しく向上し、半数以上のケースで50%以上のエラーが削減された。
  論文  参考訳（メタデータ） (2021-03-02T09:55:05Z)
• Dissecting Supervised Constrastive Learning [24.984074794337157]
  高容量エンコーダで構成された線形マップのソフトマックススコアよりもクロスエントロピーを最小化することは、教師付き学習タスクでニューラルネットワークを訓練するための最も一般的な選択肢である。 コントラスト目的の教師付き変種を通して等しく(あるいはそれ以上)識別表現を得るために、エンコーダを直接最適化することができることを示す。
  論文  参考訳（メタデータ） (2021-02-17T15:22:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。