Fugu-MT 論文翻訳(概要): ResBit: Residual Bit Vector for Categorical Values

論文の概要: ResBit: Residual Bit Vector for Categorical Values

arxiv url: http://arxiv.org/abs/2309.17196v1
Date: Fri, 29 Sep 2023 12:45:39 GMT
ステータス: 処理完了
システム内更新日: 2023-10-02 13:53:51.034088
Title: ResBit: Residual Bit Vector for Categorical Values
Title（参考訳）: ResBit: カテゴリ値のための残留ビットベクトル
Authors: Masane Fuchi, Amar Zanashir, Hiroto Minami, Tomohiro Takagi
Abstract要約: Residual Bit Vector (ResBit) は階層的なビット表現である。 TRBDがTabDDPMよりも高速に多様なカテゴリ値を含むテーブルデータに、小規模のテーブルデータから多種多様な高品質なデータを生成することを実験的に確認した。 ResBitは、GANの条件付けや画像分類におけるラベル表現にResBitを利用することで、ワンホットベクトルの代替としても機能する。
参考スコア（独自算出の注目度）: 0.0
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The one-hot vector has long been widely used in machine learning as a simple and generic method for representing discrete data. However, this method increases the number of dimensions linearly with the categorical data to be represented, which is problematic from the viewpoint of spatial computational complexity in deep learning, which requires a large amount of data. Recently, Analog Bits, a method for representing discrete data as a sequence of bits, was proposed on the basis of the high expressiveness of diffusion models. However, since the number of category types to be represented in a generation task is not necessarily at a power of two, there is a discrepancy between the range that Analog Bits can represent and the range represented as category data. If such a value is generated, the problem is that the original category value cannot be restored. To address this issue, we propose Residual Bit Vector (ResBit), which is a hierarchical bit representation. Although it is a general-purpose representation method, in this paper, we treat it as numerical data and show that it can be used as an extension of Analog Bits using Table Residual Bit Diffusion (TRBD), which is incorporated into TabDDPM, a tabular data generation method. We experimentally confirmed that TRBD can generate diverse and high-quality data from small-scale table data to table data containing diverse category values faster than TabDDPM. Furthermore, we show that ResBit can also serve as an alternative to the one-hot vector by utilizing ResBit for conditioning in GANs and as a label expression in image classification.
Abstract（参考訳）: ワンホットベクトルは、離散データを表現する単純で汎用的な方法として機械学習で広く使われている。しかし、この手法は、表現すべきカテゴリデータと線形に次元数を増加させるため、大量のデータを必要とする深層学習における空間計算の複雑さの観点から問題となる。近年,拡散モデルの高表現性に基づいて,離散データをビット列として表現する方法であるAnalog Bitsが提案されている。しかし、生成タスクで表現されるカテゴリタイプの数は必ずしも2の力であるとは限らないので、アナログビットが表現できる範囲とカテゴリデータとして表現される範囲との間には差がある。そのような値が生成されると、問題は元のカテゴリ値が復元できないことである。この問題に対処するために,階層的なビット表現であるResidual Bit Vector(ResBit)を提案する。汎用表現法であるが,本稿では数値データとして扱うとともに,表型データ生成法であるTabDDPMに組み込まれたTab Residual Bit Diffusion (TRBD) を用いてアナログビットの拡張として使用できることを示す。 TRBDはTabDDPMよりも高速に多様なカテゴリ値を含むテーブルデータに,小規模のテーブルデータから多種多様な高品質のデータを生成することができることを確認した。さらに,画像分類において,ResBitを条件付けやラベル表現に利用することにより,ResBitはワンホットベクトルの代替として機能することを示す。

関連論文リスト

Sparser Training for On-Device Recommendation Systems [50.74019319100728]
動的スパーストレーニング(DST)に基づく軽量埋め込み手法であるスパースRecを提案する。これは、重要なベクトルの部分集合をサンプリングすることによって、バックプロパゲーション中の密度勾配を避ける。
論文参考訳（メタデータ） (2024-11-19T03:48:48Z)
Large-Margin Representation Learning for Texture Classification [67.94823375350433]
本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
論文参考訳（メタデータ） (2022-06-17T04:07:45Z)
Variable Bitrate Neural Fields [75.24672452527795]
本稿では,特徴格子を圧縮し,メモリ消費を最大100倍に削減する辞書手法を提案する。辞書の最適化をベクトル量子化オートデコーダ問題として定式化し、直接監督できない空間において、エンドツーエンドの離散神経表現を学習する。
論文参考訳（メタデータ） (2022-06-15T17:58:34Z)
Temporal Latent Bottleneck: Synthesis of Fast and Slow Processing Mechanisms in Sequence Learning [85.95599675484341]
リカレントニューラルネットワークは、時間的に圧縮された表現の学習に対して強い誘導バイアスを持つ。変換器は時間的に圧縮された表現を学習する際の帰納的バイアスがほとんどない。
論文参考訳（メタデータ） (2022-05-30T00:12:33Z)
Kronecker Decomposition for Knowledge Graph Embeddings [5.49810117202384]
知識グラフ埋め込みモデルにおけるパラメータ数を削減するために,Kronecker分解に基づく手法を提案する。この分解により、3つの埋め込みベクトル間の要素的相互作用が各埋め込みベクトル内の相互作用によって拡張されることが保証される。実験により,Kronecker分解を埋め込み行列に適用すると,全てのベンチマークデータセットのパラメータ効率が向上することが示唆された。
論文参考訳（メタデータ） (2022-05-13T11:11:03Z)
OCT-GAN: Neural ODE-based Conditional Tabular GANs [8.062118111791495]
ニューラル常微分方程式(NODE)に基づくジェネレータと判別器を導入する。我々は、保険詐欺の検出やオンラインニュース記事の予測などを含む13のデータセットを用いて実験を行う。
論文参考訳（メタデータ） (2021-05-31T13:58:55Z)
A Precise Performance Analysis of Support Vector Regression [105.94855998235232]
我々は,n$の線形測定に応用したハードおよびソフトサポートベクター回帰法について検討した。得られた結果は、ハードおよびソフトサポートベクトル回帰アルゴリズムの設計に介入するパラメータを最適に調整するために使用される。
論文参考訳（メタデータ） (2021-05-21T14:26:28Z)
FlipReID: Closing the Gap between Training and Inference in Person Re-Identification [17.209060627291315]
個人再識別モデルでは、元の画像と水平に反転した変種の両方の埋め込みを抽出することが一般的である。最終的な表現は、前述の特徴ベクトルの平均である。この問題に対処するために,FlipReID構造を反転損失で設計する。
論文参考訳（メタデータ） (2021-05-12T13:14:01Z)
A Local Similarity-Preserving Framework for Nonlinear Dimensionality Reduction with Neural Networks [56.068488417457935]
本稿では,Vec2vecという新しい局所非線形手法を提案する。ニューラルネットワークを訓練するために、マトリックスの近傍類似度グラフを構築し、データポイントのコンテキストを定義します。 8つの実データセットにおけるデータ分類とクラスタリングの実験により、Vec2vecは統計仮説テストにおける古典的な次元削減法よりも優れていることが示された。
論文参考訳（メタデータ） (2021-03-10T23:10:47Z)
Missing Value Imputation on Multidimensional Time Series [16.709162372224355]
本稿では,多次元時系列データセットにおける深層学習手法DeepMVIを提案する。 DeepMVIは、時系列に沿った細粒度と粗粒度パターンと、カテゴリ次元にわたる関連するシリーズのトレンドを組み合わせる。実験の結果、DeepMVIの精度は著しく向上し、半数以上のケースで50%以上のエラーが削減された。
論文参考訳（メタデータ） (2021-03-02T09:55:05Z)
Dissecting Supervised Constrastive Learning [24.984074794337157]
高容量エンコーダで構成された線形マップのソフトマックススコアよりもクロスエントロピーを最小化することは、教師付き学習タスクでニューラルネットワークを訓練するための最も一般的な選択肢である。コントラスト目的の教師付き変種を通して等しく(あるいはそれ以上)識別表現を得るために、エンコーダを直接最適化することができることを示す。
論文参考訳（メタデータ） (2021-02-17T15:22:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。