論文の概要: ResBit: Residual Bit Vector for Categorical Values
- arxiv url: http://arxiv.org/abs/2309.17196v1
- Date: Fri, 29 Sep 2023 12:45:39 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-02 13:53:51.034088
- Title: ResBit: Residual Bit Vector for Categorical Values
- Title(参考訳): ResBit: カテゴリ値のための残留ビットベクトル
- Authors: Masane Fuchi, Amar Zanashir, Hiroto Minami, Tomohiro Takagi
- Abstract要約: Residual Bit Vector (ResBit) は階層的なビット表現である。
TRBDがTabDDPMよりも高速に多様なカテゴリ値を含むテーブルデータに、小規模のテーブルデータから多種多様な高品質なデータを生成することを実験的に確認した。
ResBitは、GANの条件付けや画像分類におけるラベル表現にResBitを利用することで、ワンホットベクトルの代替としても機能する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: The one-hot vector has long been widely used in machine learning as a simple
and generic method for representing discrete data. However, this method
increases the number of dimensions linearly with the categorical data to be
represented, which is problematic from the viewpoint of spatial computational
complexity in deep learning, which requires a large amount of data. Recently,
Analog Bits, a method for representing discrete data as a sequence of bits, was
proposed on the basis of the high expressiveness of diffusion models. However,
since the number of category types to be represented in a generation task is
not necessarily at a power of two, there is a discrepancy between the range
that Analog Bits can represent and the range represented as category data. If
such a value is generated, the problem is that the original category value
cannot be restored. To address this issue, we propose Residual Bit Vector
(ResBit), which is a hierarchical bit representation. Although it is a
general-purpose representation method, in this paper, we treat it as numerical
data and show that it can be used as an extension of Analog Bits using Table
Residual Bit Diffusion (TRBD), which is incorporated into TabDDPM, a tabular
data generation method. We experimentally confirmed that TRBD can generate
diverse and high-quality data from small-scale table data to table data
containing diverse category values faster than TabDDPM. Furthermore, we show
that ResBit can also serve as an alternative to the one-hot vector by utilizing
ResBit for conditioning in GANs and as a label expression in image
classification.
- Abstract(参考訳): ワンホットベクトルは、離散データを表現する単純で汎用的な方法として機械学習で広く使われている。
しかし、この手法は、表現すべきカテゴリデータと線形に次元数を増加させるため、大量のデータを必要とする深層学習における空間計算の複雑さの観点から問題となる。
近年,拡散モデルの高表現性に基づいて,離散データをビット列として表現する方法であるAnalog Bitsが提案されている。
しかし、生成タスクで表現されるカテゴリタイプの数は必ずしも2の力であるとは限らないので、アナログビットが表現できる範囲とカテゴリデータとして表現される範囲との間には差がある。
そのような値が生成されると、問題は元のカテゴリ値が復元できないことである。
この問題に対処するために,階層的なビット表現であるResidual Bit Vector(ResBit)を提案する。
汎用表現法であるが,本稿では数値データとして扱うとともに,表型データ生成法であるTabDDPMに組み込まれたTab Residual Bit Diffusion (TRBD) を用いてアナログビットの拡張として使用できることを示す。
TRBDはTabDDPMよりも高速に多様なカテゴリ値を含むテーブルデータに,小規模のテーブルデータから多種多様な高品質のデータを生成することができることを確認した。
さらに,画像分類において,ResBitを条件付けやラベル表現に利用することにより,ResBitはワンホットベクトルの代替として機能することを示す。
関連論文リスト
- 3D Adversarial Augmentations for Robust Out-of-Domain Predictions [115.74319739738571]
ドメイン外データへの一般化の改善に注力する。
対象を逆向きに変形させるベクトルの集合を学習する。
本研究では,学習したサンプル非依存ベクトルをモデルトレーニング時に利用可能なオブジェクトに適用することにより,対数拡大を行う。
論文 参考訳(メタデータ) (2023-08-29T17:58:55Z) - Class-Difficulty Based Methods for Long-Tailed Visual Recognition [6.875312133832079]
ロングテールデータセットは、クラスやカテゴリが他のクラスよりも多くのデータサンプルを持つ実際のユースケースで頻繁に発生する。
そこで本研究では,モデルの学習段階における各クラスの瞬時難易度を動的に測定する手法を提案する。
また,各学級の難易度尺度を用いて,学級難易度ベース重み付けと呼ばれる新しい学級難易度ベース重み付け手法と,学級難易度ベースサンプリングと呼ばれる新学級データサンプリング手法を設計する。
論文 参考訳(メタデータ) (2022-07-29T06:33:22Z) - Large-Margin Representation Learning for Texture Classification [67.94823375350433]
本稿では,テクスチャ分類のための小さなデータセット上で教師付きモデルをトレーニングするために,畳み込み層(CL)と大規模計量学習を組み合わせた新しいアプローチを提案する。
テクスチャと病理画像データセットの実験結果から,提案手法は同等のCNNと比較して計算コストが低く,収束が早く,競争精度が向上することが示された。
論文 参考訳(メタデータ) (2022-06-17T04:07:45Z) - Dimensionality Reduction for Categorical Data [0.9560980936110233]
FSketchを用いて、スパース分類データのスケッチを作成するとともに、ペアのハミング距離を推定する推定器を提案する。
FSketchは大幅に高速であり、そのスケッチを用いて得られる精度は、RMSE、クラスタリング、類似検索の標準的な教師なしタスクの上位にある。
論文 参考訳(メタデータ) (2021-12-01T09:20:28Z) - Learning Debiased and Disentangled Representations for Semantic
Segmentation [52.35766945827972]
セマンティックセグメンテーションのためのモデルに依存しない訓練手法を提案する。
各トレーニングイテレーションで特定のクラス情報をランダムに除去することにより、クラス間の機能依存を効果的に削減する。
提案手法で訓練したモデルは,複数のセマンティックセグメンテーションベンチマークにおいて強い結果を示す。
論文 参考訳(メタデータ) (2021-10-31T16:15:09Z) - CvS: Classification via Segmentation For Small Datasets [52.821178654631254]
本稿では,分類ラベルをセグメントマップの予測から導出する小型データセットのコスト効率の高い分類器であるCvSを提案する。
我々は,CvSが従来の手法よりもはるかに高い分類結果が得られることを示す多種多様な問題に対して,本フレームワークの有効性を評価する。
論文 参考訳(メタデータ) (2021-10-29T18:41:15Z) - OCT-GAN: Neural ODE-based Conditional Tabular GANs [8.062118111791495]
ニューラル常微分方程式(NODE)に基づくジェネレータと判別器を導入する。
我々は、保険詐欺の検出やオンラインニュース記事の予測などを含む13のデータセットを用いて実験を行う。
論文 参考訳(メタデータ) (2021-05-31T13:58:55Z) - Missing Value Imputation on Multidimensional Time Series [16.709162372224355]
本稿では,多次元時系列データセットにおける深層学習手法DeepMVIを提案する。
DeepMVIは、時系列に沿った細粒度と粗粒度パターンと、カテゴリ次元にわたる関連するシリーズのトレンドを組み合わせる。
実験の結果、DeepMVIの精度は著しく向上し、半数以上のケースで50%以上のエラーが削減された。
論文 参考訳(メタデータ) (2021-03-02T09:55:05Z) - Category-Learning with Context-Augmented Autoencoder [63.05016513788047]
実世界のデータの解釈可能な非冗長表現を見つけることは、機械学習の鍵となる問題の一つである。
本稿では,オートエンコーダのトレーニングにデータ拡張を利用する新しい手法を提案する。
このような方法で変分オートエンコーダを訓練し、補助ネットワークによって変換結果を予測できるようにする。
論文 参考訳(メタデータ) (2020-10-10T14:04:44Z) - Laplacian Denoising Autoencoder [114.21219514831343]
本稿では,新しいタイプの自動符号化器を用いてデータ表現を学習することを提案する。
勾配領域における潜伏クリーンデータを破損させて雑音入力データを生成する。
いくつかのビジュアルベンチマークの実験では、提案されたアプローチでより良い表現が学べることが示されている。
論文 参考訳(メタデータ) (2020-03-30T16:52:39Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。