論文の概要: TabMixer: Excavating Label Distribution Learning with Small-scale Features

• arxiv url: http://arxiv.org/abs/2210.13852v1
• Date: Tue, 25 Oct 2022 09:18:15 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-26 15:25:47.267126
• Title: TabMixer: Excavating Label Distribution Learning with Small-scale Features
• Title（参考訳）: TabMixer: 小規模機能によるラベル配布学習
• Authors: Weiyi Cong, Zhuoran Zheng and Xiuyi Jia
• Abstract要約: ラベル分布学習(LDL)は、単一ラベル値を記述度に変換することで、インスタンスのポリセミーを表現することを目的としたマルチラベル学習とは異なる。 残念ながら、ラベル分布データセットの特徴空間は、人的要因と特徴抽出器の誘導バイアスが特徴空間の不確実性を引き起こす。 我々は,LDLタスクにおける問題を軽減するため,特徴空間の不確実性向上をモデル化する。 提案アルゴリズムは,他のLDLアルゴリズムと比較して,複数のベンチマークで比較できる。
• 参考スコア（独自算出の注目度）: 10.498049147922258
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Label distribution learning (LDL) differs from multi-label learning which aims at representing the polysemy of instances by transforming single-label values into descriptive degrees. Unfortunately, the feature space of the label distribution dataset is affected by human factors and the inductive bias of the feature extractor causing uncertainty in the feature space. Especially, for datasets with small-scale feature spaces (the feature space dimension $\approx$ the label space), the existing LDL algorithms do not perform well. To address this issue, we seek to model the uncertainty augmentation of the feature space to alleviate the problem in LDL tasks. Specifically, we start with augmenting each feature value in the feature vector of a sample into a vector (sampling on a Gaussian distribution function). Which, the variance parameter of the Gaussian distribution function is learned by using a sub-network, and the mean parameter is filled by this feature value. Then, each feature vector is augmented to a matrix which is fed into a mixer with local attention (\textit{TabMixer}) to extract the latent feature. Finally, the latent feature is squeezed to yield an accurate label distribution via a squeezed network. Extensive experiments verify that our proposed algorithm can be competitive compared to other LDL algorithms on several benchmarks.
• Abstract（参考訳）: ラベル分布学習(LDL)は、単一ラベル値を記述度に変換することで、インスタンスのポリセミーを表現することを目的としたマルチラベル学習とは異なる。 残念なことに、ラベル分散データセットの特徴空間は、人間の要因と特徴空間の不確実性を引き起こす特徴抽出器の帰納的バイアスによって影響を受ける。 特に、小規模の特徴空間を持つデータセット(ラベル空間の特徴空間次元 $\approx$ )では、既存の ldl アルゴリズムはうまく機能しない。 この問題に対処するため,LDLタスクにおける問題を軽減するため,特徴空間の不確実性向上をモデル化する。 具体的には、サンプルの特徴ベクトルのそれぞれの特徴値をベクトル(ガウス分布関数上でのサンプリング)に拡張することから始める。 そこで、サブネットワークを用いてガウス分布関数の分散パラメータを学習し、この特徴値で平均パラメータを充足する。 次に、各特徴ベクトルをマトリクスに拡張して、局所的な注意(\textit{TabMixer})でミキサーに入力し、潜在特徴を抽出する。 最後に、潜在機能を絞り込み、絞り込みネットワークを介して正確なラベル分布を得る。 複数のベンチマークにおいて,提案アルゴリズムが他のLCLアルゴリズムと競合可能であることを検証する。

関連論文リスト

• Inaccurate Label Distribution Learning with Dependency Noise [52.08553913094809]
  本稿では,依存雑音に基づく不正確なラベル分布学習(DN-ILDL)フレームワークを導入し,ラベル分布学習におけるノイズによる課題に対処する。 本稿では,DN-ILDLがILDL問題に効果的に対処し,既存のLCL法より優れていることを示す。
  論文  参考訳（メタデータ） (2024-05-26T07:58:07Z)
• PAC Learning Linear Thresholds from Label Proportions [13.58949814915442]
  ラベルパーセンテージ(LLP)からの学習は教師付き学習の一般化である。 ラベル比のランダムバッグへのアクセスを与えられた場合, LTF を用いて LTF を効率よく学習できることを示す。 学習アルゴリズムの実験的評価と,[Saket'21, Saket'22] とランダム LTF との比較を含む。
  論文  参考訳（メタデータ） (2023-10-16T05:59:34Z)
• All Points Matter: Entropy-Regularized Distribution Alignment for Weakly-supervised 3D Segmentation [67.30502812804271]
  擬似ラベルは、弱い教師付き3Dセグメンテーションタスクに広く使われており、学習に使えるのはスパース・グラウンド・トラス・ラベルのみである。 本稿では,生成した擬似ラベルを正規化し,擬似ラベルとモデル予測とのギャップを効果的に狭めるための新しい学習戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-25T08:19:31Z)
• Reinforcement Learning in Low-Rank MDPs with Density Features [12.932032416729774]
  低ランク遷移を持つMDPは、抽出可能な学習を可能にする非常に代表的な構造である。 本研究では, 密度特性を用いたサンプル効率学習, すなわち, 状態占有分布の強力なモデルを生成する正しい行列について検討する。
  論文  参考訳（メタデータ） (2023-02-04T22:46:28Z)
• How Does Pseudo-Labeling Affect the Generalization Error of the Semi-Supervised Gibbs Algorithm? [73.80001705134147]
  擬似ラベル付き半教師付き学習(SSL)におけるGibsアルゴリズムによる予測一般化誤差(ゲンエラー)を正確に評価する。 ゲンエラーは、出力仮説、擬ラベルデータセット、ラベル付きデータセットの間の対称性付きKL情報によって表現される。
  論文  参考訳（メタデータ） (2022-10-15T04:11:56Z)
• Closed-Loop Data Transcription to an LDR via Minimaxing Rate Reduction [27.020835928724775]
  本研究では,実世界のデータセットに対する明示的な生成モデル学習のための新しい計算フレームワークを提案する。 特に,多次元多次元データ分布と特徴空間における線形識別表現(LDR)の間の閉ループ転写を学習することを提案する。 多くのベンチマークデータセットに対する実験は、この新しいクローズドループの定式化の可能性を示している。
  論文  参考訳（メタデータ） (2021-11-12T10:06:08Z)
• Meta Learning Low Rank Covariance Factors for Energy-Based Deterministic Uncertainty [58.144520501201995]
  ニューラルネットワーク層のBi-Lipschitz正規化は、各レイヤの特徴空間におけるデータインスタンス間の相対距離を保存する。 注意セットエンコーダを用いて,タスク固有の共分散行列を効率的に構築するために,対角的,対角的,低ランクな要素のメタ学習を提案する。 また,最終的な予測分布を達成するために,スケールしたエネルギーを利用する推論手法を提案する。
  論文  参考訳（メタデータ） (2021-10-12T22:04:19Z)
• Multilevel orthogonal Bochner function subspaces with applications to robust machine learning [1.533771872970755]
  このデータを、関連するボヒナー空間内のランダムフィールドのインスタンスとみなす。 私たちのキーとなる観察は、クラスが主に2つの異なる部分空間に存在することである。
  論文  参考訳（メタデータ） (2021-10-04T22:01:01Z)
• Bidirectional Loss Function for Label Enhancement and Distribution Learning [23.61708127340584]
  LDLには、学習過程における次元ギャップ問題への対処方法と、論理ラベルからラベル分布を復元する方法の2つの課題がある。 本研究では,LE問題とLCL問題に同時に適用可能な双方向投影関数について考察する。 LEとLDLの両方に対して提案手法の優位性を示すために,複数の実世界のデータセットの実験を行った。
  論文  参考訳（メタデータ） (2020-07-07T03:02:54Z)
• Self-training Avoids Using Spurious Features Under Domain Shift [54.794607791641745]
  教師なし領域適応においては、条件付きエントロピー最小化と擬似ラベル処理は、既存の理論で解析されたものよりもドメインシフトがはるかに大きい場合であっても行われる。 ドメインシフトが大きくなる可能性のある特定の設定を特定・分析するが、特定のスパイラルな特徴はソースドメインのラベルと相関するが、ターゲットの独立なラベルである。
  論文  参考訳（メタデータ） (2020-06-17T17:51:42Z)
• OSLNet: Deep Small-Sample Classification with an Orthogonal Softmax Layer [77.90012156266324]
  本稿では,ニューラルネットワークのサブスペースを見つけることを目的としている。 そこで本研究では,Orthogonal Softmax Layer (OSL) を提案する。 実験結果から,提案OSLは4つの小サンプルベンチマークデータセットとの比較に用いた手法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2020-04-20T02:41:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。