Fugu-MT 論文翻訳(概要): Transformer-based dimensionality reduction

論文の概要: Transformer-based dimensionality reduction

arxiv url: http://arxiv.org/abs/2210.08288v1
Date: Sat, 15 Oct 2022 13:24:43 GMT
ステータス: 処理完了
システム内更新日: 2022-10-18 19:12:07.603801
Title: Transformer-based dimensionality reduction
Title（参考訳）: 変圧器による次元性低減
Authors: Ruisheng Ran, Tianyu Gao, Bin Fang
Abstract要約: Transformerは機械学習(ML)、自然言語処理(NLP)、コンピュータビジョン(CV)の分野で重要な役割を果たしている。本稿では、視覚変換器(ViT)モデルに基づいて、新しい次元還元(DR)モデル、Transformer-DRを提案する。データ可視化, 画像再構成, 顔認識から, 次元減少後のTransformer-DRの表現能力について検討し, 既存のDR法とTransformer-DR法の違いを理解するための代表DR法と比較した。
参考スコア（独自算出の注目度）: 13.374221390575343
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Recently, Transformer is much popular and plays an important role in the fields of Machine Learning (ML), Natural Language Processing (NLP), and Computer Vision (CV), etc. In this paper, based on the Vision Transformer (ViT) model, a new dimensionality reduction (DR) model is proposed, named Transformer-DR. From data visualization, image reconstruction and face recognition, the representation ability of Transformer-DR after dimensionality reduction is studied, and it is compared with some representative DR methods to understand the difference between Transformer-DR and existing DR methods. The experimental results show that Transformer-DR is an effective dimensionality reduction method.
Abstract（参考訳）: 近年、Transformerは非常に人気があり、機械学習(ML)、自然言語処理(NLP)、コンピュータビジョン(CV)などの分野で重要な役割を果たしている。本稿では、視覚変換器(ViT)モデルに基づいて、新しい次元還元(DR)モデル、Transformer-DRを提案する。データ可視化, 画像再構成, 顔認識から, 次元減少後のTransformer-DRの表現能力について検討し, 既存のDR法とTransformer-DR法の違いを理解するための代表DR法と比較した。実験の結果, Transformer-DR は有効次元還元法であることがわかった。

関連論文リスト

Training Transformer Models by Wavelet Losses Improves Quantitative and Visual Performance in Single Image Super-Resolution [6.367865391518726]
トランスフォーマーベースモデルは、画像超解像(SR)を含む低レベル視覚タスクにおいて顕著な結果を得たグローバルにより多くの入力ピクセルを活性化するために、ハイブリッドアテンションモデルが提案されている。ウェーブレット損失を利用してTransformerモデルをトレーニングし、定量的および主観的性能を向上させる。
論文参考訳（メタデータ） (2024-04-17T11:25:19Z)
Self-Supervised Pre-Training for Table Structure Recognition Transformer [25.04573593082671]
テーブル構造認識変換器のための自己教師付き事前学習(SSP)手法を提案する。線形射影変換器とハイブリッドCNN変換器のパフォーマンスギャップは、TSRモデルにおける視覚エンコーダのSSPにより緩和できる。
論文参考訳（メタデータ） (2024-02-23T19:34:06Z)
ModeT: Learning Deformable Image Registration via Motion Decomposition Transformer [7.629385629884155]
本稿では,複数のモーダルを明示的にモデル化する新しい動作分解変換器 (ModeT) を提案する。提案手法は,現状の登録ネットワークやトランスフォーマーよりも優れている。
論文参考訳（メタデータ） (2023-06-09T06:00:05Z)
View-Disentangled Transformer for Brain Lesion Detection [50.4918615815066]
より正確な腫瘍検出のためのMRI特徴抽出のための新しいビューディペンタングル変換器を提案する。まず, 3次元脳スキャンにおいて, 異なる位置の長距離相関を求める。第二に、トランスフォーマーはスライス機能のスタックを複数の2Dビューとしてモデル化し、これらの機能をビュー・バイ・ビューとして拡張する。第三に、提案したトランスモジュールをトランスのバックボーンに展開し、脳病変を取り巻く2D領域を効果的に検出する。
論文参考訳（メタデータ） (2022-09-20T11:58:23Z)
3D Vision with Transformers: A Survey [114.86385193388439]
自然言語処理におけるトランスフォーマーアーキテクチャの成功は、コンピュータビジョン分野の注目を集めている。本稿では,異なる3次元視覚タスクのための100以上のトランスフォーマー手法の体系的,徹底的なレビューを行う。我々は3次元視覚におけるトランスフォーマー設計について議論し、様々な3次元表現でデータを処理できるようにする。
論文参考訳（メタデータ） (2022-08-08T17:59:11Z)
Towards Lightweight Transformer via Group-wise Transformation for Vision-and-Language Tasks [126.33843752332139]
本稿では,LW-Transformerと呼ばれる視覚・言語タスクのための,普遍的で軽量なトランスフォーマーに対するグループワイズ変換を提案する。 LW-Transformerを一組のTransformerベースのネットワークに適用し、3つの視覚・言語タスクと6つのベンチマークデータセットで定量的に測定する。実験の結果,LW-Transformerは多数のパラメータや計算を節約しながら,視覚・言語タスクのためのトランスフォーマーネットワークと非常に競合する性能を発揮することがわかった。
論文参考訳（メタデータ） (2022-04-16T11:30:26Z)
Visformer: The Vision-friendly Transformer [105.52122194322592]
我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
論文参考訳（メタデータ） (2021-04-26T13:13:03Z)
Spatiotemporal Transformer for Video-based Person Re-identification [102.58619642363958]
我々は、強い学習能力にもかかわらず、バニラトランスフォーマーは過剰フィットのリスクの増加に苦しむことを示しています。そこで本研究では,合成ビデオデータからモデルを事前学習し,下流領域に伝達する新しいパイプラインを提案する。提案アルゴリズムは,3つの人気ビデオベース人物識別ベンチマークにおいて,精度向上を実現する。
論文参考訳（メタデータ） (2021-03-30T16:19:27Z)
Training Vision Transformers for Image Retrieval [32.09708181236154]
我々は、画像記述子を生成するために視覚変換器を採用し、結果のモデルをメートル法学習目標で訓練する。コンボリューションに基づくアプローチよりも,トランスフォーマーの一貫性と顕著な改善が示された。
論文参考訳（メタデータ） (2021-02-10T18:56:41Z)
Applying the Transformer to Character-level Transduction [68.91664610425114]
この変換器は、様々な単語レベルのNLPタスクにおいて、繰り返しニューラルネットワークに基づくシーケンス・ツー・シーケンスモデルより優れていることが示されている。十分なバッチサイズで、トランスフォーマーは文字レベルタスクの繰り返しモデルよりも優れていることを示す。
論文参考訳（メタデータ） (2020-05-20T17:25:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。