Fugu-MT 論文翻訳(概要): TranSalNet: Visual saliency prediction using transformers

論文の概要: TranSalNet: Visual saliency prediction using transformers

arxiv url: http://arxiv.org/abs/2110.03593v1
Date: Thu, 7 Oct 2021 16:17:38 GMT
ステータス: 処理完了
システム内更新日: 2021-10-08 15:29:47.675519
Title: TranSalNet: Visual saliency prediction using transformers
Title（参考訳）: transalnet:トランスフォーマーを用いた視覚塩分予測
Authors: Jianxun Lou, Hanhe Lin, David Marshall, Dietmar Saupe and Hantao Liu
Abstract要約: そこで本稿では,CNNにトランスフォーマーコンポーネントを組み込んで,長距離コンテキスト情報をキャプチャする新たなサリエンシモデルを提案する。実験結果から,新しいコンポーネントが改良され,提案モデルがサリエンシを予測する上で有望な結果が得られることがわかった。
参考スコア（独自算出の注目度）: 14.167725343400738
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Convolutional neural networks (CNNs) have significantly advanced computational modeling for saliency prediction. However, the inherent inductive biases of convolutional architectures cause insufficient long-range contextual encoding capacity, which potentially makes a saliency model less humanlike. Transformers have shown great potential in encoding long-range information by leveraging the self-attention mechanism. In this paper, we propose a novel saliency model integrating transformer components to CNNs to capture the long-range contextual information. Experimental results show that the new components make improvements, and the proposed model achieves promising results in predicting saliency.
Abstract（参考訳）: 畳み込みニューラルネットワーク(CNN)は、精度予測のためのかなり高度な計算モデルを持つ。しかし、畳み込みアーキテクチャの固有の帰納バイアスは、長期のコンテキスト符号化能力の不足を招き、サリエンシモデルが人間らしくなくなる可能性がある。トランスフォーマーは、セルフアテンション機構を利用して長距離情報を符号化する大きな可能性を示している。本稿では,トランスフォーマーコンポーネントをcnnと統合して長距離コンテキスト情報をキャプチャする,新しいサリエンシーモデルを提案する。実験結果から,新しいコンポーネントが改良され,サリエンシの予測に有望な結果が得られた。

関連論文リスト

Does Transformer Interpretability Transfer to RNNs? [0.6437284704257459]
近年のリカレントニューラルネットワークアーキテクチャの進歩により、RNNは等サイズトランスの性能に適合または超えることが可能になった。本稿では,RNNの圧縮状態を利用して,これらの手法のいくつかを改善することができることを示す。
論文参考訳（メタデータ） (2024-04-09T02:59:17Z)
Differential Evolution Algorithm based Hyper-Parameters Selection of Transformer Neural Network Model for Load Forecasting [0.0]
トランスフォーマーモデルは、そのアテンションメカニズムから派生した長距離依存を学習できるため、ロード予測を改善する可能性がある。我々の研究は,平均二乗誤差 (MSE) や平均絶対パーセンテージ誤差 (MAPE) といった数値に基づく負荷予測において,異なるメタヒューリスティックアルゴリズムと統合されたトランスフォーマーベースニューラルネットワークモデルを比較した。
論文参考訳（メタデータ） (2023-07-28T04:29:53Z)
B-cos Alignment for Inherently Interpretable CNNs and Vision Transformers [97.75725574963197]
本稿では,深層ニューラルネットワーク(DNN)の学習における重み付けの促進による解釈可能性の向上に向けた新たな方向性を提案する。このような変換の列は、完全なモデル計算を忠実に要約する単一の線形変換を誘導することを示す。得られた説明は視覚的品質が高く,定量的解釈可能性指標下では良好に機能することを示す。
論文参考訳（メタデータ） (2023-06-19T12:54:28Z)
Hybrid machine-learned homogenization: Bayesian data mining and convolutional neural networks [0.0]
本研究では,新しい特徴記述子を開発することにより,機械学習による予測を改善することを目的とする。特徴記述子の反復的な開発により37の新たな特徴が生まれ、予測誤差を約3分の1削減することができた。特徴に基づくアプローチと畳み込みニューラルネットワークの組み合わせは、ハイブリッドニューラルネットワークにつながる。
論文参考訳（メタデータ） (2023-02-24T09:59:29Z)
BayesFormer: Transformer with Uncertainty Estimation [31.206243748162553]
ベイズ理論によって設計されたドロップアウトを持つトランスフォーマーモデルBayesFormerを紹介する。我々は,言語モデリングと分類,長文理解,機械翻訳,能動的学習のための獲得機能など,ボード全体の改良点を示す。
論文参考訳（メタデータ） (2022-06-02T01:54:58Z)
GTrans: Spatiotemporal Autoregressive Transformer with Graph Embeddings for Nowcasting Extreme Events [5.672898304129217]
本稿では,データ特徴をグラフ埋め込みに変換し,テンポラルダイナミクスをトランスフォーマーモデルで予測する時間モデルGTransを提案する。我々の実験によると、GTransは空間的および時間的ダイナミクスをモデル化し、データセットの極端なイベントを放送することができる。
論文参考訳（メタデータ） (2022-01-18T03:26:24Z)
A Battle of Network Structures: An Empirical Study of CNN, Transformer, and MLP [121.35904748477421]
畳み込みニューラルネットワーク(CNN)は、コンピュータビジョンのための支配的なディープニューラルネットワーク(DNN)アーキテクチャである。トランスフォーマーとマルチ層パーセプトロン(MLP)ベースのモデル(Vision TransformerやVision-Mixer)が新しいトレンドを導い始めた。本稿では,これらのDNN構造について実証的研究を行い,それぞれの長所と短所を理解しようとする。
論文参考訳（メタデータ） (2021-08-30T06:09:02Z)
Visformer: The Vision-friendly Transformer [105.52122194322592]
我々は視覚に優しいトランスフォーマーから短縮したvisformerという新しいアーキテクチャを提案する。同じ計算の複雑さにより、VisformerはTransformerベースのモデルとConvolutionベースのモデルの両方をImageNet分類精度で上回る。
論文参考訳（メタデータ） (2021-04-26T13:13:03Z)
Vision Transformers for Dense Prediction [77.34726150561087]
高密度予測タスクのバックボーンとして、畳み込みネットワークの代わりにビジョントランスを活用するアーキテクチャである高密度ビジョントランスを紹介します。実験により,このアーキテクチャは高密度予測タスクにおいて大幅な改善をもたらすことが示された。
論文参考訳（メタデータ） (2021-03-24T18:01:17Z)
Transformers Solve the Limited Receptive Field for Monocular Depth Prediction [82.90445525977904]
畳み込みニューラルネットワークとトランスの両方の恩恵を受けるアーキテクチャであるTransDepthを提案します。連続ラベルを含む画素単位での予測問題にトランスフォーマーを適用する最初の論文である。
論文参考訳（メタデータ） (2021-03-22T18:00:13Z)
On Robustness and Transferability of Convolutional Neural Networks [147.71743081671508]
現代の深層畳み込みネットワーク(CNN)は、分散シフトの下で一般化しないとしてしばしば批判される。現代画像分類CNNにおける分布外と転送性能の相互作用を初めて検討した。トレーニングセットとモデルサイズを増大させることで、分散シフトロバスト性が著しく向上することがわかった。
論文参考訳（メタデータ） (2020-07-16T18:39:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。