Fugu-MT 論文翻訳(概要): Transfer Learning for Segmentation Problems: Choose the Right Encoder and Skip the Decoder

論文の概要: Transfer Learning for Segmentation Problems: Choose the Right Encoder and Skip the Decoder

arxiv url: http://arxiv.org/abs/2207.14508v1
Date: Fri, 29 Jul 2022 07:02:05 GMT
ステータス: 処理完了
システム内更新日: 2022-08-01 12:21:55.045982
Title: Transfer Learning for Segmentation Problems: Choose the Right Encoder and Skip the Decoder
Title（参考訳）: セグメンテーション問題の伝達学習:右エンコーダを選択してデコーダをスキップする
Authors: Jonas Dippel, Matthias Lenga, Thomas Goerttler, Klaus Obermayer, Johannes H\"ohne
Abstract要約: ダウンストリームタスクのパフォーマンスを向上させるために、最初は異なるデータでトレーニングされたモデルを再利用するのが一般的です。本研究では,画素単位の分類問題であるセグメンテーション問題に対する移動学習の影響について検討する。デコーダのトランスファー学習は下流のセグメンテーションタスクに役立ちませんが、エンコーダのトランスファー学習は本当に有益です。
参考スコア（独自算出の注目度）: 0.0
License: http://creativecommons.org/licenses/by/4.0/
Abstract: It is common practice to reuse models initially trained on different data to increase downstream task performance. Especially in the computer vision domain, ImageNet-pretrained weights have been successfully used for various tasks. In this work, we investigate the impact of transfer learning for segmentation problems, being pixel-wise classification problems that can be tackled with encoder-decoder architectures. We find that transfer learning the decoder does not help downstream segmentation tasks, while transfer learning the encoder is truly beneficial. We demonstrate that pretrained weights for a decoder may yield faster convergence, but they do not improve the overall model performance as one can obtain equivalent results with randomly initialized decoders. However, we show that it is more effective to reuse encoder weights trained on a segmentation or reconstruction task than reusing encoder weights trained on classification tasks. This finding implicates that using ImageNet-pretrained encoders for downstream segmentation problems is suboptimal. We also propose a contrastive self-supervised approach with multiple self-reconstruction tasks, which provides encoders that are suitable for transfer learning in segmentation problems in the absence of segmentation labels.
Abstract（参考訳）: ダウンストリームのタスクパフォーマンスを向上させるために、最初は異なるデータでトレーニングされたモデルを再利用することが一般的です。特にコンピュータビジョン領域では、ImageNetでトレーニングされた重み付けが様々なタスクにうまく使われている。本研究では,エンコーダ・デコーダアーキテクチャに対処可能な画素単位の分類問題であるセグメンテーション問題に対する転送学習の影響について検討する。デコーダを学習するトランスファーは、下流のセグメンテーションタスクには役立ちませんが、エンコーダを学習するトランスファーは本当に有益です。我々はデコーダの事前学習重量がより高速に収束することを示したが、ランダムに初期化されたデコーダで等価な結果が得られるため、モデル全体の性能は向上しない。しかし,分類タスクで訓練されたエンコーダ重みを再利用するよりも,セグメンテーションや再構築タスクで訓練されたエンコーダ重みを再利用するのが効果的であることを示す。この発見は、下流のセグメンテーション問題に ImageNet-pretrained encoder を用いることが最適であることを示している。また,セグメンテーションラベルが存在しないセグメント化問題において,転送学習に適したエンコーダを提供する複数の自己再構成タスクを用いたコントラスト的自己教師付きアプローチを提案する。

関連論文リスト

DiffCut: Catalyzing Zero-Shot Semantic Segmentation with Diffusion Features and Recursive Normalized Cut [62.63481844384229]
ファンデーションモデルは、言語、ビジョン、マルチモーダルタスクなど、さまざまな領域にまたがる強力なツールとして登場した。本稿では,拡散UNetエンコーダを基礎ビジョンエンコーダとして使用し,教師なしゼロショットセグメンテーション手法であるDiffCutを紹介する。我々の研究は、拡散UNetエンコーダに埋め込まれた極めて正確なセマンティック知識を強調し、下流タスクの基盤ビジョンエンコーダとして機能する。
論文参考訳（メタデータ） (2024-06-05T01:32:31Z)
Regress Before Construct: Regress Autoencoder for Point Cloud Self-supervised Learning [18.10704604275133]
Masked Autoencoders (MAE) は、2Dおよび3Dコンピュータビジョンのための自己教師型学習において有望な性能を示した。我々は、ポイントクラウド自己教師型学習のための回帰オートエンコーダの新しいスキーム、Point Regress AutoEncoder (Point-RAE)を提案する。本手法は, 各種下流タスクの事前学習において効率よく, 一般化可能である。
論文参考訳（メタデータ） (2023-09-25T17:23:33Z)
AWEncoder: Adversarial Watermarking Pre-trained Encoders in Contrastive Learning [18.90841192412555]
コントラスト学習において,事前学習したエンコーダをウォーターマークする逆法であるAWEncoderを導入する。提案した研究は、異なるコントラスト学習アルゴリズムや下流タスクにおいて、極めて優れた有効性と堅牢性を持っている。
論文参考訳（メタデータ） (2022-08-08T07:23:37Z)
Discrete Key-Value Bottleneck [95.61236311369821]
ディープニューラルネットワークは、データストリームがi.d.d.であり、ラベル付きデータが豊富である分類タスクでうまく機能する。この課題に対処した強力なアプローチの1つは、手軽に利用可能なデータ量に対する大規模なエンコーダの事前トレーニングと、タスク固有のチューニングである。しかし、新しいタスクを考えると、多くの重みを微調整する必要があるため、エンコーダの重みを更新することは困難であり、その結果、以前のタスクに関する情報を忘れてしまう。この問題に対処するモデルアーキテクチャを提案し,個別かつ学習可能なキー値符号のペアを含む離散的ボトルネックの上に構築する。
論文参考訳（メタデータ） (2022-07-22T17:52:30Z)
Watermarking Pre-trained Encoders in Contrastive Learning [9.23485246108653]
事前訓練されたエンコーダは、慎重に保護される必要がある重要な知的財産である。既存の透かし技法を分類タスクから対照的な学習シナリオに移行することは困難である。本稿では,エンコーダの裏口をウォーターマークとして効果的に埋め込むタスク非依存の損失関数を提案する。
論文参考訳（メタデータ） (2022-01-20T15:14:31Z)
Adversarial Neural Networks for Error Correcting Codes [76.70040964453638]
機械学習(ML)モデルの性能と適用性を高めるための一般的なフレームワークを紹介する。本稿では,MLデコーダと競合する識別器ネットワークを組み合わせることを提案する。我々のフレームワークはゲーム理論であり、GAN(Generative Adversarial Network)によって動機付けられている。
論文参考訳（メタデータ） (2021-12-21T19:14:44Z)
A manifold learning perspective on representation learning: Learning decoder and representations without an encoder [0.0]
オートエンコーダは表現学習で一般的に使用される。多様体学習にインスパイアされて、トレーニングサンプルの表現を学習することで、デコーダを単独で訓練できることが示される。デコーダのみを訓練する我々のアプローチは、小さなデータセットでも表現学習を容易にする。
論文参考訳（メタデータ） (2021-08-31T15:08:50Z)
Dynamic Neural Representational Decoders for High-Resolution Semantic Segmentation [98.05643473345474]
動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
論文参考訳（メタデータ） (2021-07-30T04:50:56Z)
Beyond Single Stage Encoder-Decoder Networks: Deep Decoders for Semantic Image Segmentation [56.44853893149365]
セマンティックセグメンテーションのための単一エンコーダ-デコーダ手法は、セマンティックセグメンテーションの品質とレイヤー数あたりの効率の観点からピークに達している。そこで本研究では,より多くの情報コンテンツを取得するために,浅層ネットワークの集合を用いたデコーダに基づく新しいアーキテクチャを提案する。アーキテクチャをさらに改善するために,ネットワークの注目度を高めるために,クラスの再バランスを目的とした重み関数を導入する。
論文参考訳（メタデータ） (2020-07-19T18:44:34Z)
Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding [59.48857453699463]
シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
論文参考訳（メタデータ） (2020-05-16T20:00:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。