論文の概要: Transformer-based Image and Video Inpainting: Current Challenges and Future Directions
- arxiv url: http://arxiv.org/abs/2407.00226v1
- Date: Fri, 28 Jun 2024 20:42:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-07-04 05:50:47.956421
- Title: Transformer-based Image and Video Inpainting: Current Challenges and Future Directions
- Title（参考訳）: トランスフォーマーによる画像と映像のインペインティング : 現状と今後の方向性
- Authors: Omar Elharrouss, Rafat Damseh, Abdelkader Nasreddine Belkacem, Elarbi Badidi, Abderrahmane Lakas,
- Abstract要約: 塗り絵は、写真復元、ビデオ編集、医用画像撮影など、様々な応用に有効なソリューションである。
CNNとGAN(Generative Adversarial Network)は、インペイントタスクを大幅に強化した。
ビジュアルトランスフォーマーが利用され、画像やビデオのインペイントにいくつかの改善が加えられている。
- 参考スコア（独自算出の注目度）: 5.2088618044533215
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Image inpainting is currently a hot topic within the field of computer vision. It offers a viable solution for various applications, including photographic restoration, video editing, and medical imaging. Deep learning advancements, notably convolutional neural networks (CNNs) and generative adversarial networks (GANs), have significantly enhanced the inpainting task with an improved capability to fill missing or damaged regions in an image or video through the incorporation of contextually appropriate details. These advancements have improved other aspects, including efficiency, information preservation, and achieving both realistic textures and structures. Recently, visual transformers have been exploited and offer some improvements to image or video inpainting. The advent of transformer-based architectures, which were initially designed for natural language processing, has also been integrated into computer vision tasks. These methods utilize self-attention mechanisms that excel in capturing long-range dependencies within data; therefore, they are particularly effective for tasks requiring a comprehensive understanding of the global context of an image or video. In this paper, we provide a comprehensive review of the current image or video inpainting approaches, with a specific focus on transformer-based techniques, with the goal to highlight the significant improvements and provide a guideline for new researchers in the field of image or video inpainting using visual transformers. We categorized the transformer-based techniques by their architectural configurations, types of damage, and performance metrics. Furthermore, we present an organized synthesis of the current challenges, and suggest directions for future research in the field of image or video inpainting.
- Abstract（参考訳）: 画像のインペイントは現在、コンピュータビジョンの分野でホットな話題となっている。
写真復元、ビデオ編集、医療画像撮影など、さまざまな応用に有効なソリューションを提供する。
深層学習の進歩、特に畳み込みニューラルネットワーク(CNN)とGAN(Generative Adversarial Network)は、文脈的に適切な詳細を取り入れることで、画像やビデオの欠落した領域や損傷した領域を埋める能力を向上させることで、着色作業を大幅に強化した。
これらの進歩は、効率性、情報保存、現実的なテクスチャと構造の両方を達成するなど、他の面を改善した。
近年、ビジュアルトランスフォーマーが利用され、画像やビデオのインペイントにいくつかの改善が加えられている。
トランスフォーマーベースのアーキテクチャの出現は、当初自然言語処理用に設計されたもので、コンピュータビジョンタスクに統合されている。
これらの方法は、データ内の長距離依存関係を捉えるのに優れた自己認識機構を利用するため、画像やビデオのグローバルコンテキストを包括的に理解する必要のあるタスクに特に有効である。
本稿では,現在の画像や映像のインパインティング手法について,特にトランスフォーマー技術に焦点をあてた総合的なレビューを行い,その改良点を強調し,ビジュアルトランスフォーマーを用いた画像やビデオのインパインティングの分野における新たな研究者のガイドラインを提供する。
トランスフォーマーベースのテクニックは、アーキテクチャ構成、損傷の種類、パフォーマンスメトリクスによって分類しました。
さらに,現状の課題を整理し,画像や映像のインパインティングの分野における今後の研究の方向性を提案する。
関連論文リスト
- Deep Learning-based Image and Video Inpainting: A Survey [47.53641171826598]
本稿では,深層学習に基づく画像と映像のインペイント手法について概観的にレビューする。
既存のメソッドを,ハイレベルなインペイントパイプラインの観点から,さまざまなカテゴリに分類する。
我々は,低レベルの画素と高レベルの知覚的類似性の評価指標を提示し,性能評価を行い,代表印字方法の長所と短所について議論する。
論文 参考訳（メタデータ） (2024-01-07T05:50:12Z) - Visual Prompt Tuning for Generative Transfer Learning [26.895321693202284]
生成的知識伝達による視覚変換器の学習法を提案する。
我々は,映像を自己回帰的あるいは非自己回帰的変換器への視覚トークンのシーケンスとして表現する最先端の生成的視覚変換器を基盤とする。
新しい領域に適応するために、画像トークンシーケンスへのプロンプトと呼ばれる学習可能なトークンを優先するプロンプトチューニングを用いる。
論文 参考訳（メタデータ） (2022-10-03T14:56:05Z) - A Survey on Graph Neural Networks and Graph Transformers in Computer
Vision: A Task-Oriented Perspective [62.30794059878963]
グラフニューラルネットワーク(GNN)はグラフ表現学習において勢いを増している。
Graph Transformerは、グラフ構造をTransformerアーキテクチャに組み込んで、局所的な近傍集約の制限を克服します。
本稿では,タスク指向の観点から,コンピュータビジョンにおけるGNNとグラフトランスフォーマーの総合的なレビューを行う。
論文 参考訳（メタデータ） (2022-09-27T08:10:14Z) - Vision Transformers: State of the Art and Research Challenges [26.462994554165697]
本稿では,異なるアーキテクチャ設計と視覚変換器のトレーニング手法に関する文献の概要を概説する。
我々の目標は、オープンな研究機会を体系的にレビューすることです。
論文 参考訳（メタデータ） (2022-07-07T02:01:56Z) - Transformers in Medical Imaging: A Survey [88.03790310594533]
トランスフォーマーはいくつかのコンピュータビジョン問題に適用され、最先端の結果が得られた。
医療画像はまた、局所受容野を持つCNNと比較して、グローバルな文脈を捉えられるトランスフォーマーへの関心が高まっている。
本稿では,最近提案された建築設計から未解決問題に至るまで,医療画像におけるトランスフォーマーの応用について概説する。
論文 参考訳（メタデータ） (2022-01-24T18:50:18Z) - Restormer: Efficient Transformer for High-Resolution Image Restoration [118.9617735769827]
畳み込みニューラルネットワーク(CNN)は、大規模データから一般化可能な画像の事前学習をうまく行う。
トランスフォーマーは、自然言語とハイレベルな視覚タスクにおいて、顕著なパフォーマンス向上を示している。
我々のモデルであるRecovery Transformer (Restormer) は、いくつかの画像復元タスクにおいて最先端の結果を得る。
論文 参考訳（メタデータ） (2021-11-18T18:59:10Z) - Deep Neural Network-based Enhancement for Image and Video Streaming
Systems: A Survey and Future Directions [20.835654670825782]
ディープラーニングは、品質の低い画像から高品質な画像を生成する上で、前例のないパフォーマンスをもたらした。
本稿では,高速応答時間と高画質を実現する上で重要な要素として,ニューラルエンハンスメントを用いた最新のコンテンツ配信システムを提案する。
論文 参考訳（メタデータ） (2021-06-07T15:42:36Z) - Transformers in Vision: A Survey [101.07348618962111]
トランスフォーマーは、入力シーケンス要素間の長い依存関係をモデリングし、シーケンスの並列処理をサポートします。
変圧器は設計に最小限の誘導バイアスを必要とし、自然にセット関数として適しています。
本調査は,コンピュータビジョン分野におけるトランスフォーマーモデルの概要を概観することを目的としている。
論文 参考訳（メタデータ） (2021-01-04T18:57:24Z) - A Survey on Visual Transformer [126.56860258176324]
Transformerは、主に自己認識機構に基づくディープニューラルネットワークの一種である。
本稿では、これらの視覚変換器モデルについて、異なるタスクで分類し、それらの利点と欠点を分析することでレビューする。
論文 参考訳（メタデータ） (2020-12-23T09:37:54Z) - State of the Art on Neural Rendering [141.22760314536438]
我々は,古典的コンピュータグラフィックス技術と深層生成モデルを組み合わせることで,制御可能かつフォトリアリスティックな出力を得るアプローチに焦点をあてる。
本報告は,新しいビュー合成,セマンティック写真操作,顔と身体の再現,リライティング,自由視点ビデオ,バーチャルおよび拡張現実テレプレゼンスのためのフォトリアリスティックアバターの作成など,記述されたアルゴリズムの多くの重要なユースケースに焦点をあてる。
論文 参考訳（メタデータ） (2020-04-08T04:36:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。