Fugu-MT 論文翻訳(概要): Context-Aware Input Orchestration for Video Inpainting

論文の概要: Context-Aware Input Orchestration for Video Inpainting

arxiv url: http://arxiv.org/abs/2411.16926v1
Date: Mon, 25 Nov 2024 20:50:21 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-27 13:35:25.580287
Title: Context-Aware Input Orchestration for Video Inpainting
Title（参考訳）: 映像インペインティングのための文脈対応入力オーケストレーション
Authors: Hoyoung Kim, Azimbek Khudoyberdiev, Seonghwan Jeong, Jihoon Ryoo,
Abstract要約: 入力データの構成を変更することでメモリ使用量を最適化する革新的な手法を提案する。我々の焦点は、入力フレームの割合の変動が、インペイントされたビデオの品質にどのように影響するかを調べることである。
参考スコア（独自算出の注目度）: 3.6858754101016054
License:
Abstract: Traditional neural network-driven inpainting methods struggle to deliver high-quality results within the constraints of mobile device processing power and memory. Our research introduces an innovative approach to optimize memory usage by altering the composition of input data. Typically, video inpainting relies on a predetermined set of input frames, such as neighboring and reference frames, often limited to five-frame sets. Our focus is to examine how varying the proportion of these input frames impacts the quality of the inpainted video. By dynamically adjusting the input frame composition based on optical flow and changes of the mask, we have observed an improvement in various contents including rapid visual context changes.
Abstract（参考訳）: 従来のニューラルネットワーク駆動のインペイント手法は、モバイルデバイスの処理能力とメモリの制約の中で、高品質な結果をもたらすのに苦労している。本研究では,入力データの構成を変更することでメモリ使用量を最適化する革新的な手法を提案する。通常、ビデオのインペイントは、隣接するフレームや参照フレームのような所定の入力フレームのセットに依存し、しばしば5フレームに制限される。我々の焦点は、これらの入力フレームの比率の変化が、インペイントされたビデオの品質にどのように影響するかを調べることである。入力フレームの構成を光学的フローとマスクの変化に基づいて動的に調整することにより、視覚的環境の変化を含む様々な内容の改善が観察された。

関連論文リスト

FramePainter: Endowing Interactive Image Editing with Video Diffusion Priors [64.54220123913154]
本稿では,画像から映像への効率のよい生成問題としてFramePainterを紹介した。軽量のスパース制御エンコーダのみを使用して編集信号を注入する。従来の最先端の手法をはるかに少ないトレーニングデータで上回ります。
論文参考訳（メタデータ） (2025-01-14T16:09:16Z)
Ada-VE: Training-Free Consistent Video Editing Using Adaptive Motion Prior [13.595032265551184]
ビデオ間合成は、キャラクタ一貫性の維持、スムーズな時間遷移、高速動作時の視覚的品質の維持において大きな課題となる。本稿では,冗長計算を選択的に削減する適応型動き誘導型クロスフレームアテンション機構を提案する。これにより、同じ計算予算内でより多くのフレームにクロスフレームの注意を向けることができる。
論文参考訳（メタデータ） (2024-06-07T12:12:25Z)
Semantically Consistent Video Inpainting with Conditional Diffusion Models [16.42354856518832]
本稿では,条件付きビデオ拡散モデルを用いた問題解決フレームワークを提案する。我々は,コンテキストにおける重要な長距離依存関係をキャプチャする塗装特化サンプリングスキームを導入する。不完全フレーム中の既知の画素を条件付けするための新しい手法を考案する。
論文参考訳（メタデータ） (2024-04-30T23:49:26Z)
Concatenated Masked Autoencoders as Spatial-Temporal Learner [6.475592804311682]
自己教師型ビデオ表現学習のための時空間学習システムとして,Concatenated Masked Autoencoders (CatMAE)を導入した。そこで本研究では,ビデオフレームをモデル再構成ターゲットとして用いた新しいデータ拡張戦略であるVideo-Reverse(ViRe)を提案する。
論文参考訳（メタデータ） (2023-11-02T03:08:26Z)
Aggregating Nearest Sharp Features via Hybrid Transformers for Video Deblurring [70.06559269075352]
本稿では,隣接するフレームと既存のシャープフレームの両方を特徴集約のためにハイブリッドトランスフォーマーを用いて活用するビデオデブロアリング手法を提案する。検出されたシャープフレームから最も近いシャープ特徴を集約するために,マルチスケールマッチング機能を備えたグローバルトランスを利用する。提案手法は,定量的な計測値と視覚的品質の観点から,最先端のビデオデブロアリング法,およびイベント駆動ビデオデブロアリング法より優れる。
論文参考訳（メタデータ） (2023-09-13T16:12:11Z)
Motion and Context-Aware Audio-Visual Conditioned Video Prediction [58.9467115916639]
視覚条件付き映像予測を動作モデルと外観モデルに分離する。マルチモーダルモーション推定は、音声と動きの相関に基づいて将来の光の流れを予測する。本研究では,グローバルな出現状況の減少に対処する文脈認識の改良を提案する。
論文参考訳（メタデータ） (2022-12-09T05:57:46Z)
Wide and Narrow: Video Prediction from Context and Motion [54.21624227408727]
本稿では,これらの相補的属性を統合し,深層ネットワークを通した複雑なピクセルのダイナミックスを予測するフレームワークを提案する。本研究では,非局所的な近隣表現を集約し,過去のフレーム上の文脈情報を保存するグローバルなコンテキスト伝搬ネットワークを提案する。また,移動オブジェクトの動作をメモリに格納することで,適応的なフィルタカーネルを生成するローカルフィルタメモリネットワークを考案した。
論文参考訳（メタデータ） (2021-10-22T04:35:58Z)
Restoration of Video Frames from a Single Blurred Image with Motion Understanding [69.90724075337194]
単一モーション赤画像からクリーンな映像フレームを生成するための新しいフレームワークを提案する。一つのぼやけた画像からの映像復元を逆問題として、クリーンな画像シーケンスとそれぞれの動きを潜伏要因として設定する。提案手法は,空間トランスフォーマネットワークモジュールを用いたanblur-decoder構造に基づいている。
論文参考訳（メタデータ） (2021-04-19T08:32:57Z)
Motion-blurred Video Interpolation and Extrapolation [72.3254384191509]
本稿では,映像から鮮明なフレームをエンドツーエンドに切り離し,補間し,外挿する新しい枠組みを提案する。予測フレーム間の時間的コヒーレンスを確保し,潜在的な時間的あいまいさに対処するために,単純で効果的なフローベースルールを提案する。
論文参考訳（メタデータ） (2021-03-04T12:18:25Z)
End-to-End Learning for Video Frame Compression with Self-Attention [25.23586503813838]
ビデオフレームを圧縮するエンド・ツー・エンドの学習システムを提案する。我々のシステムはフレームの深い埋め込みを学習し、その差分を潜時空間でエンコードする。実験の結果,提案システムは高い圧縮率と高客観的な視覚的品質を実現することがわかった。
論文参考訳（メタデータ） (2020-04-20T12:11:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。