論文の概要: Framer: Interactive Frame Interpolation

• arxiv url: http://arxiv.org/abs/2410.18978v2
• Date: Mon, 04 Nov 2024 13:37:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-05 14:40:29.140734
• Title: Framer: Interactive Frame Interpolation
• Title（参考訳）: Framer: インタラクティブフレーム補間
• Authors: Wen Wang, Qiuyu Wang, Kecheng Zheng, Hao Ouyang, Zhekai Chen, Biao Gong, Hao Chen, Yujun Shen, Chunhua Shen,
• Abstract要約: Framerのターゲットは、ユーザのクリエイティビティに応じて、2つのイメージ間のスムーズな遷移フレームを生成することだ。 提案手法は,選択したキーポイントの軌道を調整し,遷移過程のカスタマイズを支援する。 ここでは,キーポイントと軌道を自動的に推定するモジュールを導入する。
• 参考スコア（独自算出の注目度）: 73.06734414930227
• License:
• Abstract: We propose Framer for interactive frame interpolation, which targets producing smoothly transitioning frames between two images as per user creativity. Concretely, besides taking the start and end frames as inputs, our approach supports customizing the transition process by tailoring the trajectory of some selected keypoints. Such a design enjoys two clear benefits. First, incorporating human interaction mitigates the issue arising from numerous possibilities of transforming one image to another, and in turn enables finer control of local motions. Second, as the most basic form of interaction, keypoints help establish the correspondence across frames, enhancing the model to handle challenging cases (e.g., objects on the start and end frames are of different shapes and styles). It is noteworthy that our system also offers an "autopilot" mode, where we introduce a module to estimate the keypoints and refine the trajectory automatically, to simplify the usage in practice. Extensive experimental results demonstrate the appealing performance of Framer on various applications, such as image morphing, time-lapse video generation, cartoon interpolation, etc. The code, the model, and the interface will be released to facilitate further research.
• Abstract（参考訳）: 本稿では,対話型フレーム補間のためのFramerを提案する。 具体的には,開始フレームと終了フレームを入力とする以外に,選択したキーポイントの軌跡を調整して遷移プロセスのカスタマイズを支援する。 このようなデザインには2つの明確な利点がある。 まず、人間のインタラクションを取り入れることで、ある画像から別の画像へ変換する多くの可能性から生じる問題を緩和し、さらに局所的な動きのより細かい制御を可能にします。 第二に、最も基本的なインタラクションの形式として、キーポイントはフレーム間の対応を確立するのに役立ち、挑戦的なケース(例えば、開始フレームと終了フレームのオブジェクトは異なる形状とスタイル)を扱うためにモデルを拡張します。 また,本システムでは,キーポイントを推定し,トラジェクトリを改良するモジュールを導入し,実際の使用を簡略化する「オートパイロット」モードも提供している。 画像モーフィング,タイムラプスビデオ生成,マンガ補間など,様々な応用におけるフラマーの魅力を示す実験結果である。 コード、モデル、インターフェースは、さらなる研究を促進するためにリリースされます。

関連論文リスト

• Thin-Plate Spline-based Interpolation for Animation Line Inbetweening [54.69811179222127]
  チャンファー距離(CD: Chamfer Distance)は、一般に間欠的な性能を評価するために用いられる。 薄板スプライン変換を応用したアニメーションラインインテタイニングの簡易かつ効果的な手法を提案する。 提案手法は, 流動性を高めた高品質な結果を提供することにより, 既存の手法よりも優れる。
  論文  参考訳（メタデータ） (2024-08-17T08:05:31Z)
• Explore Synergistic Interaction Across Frames for Interactive Video Object Segmentation [70.93295323156876]
  複数のフレームを同時に受け入れることのできるフレームワークを提案し、フレーム間の相乗的相互作用(SIAF)を探索する。 我々のSwinB-SIAFはDAVIS 2017(89.6%、J&F@60)で最先端のパフォーマンスを達成した 我々のR50-SIAFは、挑戦的なマルチオブジェクトシナリオの下で、最先端の競合製品よりも3倍高速です。
  論文  参考訳（メタデータ） (2024-01-23T04:19:15Z)
• Interactive Image Segmentation with Cross-Modality Vision Transformers [18.075338835513993]
  クロスモダリティ・ビジョン・トランスフォーマーは、学習プロセスをより良くガイドするために相互情報を利用する。 障害発生回避の観点からの本手法の安定性は,実用的なアノテーションツールとしての可能性を示している。
  論文  参考訳（メタデータ） (2023-07-05T13:29:05Z)
• Multiview Regenerative Morphing with Dual Flows [20.062713286961326]
  本稿では,Multiview Regenerative Morphingと呼ばれる新しい手法を提案する。 フォーミング過程を厳密で最適な輸送のための最適化として定式化する。 ユーザの指定した対応や2D/3D入力メッシュには依存しない。
  論文  参考訳（メタデータ） (2022-08-02T07:22:48Z)
• TTVFI: Learning Trajectory-Aware Transformer for Video Frame Interpolation [50.49396123016185]
  ビデオフレーム(VFI)は、2つの連続するフレーム間の中間フレームを合成することを目的としている。 ビデオフレーム補間用トラジェクトリ対応トランス (TTVFI) を提案する。 提案手法は,4つの広く使用されているVFIベンチマークにおいて,他の最先端手法よりも優れている。
  論文  参考訳（メタデータ） (2022-07-19T03:37:49Z)
• ALANET: Adaptive Latent Attention Network forJoint Video Deblurring and Interpolation [38.52446103418748]
  シャープな高フレームレート映像を合成する新しいアーキテクチャであるAdaptive Latent Attention Network (ALANET)を導入する。 我々は,各フレームに最適化された表現を生成するために,潜在空間内の連続するフレーム間で自己アテンションと相互アテンションのモジュールを組み合わせる。 本手法は, より困難な問題に取り組みながら, 様々な最先端手法に対して良好に機能する。
  論文  参考訳（メタデータ） (2020-08-31T21:11:53Z)
• Deep Sketch-guided Cartoon Video Inbetweening [24.00033622396297]
  本研究では,ユーザスケッチに案内されたアニメーションの動きに追従しながら,2つの入力から色情報を取得することで,マンガ映像を生成するフレームワークを提案する。 フレームとスケッチの対応性を明示的に考慮することにより,他の画像合成法よりも高品質な結果が得られる。
  論文  参考訳（メタデータ） (2020-08-10T14:22:04Z)
• All at Once: Temporally Adaptive Multi-Frame Interpolation with Advanced Motion Modeling [52.425236515695914]
  最先端の手法は、一度に1つのフレームを補間する反復解である。 この研究は、真のマルチフレーム補間子を導入している。 時間領域のピラミッドスタイルのネットワークを使用して、複数フレームのタスクをワンショットで完了する。
  論文  参考訳（メタデータ） (2020-07-23T02:34:39Z)
• Image Morphing with Perceptual Constraints and STN Alignment [70.38273150435928]
  本稿では,一対の入力画像で動作する条件付きGANモーフィングフレームワークを提案する。 特別なトレーニングプロトコルは、知覚的類似性損失と組み合わせてフレームのシーケンスを生成し、時間とともにスムーズな変換を促進する。 我々は、古典的かつ潜時的な空間変形技術との比較を行い、自己スーパービジョンのための一連の画像から、我々のネットワークが視覚的に楽しむモーフィング効果を生成することを実証する。
  論文  参考訳（メタデータ） (2020-04-29T10:49:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。