論文の概要: Beyond Image Borders: Learning Feature Extrapolation for Unbounded Image Composition

• arxiv url: http://arxiv.org/abs/2309.12042v1
• Date: Thu, 21 Sep 2023 13:10:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-09-22 15:20:11.178676
• Title: Beyond Image Borders: Learning Feature Extrapolation for Unbounded Image Composition
• Title（参考訳）: 境界を越える:非有界画像合成のための特徴補間学習
• Authors: Xiaoyu Liu, Ming Liu, Junyi Li, Shuai Liu, Xiaotao Wang, Lei Lei, Wangmeng Zuo
• Abstract要約: カメラビューと画像合成(UNIC)の両方を推奨するための共同フレームワークを提案する。 具体的には、現在のカメラプレビューフレームを入力として、ビュー調整のためのレコメンデーションを提供する。 提案手法は、カメラビューと画像合成推奨を示すバウンディングボックスの両方に収束し、その結果を得る。
• 参考スコア（独自算出の注目度）: 80.14697389188143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: For improving image composition and aesthetic quality, most existing methods modulate the captured images by striking out redundant content near the image borders. However, such image cropping methods are limited in the range of image views. Some methods have been suggested to extrapolate the images and predict cropping boxes from the extrapolated image. Nonetheless, the synthesized extrapolated regions may be included in the cropped image, making the image composition result not real and potentially with degraded image quality. In this paper, we circumvent this issue by presenting a joint framework for both unbounded recommendation of camera view and image composition (i.e., UNIC). In this way, the cropped image is a sub-image of the image acquired by the predicted camera view, and thus can be guaranteed to be real and consistent in image quality. Specifically, our framework takes the current camera preview frame as input and provides a recommendation for view adjustment, which contains operations unlimited by the image borders, such as zooming in or out and camera movement. To improve the prediction accuracy of view adjustment prediction, we further extend the field of view by feature extrapolation. After one or several times of view adjustments, our method converges and results in both a camera view and a bounding box showing the image composition recommendation. Extensive experiments are conducted on the datasets constructed upon existing image cropping datasets, showing the effectiveness of our UNIC in unbounded recommendation of camera view and image composition. The source code, dataset, and pretrained models is available at https://github.com/liuxiaoyu1104/UNIC.
• Abstract（参考訳）: 画像合成と美的品質を向上させるため、既存の手法では、画像境界付近で冗長なコンテンツを打ち出して撮影画像を変調している。 しかし、このような画像クロッピング手法は、画像ビューの範囲に制限がある。 画像の外挿を行い、外挿画像から収穫箱を予測する方法が提案されている。 それでも、合成された外挿領域を収穫画像に含めることで、画像組成が現実的でなく、劣化した画像品質を伴わない可能性がある。 本稿では,カメラビューと画像合成(UNIC)の非有界な推奨のための共同フレームワークを提案することにより,この問題を回避する。 このようにして、クロッピング画像は、予測されたカメラビューによって取得された画像のサブ画像であり、画像品質において現実的かつ一貫性があることを保証することができる。 具体的には、現在のカメラプレビューフレームを入力として、ズームイン/アウトやカメラの動きなど、画像境界による操作を無制限に含むビュー調整を推奨する。 視点調整予測の予測精度を向上させるため,特徴量補間により視野をさらに拡張する。 1回または数回のビュー調整の後、この方法は収束し、カメラビューと画像合成推奨を示すバウンディングボックスの両方を生成する。 既存の画像トリミングデータセット上に構築されたデータセットに対して大規模な実験を行い、カメラビューと画像合成の非バウンドレコメンデーションにおけるUNICの有効性を示した。 ソースコード、データセット、事前訓練されたモデルはhttps://github.com/liuxiaoyu1104/UNICで入手できる。

関連論文リスト

• FreeCompose: Generic Zero-Shot Image Composition with Diffusion Prior [50.0535198082903]
  我々は,複数の入力イメージを単一のコヒーレントなイメージに統合する,新しい画像合成手法を提案する。 本稿では, 大規模事前学習拡散モデルに内在する強力な生成的前駆体を利用して, 汎用画像合成を実現する可能性を示す。
  論文  参考訳（メタデータ） (2024-07-06T03:35:43Z)
• Image Cropping under Design Constraints [19.364718428893923]
  ディスプレイメディアでは、アスペクト比やテキストやオブジェクトを配置するための空白領域など、様々な制約を満たすために、画像トリミングが要求されることが多い。 そこで本研究では, 設計制約を満足し, 審美的に妥当であるか否かを問う, 収穫結果のスコアを算出したスコア関数に基づくアプローチを提案する。 実験では,提案手法がベースラインを上回り,提案手法が同じ計算コストでヒートマップ方式よりも優れていることを示した。
  論文  参考訳（メタデータ） (2023-10-13T06:53:28Z)
• iEdit: Localised Text-guided Image Editing with Weak Supervision [53.082196061014734]
  テキスト誘導画像編集のための新しい学習法を提案する。 ソースイメージに条件付けされた画像とテキスト編集プロンプトを生成する。 画像の忠実度、CLIPアライメントスコア、および生成された画像と実際の画像の両方を定性的に編集する点において、画像に対して好ましい結果を示す。
  論文  参考訳（メタデータ） (2023-05-10T07:39:14Z)
• ClipCrop: Conditioned Cropping Driven by Vision-Language Model [90.95403416150724]
  我々は、堅牢でユーザ意図的な収穫アルゴリズムを構築する基盤として、視覚言語モデルを活用している。 そこで本研究では,ユーザの意図を反映したテキストや画像クエリを用いて,トリミングを行う手法を開発した。 私たちのパイプライン設計では、小さなデータセットでテキスト条件の美学を学習することができます。
  論文  参考訳（メタデータ） (2022-11-21T14:27:07Z)
• im2nerf: Image to Neural Radiance Field in the Wild [47.18702901448768]
  im2nerfは、野生の1つの入力イメージが与えられた連続的な神経オブジェクト表現を予測する学習フレームワークである。 Im2nerfは、野生の単視未表示画像から新しいビューを合成するための最先端性能を実現する。
  論文  参考訳（メタデータ） (2022-09-08T23:28:56Z)
• Guided Co-Modulated GAN for 360{\deg} Field of View Extrapolation [15.850166450573756]
  一つの画像から360度視野を抽出する手法を提案する。 提案手法は, 従来の画像品質指標よりも高い精度で, 最新の結果が得られる。
  論文  参考訳（メタデータ） (2022-04-15T01:48:35Z)
• SSH: A Self-Supervised Framework for Image Harmonization [97.16345684998788]
  我々は、編集せずに「自由」な自然画像だけで訓練できる新しい自己改善調和フレームワーク(SSH)を提案する。 提案したSSHは,基準指標,視覚的品質,主観的ユーザスタディにおいて,従来の最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2021-08-15T19:51:33Z)
• Camera View Adjustment Prediction for Improving Image Composition [14.541539156817045]
  本稿では、撮影前にカメラビューの調整方法について、カメラマンに提案する深層学習に基づくアプローチを提案する。 写真が撮られる前に合成を最適化することで、撮影者がより良い写真を撮れるようになる。
  論文  参考訳（メタデータ） (2021-04-15T17:18:31Z)
• Bridging the Visual Gap: Wide-Range Image Blending [16.464837892640812]
  広域画像ブレンドを実現するための効果的なディープラーニングモデルを提案する。 提案手法が視覚的に魅力的な結果をもたらすことを実験的に実証した。
  論文  参考訳（メタデータ） (2021-03-28T15:07:45Z)
• Deep Photo Cropper and Enhancer [65.11910918427296]
  画像に埋め込まれた画像を収穫する新しいタイプの画像強調問題を提案する。 提案手法をディープ・フォト・クリーパーとディープ・イメージ・エンハンサーの2つのディープ・ネットワークに分割した。 フォトクロッパーネットワークでは,埋め込み画像の抽出に空間変換器を用いる。 フォトエンハンサーでは、埋め込み画像中の画素数を増やすために超解像を用いる。
  論文  参考訳（メタデータ） (2020-08-03T03:50:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。