論文の概要: Can We Perform Online RL for Image Editing without Editing Rewards?
- arxiv url: http://arxiv.org/abs/2608.22780v1
- Date: Mon, 24 Aug 2026 04:08:52 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-25 13:29:43.883218
- Title: Can We Perform Online RL for Image Editing without Editing Rewards?
- Title(参考訳): 画像編集のためのオンラインRLを, 残響編集なしで実現できるか?
- Abstract要約: 我々は、標準画像編集次元はテキスト・ツー・イメージ(T2I)報酬空間にマッピングされる可能性があると論じる。
本稿では,対物的対象記述のための報酬対応キャプタを学習するフレームワークであるLevan-Editを紹介する。
実験では、直感的な転送ベースラインよりも優れながら、編集後処理に基づく微調整に対して、編集アライメントとソース保存の競争力を示す。
- 参考スコア(独自算出の注目度): 56.482951092646026
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Reinforcement learning (RL) enables direct preference optimization for image editing through editing-specific rewards, which remain less developed due to costly triplet supervision and complex task-dependent calibration. In contrast, text-to-image (T2I) generation benefits from a mature and diverse reward ecosystem spanning semantic alignment, aesthetics, realism, glyph shape, and other visual preferences. Extending this ecosystem to image editing would substantially broaden the range of visual preferences accessible to RL-based optimization, prompting the central question: \emph{Can We Perform Image Editing RL without Editing Rewards?} In this paper, we argue that the standard image editing dimensions have potential to be mapped to the T2I reward space: image quality can transfer directly, prompt following can be aligned through a description of the desired visual state, and reference consistency admits a coarse semantic conversion by encoding the source content to preserve. However, editing instructions specify relative changes, whereas T2I rewards require self-contained target descriptions; moreover, semantically valid captions from generic vision-language models may be incompatible with the frozen reward. Hence, we further introduce Lever-Edit, a two-stage framework that learns a reward-aligned captioner for counterfactual target descriptions, freezes it, and optimizes the editing policy solely with the transferred T2I reward. Experiments show competitive editing alignment and source preservation against editing-reward-based fine-tuning, while outperforming intuitive transfer baselines.
- Abstract(参考訳): 強化学習(Reinforcement Learning, RL)は、コストのかかる3倍の監督と複雑なタスク依存キャリブレーションのため、編集固有の報酬による画像編集の直接的な優先最適化を可能にする。
対照的に、テキスト・ツー・イメージ(T2I)生成は、セマンティックアライメント、美学、リアリズム、グリフ形状、その他の視覚的嗜好にまたがる、成熟した多様な報酬のエコシステムから恩恵を受ける。
画像編集にこのエコシステムを拡張することで、RLベースの最適化にアクセスできる視覚的嗜好の範囲が大幅に拡大し、中心的な疑問が浮き彫りになる。
画像の質は直接転送でき、プロンプトは所望の視覚状態の説明を通じて整列でき、参照整合性はソースコンテンツを符号化して保存する粗い意味変換を許容する。
しかし、編集命令は相対的な変化を規定するが、T2I報酬は自己完結した目標記述を必要とする。
そこで我々は,2段階のフレームワークであるLevan-Editを紹介した。このフレームワークは,対物的対象記述のための報酬対応キャプタを学習し,それを凍結し,転送されたT2I報酬のみで編集ポリシーを最適化する。
実験では、直感的な転送ベースラインよりも優れながら、編集後処理に基づく微調整に対して、編集アライメントとソース保存の競争力を示す。
関連論文リスト
- Model the Edit, Not the Image: Visual Autoregressive Editing from a Source-Centric Perspective [23.408232115772833]
次世代の視覚自己回帰モデル(VAR)は強力な生成パラダイムとして登場し、高画質の画像を生成する。
我々は、共有自己回帰文脈下で、ソース条件とターゲット条件の予測を比較したtextbfEditModを提案する。
実験の結果、EditModは強力なテキストアライメントを維持しながらソースイメージの忠実度を向上し、1つのA100 GPU上で1K画像のエンドツーエンド編集をわずか1.57秒で完了することが示された。
論文 参考訳(メタデータ) (2026-08-10T03:05:09Z) - ReEdit: Multimodal Exemplar-Based Image Editing with Diffusion Models [11.830273909934688]
最新のテキスト・ツー・イメージ(T2I)拡散モデルでは、高品質な画像を生成することで画像編集に革命をもたらした。
テキストと画像のモダリティの両方で編集をキャプチャする,モジュール的で効率的なエンドツーエンドフレームワークであるReEditを提案する。
以上の結果から,ReEditは定性的かつ定量的に現代的アプローチを一貫して上回っていることが示された。
論文 参考訳(メタデータ) (2024-11-06T15:19:24Z) - E4C: Enhance Editability for Text-Based Image Editing by Harnessing Efficient CLIP Guidance [13.535394339438428]
拡散ベースの画像編集は、ソースイメージコンテンツを保存し、新しいコンテンツを生成したり、修正を加えたりする複合プロセスである。
テキストベースのtextbf 編集のための textbfCLIP 誘導によるゼロショット画像編集手法である textbfEnhance textbfEditability を提案する。
論文 参考訳(メタデータ) (2024-03-15T09:26:48Z) - DiffEditor: Boosting Accuracy and Flexibility on Diffusion-based Image
Editing [66.43179841884098]
大規模テキスト・ツー・イメージ(T2I)拡散モデルは、ここ数年で画像生成に革命をもたらした。
既存の拡散型画像編集における2つの弱点を正すためにDiffEditorを提案する。
本手法は,様々な精細な画像編集タスクにおいて,最先端の性能を効率的に達成することができる。
論文 参考訳(メタデータ) (2024-02-04T18:50:29Z) - Optimisation-Based Multi-Modal Semantic Image Editing [58.496064583110694]
本稿では,複数の編集命令型に対応するために,推論時編集の最適化を提案する。
各損失関数の影響を調整することで、ユーザの好みに合わせてフレキシブルな編集ソリューションを構築することができる。
本手法は,テキスト,ポーズ,スクリブルといった編集条件を用いて評価し,複雑な編集を行う能力を強調した。
論文 参考訳(メタデータ) (2023-11-28T15:31:11Z) - StyleDiffusion: Prompt-Embedding Inversion for Text-Based Editing [115.49488548588305]
画像の編集のために、事前訓練された拡散モデルの驚くべき能力を活用することに重点が置かれている。
彼らはモデルを微調整するか、事前訓練されたモデルの潜在空間で画像を反転させる。
選択された地域に対する不満足な結果と、非選択された地域における予期せぬ変化の2つの問題に悩まされている。
論文 参考訳(メタデータ) (2023-03-28T00:16:45Z) - Zero-shot Image-to-Image Translation [57.46189236379433]
手動のプロンプトを使わずに元の画像を保存できる画像から画像への変換法であるpix2pix-zeroを提案する。
本稿では,拡散過程全体を通して入力画像の相互注意マップを維持することを目的とした,相互注意誘導を提案する。
本手法では,これらの編集のための追加のトレーニングを必要とせず,既存のテキスト・画像拡散モデルを直接使用することができる。
論文 参考訳(メタデータ) (2023-02-06T18:59:51Z) - EditGAN: High-Precision Semantic Image Editing [120.49401527771067]
EditGANは高品質で高精度なセマンティック画像編集のための新しい手法である。
EditGANは前例のない細部と自由度で画像を操作可能であることを示す。
また、複数の編集を組み合わせることも簡単で、EditGANのトレーニングデータ以外の編集も可能になります。
論文 参考訳(メタデータ) (2021-11-04T22:36:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。