論文の概要: What to Edit Next: Visually Aligned Image-Editing Follow-Up Suggestions in Conversational Systems
- arxiv url: http://arxiv.org/abs/2608.07565v1
- Date: Mon, 03 Aug 2026 17:50:10 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.437539
- Title: What to Edit Next: Visually Aligned Image-Editing Follow-Up Suggestions in Conversational Systems
- Title（参考訳）: 次に何を編集するか:会話システムにおける画像編集のフォローアップ提案
- Abstract要約: 画像作成タスクでは、フォローアップ編集提案はユーザの好みを反映し、多様な方向を提供し、現在のイメージ上で実行可能でなければならない。
マルチモーダルなフォローアップ編集提案のための3段階フレームワークを提案する。
推奨CTRを32.70%改善し、画像取得率を16.32%改善し、ユーザー毎の平均会話数は39.90%改善した。
- 参考スコア（独自算出の注目度）: 17.082862337524265
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Conversational assistants increasingly recommend follow-up edits to help users continue a task. Existing systems primarily target text-only interactions, leaving image-creation conversations underexplored. In image-creation tasks, useful follow-up edit suggestions must reflect user preferences, offer diverse directions, and remain executable on the current image. We collected 100,000 real multi-turn image-creation conversation samples from Qwen App and found that 80.1% are image-dependent, underscoring the need for multimodal recommendation. We address this setting with a three-stage framework. In Stage 1, we use real online data to build a human-reviewed table of appropriate follow-up editing intents, then create SFT targets and fine-tune a multimodal policy. In Stage 2, to align rule-guided SFT suggestions with actual user choices, we use user click feedback to optimize the policy through multi-objective reinforcement learning. In Stage 3, to reduce visual inconsistencies between suggested edits and the current image, we introduce a visual verifier as additional training supervision. Extensive experiments demonstrate that our framework significantly outperforms baselines on both automatic and human evaluations. In a live user-randomized A/B test with millions of users, our final framework reduces visual inconsistency from 3.7% to 0.9%. Furthermore, it significantly improves recommendation CTR by 32.70%, image take-away rate by 16.32%, and average conversation turns per user by 39.90% (all p<0.05).
- Abstract（参考訳）: 会話アシスタントは、ユーザーがタスクを継続するためのフォローアップ編集をますます推奨する。
既存のシステムは、主にテキストのみのインタラクションをターゲットとしており、画像生成の会話は未探索のままである。
画像作成タスクでは、有用なフォローアップ編集提案は、ユーザの好みを反映し、多様な方向を提供し、現在の画像上で実行可能でなければならない。
Qwen Appから10万件の実際のマルチターン画像生成会話サンプルを収集し、80.1%が画像に依存しており、マルチモーダルレコメンデーションの必要性を強調している。
この設定を3段階のフレームワークで解決します。
ステージ1では、実際のオンラインデータを使用して、適切なフォローアップ編集意図の人間レビュー表を作成し、SFTターゲットを作成し、マルチモーダルポリシーを微調整します。
ステージ2では,ルール誘導型SFT提案を実際のユーザ選択に合わせるために,ユーザクリックフィードバックを用いて多目的強化学習を通じてポリシーを最適化する。
ステージ3では、提案した編集と現在の画像との視覚的不整合を低減するため、視覚的検証を追加の訓練指導として導入する。
大規模な実験により、我々のフレームワークは、自動評価と人的評価の両方において、ベースラインを著しく上回っていることが示された。
数百万人のユーザによるA/Bテストで、最終的なフレームワークは、視覚的不整合を3.7%から0.9%に削減します。
さらに、レコメンデーションCTRを32.70%改善し、イメージテイクアウトレートを16.32%改善し、ユーザー毎の平均会話を39.90%改善した(すべてのp<0.05)。
関連論文リスト
- PinPoint: Evaluation of Composed Image Retrieval with Explicit Negatives, Multi-Image Queries, and Paraphrase Testing [3.889218009169166]
Composed Image Retrieval (CIR) は大きな進歩を遂げているが、現在のベンチマークは1つの接地的回答に限られている。
我々は、7,635のクエリと329Kの関連判断を備えた総合的な実世界のベンチマークであるPinPointを紹介する。
論文 参考訳（メタデータ） (2026-03-04T20:55:30Z) - FUSE : Failure-aware Usage of Subagent Evidence for MultiModal Search and Recommendation [1.3618516245643617]
マルチモーダルなクリエイティブアシスタントは、ユーザ目標を分解し、レイアウト、スタイリング、検索、生成のためのサブエージェントにタスクをルーティングする。
FUSEはコンテキスト圧縮、連鎖推論、ミニショット最適化、検索拡張コンテキスト、2段階処理、ゼロショット最小化という7つのコンテキスト予算戦略を実装している。
論文 参考訳（メタデータ） (2025-11-15T07:55:51Z) - One Battle After Another: Probing LLMs' Limits on Multi-Turn Instruction Following with a Benchmark Evolving Framework [51.50565654314582]
大規模言語モデルは、複数のトピックにまたがる対話を通して、ユーザの指示に従うことができる。
既存のベンチマークは、しばしば一定回数のターンに制限されるため、飽和の影響を受けにくく、ユーザのインタラクティブなエクスペリエンスを考慮できない。
マルチターン命令追従能力を評価するためのフレームワークを提案する。
論文 参考訳（メタデータ） (2025-11-05T14:39:59Z) - Multimodal Reasoning Agent for Zero-Shot Composed Image Retrieval [52.709090256954276]
Zero-Shot Composed Image Retrieval (ZS-CIR) は、合成クエリによってターゲット画像を取得することを目的としている。
本稿では,ZS-CIRにMRA(Multimodal Reasoning Agent)を用いた新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2025-05-26T13:17:50Z) - Optimizing Multi-Round Enhanced Training in Diffusion Models for Improved Preference Understanding [29.191627597682597]
本稿では,ユーザの好みに合わせた報酬モデルを活用し,フィードバックをループに組み込んだフレームワークを提案する。
このアプローチは、特にマルチターン対話シナリオにおいて、ユーザの満足度において競合するモデルを一貫して上回ります。
論文 参考訳（メタデータ） (2025-04-25T09:35:02Z) - OMR-Diffusion:Optimizing Multi-Round Enhanced Training in Diffusion Models for Improved Intent Understanding [21.101906599201314]
ループ内フィードバックを組み込んだビジュアルコ適応フレームワークを提案する。
このフレームワークは拡散モデルを洗練するために複数の報酬関数(多様性、一貫性、嗜好フィードバックなど)を適用している。
実験では、DALL-E 3(463勝)など、人間の評価において508勝を達成した。
論文 参考訳（メタデータ） (2025-03-22T06:10:57Z) - Visual-RFT: Visual Reinforcement Fine-Tuning [75.20572976629646]
OpenAI o1のような大規模推論モデルにおける強化ファインチューニング(RFT)は、回答に対するフィードバックから学ぶ。
Visual-RFTはさらに、視覚タスクにおけるRTTの適用領域を拡張している。
論文 参考訳（メタデータ） (2025-03-03T18:16:32Z) - Interactive Visualization Recommendation with Hier-SUCB [52.11209329270573]
本稿では,従来のインタラクションからユーザフィードバックを学習する対話型パーソナライズドビジュアライゼーションレコメンデーション(PVisRec)システムを提案する。
よりインタラクティブで正確なレコメンデーションのために、PVisRec設定における文脈的半帯域であるHier-SUCBを提案する。
論文 参考訳（メタデータ） (2025-02-05T17:14:45Z) - Enhancing Intent Understanding for Ambiguous prompt: A Human-Machine Co-Adaption Strategy [50.714983524814606]
現在の画像生成システムは高品質な画像を生成するが、曖昧なユーザープロンプトに苦慮している。
ユーザのプロンプトと修正中の画像の相互情報を用いた人間機械協調型適応戦略を提案する。
論文 参考訳（メタデータ） (2025-01-25T10:32:00Z) - Task-Oriented Multi-Modal Mutual Leaning for Vision-Language Models [52.3032592038514]
ラベル関連画像情報で生成したプロンプトを豊かにするためのクラス対応テキストプロンプトを提案する。
我々は、新しいクラスで4.03%、調和平均で3.19%の改善を11の分類ベンチマークで達成した。
論文 参考訳（メタデータ） (2023-03-30T06:02:40Z) - One-Time Model Adaptation to Heterogeneous Clients: An Intra-Client and
Inter-Image Attention Design [40.97593636235116]
既存のバックボーン認識モデルに新たなICIIAモジュールを提案する。
特に、特定のクライアントからのターゲット画像が与えられた場合、ICIIAはクライアントの歴史的未ラベル画像から関連画像を取得するために、マルチヘッド自己アテンションを導入する。
ICIIAを5つの代表的なデータセットに対して9つのバックボーンモデルを用いて3つの異なる認識タスクを用いて評価した。
論文 参考訳（メタデータ） (2022-11-11T15:33:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。