論文の概要: FrameLite: Decision-Oriented Aesthetic Cropping with a Compact Vision-Language Model
- arxiv url: http://arxiv.org/abs/2610.17639v1
- Date: Tue, 13 Oct 2026 03:08:09 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-17 18:02:41.10902
- Title: FrameLite: Decision-Oriented Aesthetic Cropping with a Compact Vision-Language Model
- Title(参考訳): FrameLite:コンパクトビジョンランゲージモデルによる意思決定指向の美的クロップ
- Abstract要約: 本稿では,Qwen3.5-0.8B 上に構築した小型収穫モデル FrameLite を提案する。
我々のアプローチは、小さなモデルが最初の答えよりも良い作物を生産できるという観察によって動機付けられています。
我々は、このポテンシャルをより強い直接予測に変換するために、3段階の訓練を開発する。
- 参考スコア(独自算出の注目度): 54.815049838592635
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Aesthetic image cropping improves composition by balancing subjects, context, and image boundaries. Large vision-language models bring semantic knowledge to this task, but their scale limits lightweight photography assistance. We propose FrameLite, a compact cropping model built on Qwen3.5-0.8B. Our approach is motivated by the observation that a small model can generate better crops than its first answer suggests. We develop three-stage training to turn this potential into stronger direct predictions. Spatial and composition training establishes localization and framing preferences. Quality-Guided Online Supervision (QOS) then learns the highest-quality complete answers among the current policy's generated candidates. Greedy-Referenced Optimization (GRO) further refines the policy using positive and negative quality differences relative to its current greedy answer. Both online stages use annotation-derived feedback, while inference returns one coordinate answer without search or an external scorer. Experiments show that FrameLite outperforms the compared large-VLM croppers across public benchmarks with a substantially smaller backbone. Controlled studies confirm that selecting high-quality training answers improves the final model beyond online sampling alone. We will release our code and model weights at https://github.com/JianzeLi-114/FrameLite .
- Abstract(参考訳): 美的イメージトリミングは、主題、コンテキスト、画像境界のバランスをとることで構成を改善する。
大きな視覚言語モデルは、このタスクにセマンティックな知識をもたらすが、そのスケールは軽量写真支援に制限される。
本稿では,Qwen3.5-0.8B 上に構築した小型収穫モデル FrameLite を提案する。
我々のアプローチは、小さなモデルが最初の答えよりも良い作物を生産できるという観察によって動機付けられています。
我々は、このポテンシャルをより強い直接予測に変換するために、3段階の訓練を開発する。
空間的および構成的トレーニングは、ローカライズとフレーミングの好みを確立する。
その後、QOS(Quality-Guided Online Supervision)は、現在のポリシーで生成された候補の中で、高品質な完全な回答を学習する。
Greedy-Referenced Optimization (GRO) は、現在のgreedyの回答と比較して、正と負の質差を使ってポリシーをさらに洗練する。
どちらのオンラインステージもアノテーションからのフィードバックを使用し、推論は検索なしで1つの座標回答を返す。
実験により、FrameLiteは比較対象の大型VLM作物を、バックボーンがかなり小さい公開ベンチマークで上回っていることがわかった。
制御された研究は、高品質なトレーニング回答を選択することで、オンラインサンプリングだけでなく最終モデルも改善することを確認した。
コードとモデルの重み付けはhttps://github.com/JianzeLi-114/FrameLite で公開します。
関連論文リスト
- Generating an Image From 1,000 Words: Enhancing Text-to-Image With Structured Captions [33.440447854396446]
我々は、長文の字幕上で、最初のオープンソーステキスト・ツー・イメージモデルを訓練する。
長いキャプションを効率的に処理するために,DimFusionを提案する。
また,テキスト・アズ・ア・ブートネック・コンストラクション(TaBR)の評価プロトコルについても紹介する。
論文 参考訳(メタデータ) (2025-11-10T09:25:25Z) - TULIP: Towards Unified Language-Image Pretraining [60.99500935831526]
既存のCLIPライクなモデルの代替として,オープンソースでドロップイン可能なTを導入する。
提案手法は, 生成データの拡張, 画像画像の強化, テキストコントラスト学習, 画像/テキスト再構成正規化を利用して, きめ細かい視覚的特徴を学習する。
当社のアプローチでは、ベンチマーク全体で既存の最先端(SOTA)モデルを上回っています。
論文 参考訳(メタデータ) (2025-03-19T17:58:57Z) - Grounding Descriptions in Images informs Zero-Shot Visual Recognition [47.66166611138081]
我々は,表現を細かなレベルと粗いレベルの両方で同時に調整することを目的とした,新しい事前学習戦略であるGRAINを提案する。
我々は,現在の最先端技術と比較して,モデルのゼロショット性能の向上を実証する。
論文 参考訳(メタデータ) (2024-12-05T18:52:00Z) - MV-CLIP: Multi-View CLIP for Zero-shot 3D Shape Recognition [49.52436478739151]
大規模な事前訓練モデルでは、オープンワールドシナリオにおける視覚と言語タスクのパフォーマンスが著しく向上している。
近年の手法では、ゼロショット3次元形状認識を実現するために、言語画像事前学習を採用している。
本稿では、ビュー選択と階層的プロンプトによる信頼性の向上を目的とする。
論文 参考訳(メタデータ) (2023-11-30T09:51:53Z) - DPOK: Reinforcement Learning for Fine-tuning Text-to-Image Diffusion
Models [97.31200133440308]
我々は、オンライン強化学習を用いて、テキスト・ツー・イメージモデルを微調整する。
拡散モデルに焦点をあて、微調整タスクをRL問題として定義する。
我々のアプローチはDPOKと呼ばれ、政策最適化とKL正規化を統合している。
論文 参考訳(メタデータ) (2023-05-25T17:35:38Z) - Prompt-based Learning for Unpaired Image Captioning [86.44188293709307]
Unpaired Image Captioning (UIC) は、非整合視覚言語サンプルペアから画像記述を学習するために開発された。
近年のVision-Language Pre-Trained Models (VL-PTMs) の成功は、プロンプトベース学習の発展を引き起こしている。
本稿では,UICモデルをトレーニングするためのプロンプトに基づく新しいスキームを提案し,その強力な一般化能力を最大限に活用する。
論文 参考訳(メタデータ) (2022-05-26T03:13:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。