TailorMind: Towards Preference-Aligned Multimodal Content Generation
Abstractの概要
本論文は、パーソナライズされたマルチモーダルコンテンツ生成を研究し、適切なユーザー生成コンテンツ（UGC）が利用できない場合に、ユーザーに合わせた画像テキストの投稿や動画を作成することを目的としている。提案するTailorMindフレームワークは、ハイパーグラフ協調フィルタリング、LLMベースのマルチモーダルプロファイル構築、および保留されたインタラクションからのランキングフィードバックを用いた反復的なテキスト勾配による改善を通じて、行動ベースの嗜好モデリングと制御可能な生成を結びつける。生成においては、検索拡張型スタイル制御を使用して出力を実際のUGCパターンに根付かせ、テキストと視覚要素間の乖離を減らすためにクロスモーダルな一貫性リフレクションメカニズムを使用する。著者らはまた、Rednote、Bilibili、Hupuから構築されたベンチマークであるTailorBenchを導入し、一貫性、新規性、美的品質、ハルシネーション、プロファイリングに関して評価を行っている。
新規性
本研究の特徴は、推薦と生成を別の問題として扱うのではなく、協調的な嗜好モデリングとマルチモーダル生成を明示的に結びつけた点にある。また、ランキング誤差により駆動されるテキスト勾配プロファイルの改善を導入し、ユーザーの嗜好に合ったコンテンツ合成のために、検索ベースのスタイルグラウンディングとクロスモーダルなリフレクションを組み合わせている。
成果
Rednote、Hupu、Bilibili全体において、TailorMindは比較対象の生成ベースラインと同等以上の高い一貫性を達成しつつ、新規性と美的スコアを向上させている。再ランキングベースのプロファイリング評価では、データセット全体で最高の再現率（Recall）を記録し、アブストラクトでは最大29%の再現率向上が強調されている。アブレーションおよび人間の手による評価により、検索グラウンディングと一貫性モジュールの貢献がさらに裏付けられており、いくつかの設定においてハルシネーション率は低いかゼロに留まっていることが報告されている。
論文の注目点
- TailorMindは、ハイパーグラフ協調フィルタリングと反復的なテキストプロファイル最適化を組み合わせることで、疎なマルチモーダル履歴から生成に使用可能なユーザープロファイルを導出する。
- 生成段階は、検索から得られたユーザー適合の模範例と、テキストと視覚の一貫性およびユーザー履歴との関連性を確認するリフレクションメカニズムによって制御される。
- 本論文はTailorBenchを導入し、TailorMindが複数のプラットフォームやコンテンツモダリティにわたり、ユーザーへの適合条件、新規性、および美的品質を総合的に向上させることを示している。