論文の概要: Beyond Pixels: Visual Metaphor Transfer via Schema-Driven Agentic Reasoning

• arxiv url: http://arxiv.org/abs/2602.01335v1
• Date: Sun, 01 Feb 2026 17:01:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-03 19:28:33.720944
• Title: Beyond Pixels: Visual Metaphor Transfer via Schema-Driven Agentic Reasoning
• Title（参考訳）: Beyond Pixels: スキーマ駆動のエージェント推論によるビジュアルメタファー転送
• Authors: Yu Xu, Yuxin Zhang, Juan Cao, Lin Gao, Chunyu Wang, Oliver Deussen, Tong-Yee Lee, Fan Tang,
• Abstract要約: 視覚的メタファーは、抽象概念をインパクトのある視覚的レトリックに変換するために、クロスドメインなセマンティックフュージョンを用いて、人間の創造性の高階形式を構成する。 本稿では,参照画像から「創造的本質」を自律的に分離し,その抽象論理をユーザ特定対象に再物質化する,視覚メタファー伝達(VMT)の課題を紹介する。 提案手法は, メタファーの整合性, アナロジーの適切性, 視覚的創造性においてSOTAのベースラインを著しく上回り, 広告・メディアにおける高度にインパクトのある創造的アプリケーションを自動化するための道を開いた。
• 参考スコア（独自算出の注目度）: 56.24016465596292
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A visual metaphor constitutes a high-order form of human creativity, employing cross-domain semantic fusion to transform abstract concepts into impactful visual rhetoric. Despite the remarkable progress of generative AI, existing models remain largely confined to pixel-level instruction alignment and surface-level appearance preservation, failing to capture the underlying abstract logic necessary for genuine metaphorical generation. To bridge this gap, we introduce the task of Visual Metaphor Transfer (VMT), which challenges models to autonomously decouple the "creative essence" from a reference image and re-materialize that abstract logic onto a user-specified target subject. We propose a cognitive-inspired, multi-agent framework that operationalizes Conceptual Blending Theory (CBT) through a novel Schema Grammar ("G"). This structured representation decouples relational invariants from specific visual entities, providing a rigorous foundation for cross-domain logic re-instantiation. Our pipeline executes VMT through a collaborative system of specialized agents: a perception agent that distills the reference into a schema, a transfer agent that maintains generic space invariance to discover apt carriers, a generation agent for high-fidelity synthesis and a hierarchical diagnostic agent that mimics a professional critic, performing closed-loop backtracking to identify and rectify errors across abstract logic, component selection, and prompt encoding. Extensive experiments and human evaluations demonstrate that our method significantly outperforms SOTA baselines in metaphor consistency, analogy appropriateness, and visual creativity, paving the way for automated high-impact creative applications in advertising and media. Source code will be made publicly available.
• Abstract（参考訳）: 視覚的メタファーは、抽象概念をインパクトのある視覚的レトリックに変換するために、クロスドメインなセマンティックフュージョンを用いて、人間の創造性の高階形式を構成する。 生成AIの顕著な進歩にもかかわらず、既存のモデルは依然としてピクセルレベルの命令アライメントと表面レベルの外観保存に限られており、真の比喩生成に必要な抽象論理を捉えていない。 このギャップを埋めるために、視覚メタファー転送(VMT)のタスクを導入し、参照画像から「創造的本質」を自律的に分離し、その抽象論理をユーザ特定対象に再物質化するモデルに挑戦する。 本稿では,概念ブレンディング理論(Conceptual Blending Theory, CBT)を,新しいスキーマ文法(G)を通じて運用する,認知に着想を得たマルチエージェントフレームワークを提案する。 この構造化表現は、特定の視覚的実体から関係不変性を分離し、クロスドメイン論理の再確立のための厳密な基盤を提供する。 我々のパイプラインは, 参照をスキーマに蒸留する知覚エージェント, アプタキャリア発見のための一般的な空間不変性を維持する伝達エージェント, 高忠実性合成のための生成エージェント, プロの批評家を模倣した階層的診断エージェント, 抽象論理, コンポーネント選択, 即時エンコーディングにおけるエラーの特定と修正を行うクローズドループバックトラックを実行する。 大規模な実験と人的評価により,私たちの手法はメタファーの整合性,類推的適切性,視覚的創造性においてSOTAのベースラインを著しく上回り,広告・メディアにおける高度にインパクトのある創造的応用の道を開いた。 ソースコードは公開されます。

関連論文リスト

• Code-in-the-Loop Forensics: Agentic Tool Use for Image Forgery Detection [59.04089915447622]
  ForenAgentはインタラクティブなIFDフレームワークで、MLLMが検出対象に関するPythonベースの低レベルツールを自律的に生成、実行、洗練することができる。 人間の推論にインスパイアされた我々は、グローバルな認識、局所的な焦点、反復的探索、そして全体論的偏見を含む動的推論ループを設計する。 実験の結果,ForenAgent は IFD 課題に対する創発的なツール利用能力と反射的推論を示すことがわかった。
  論文  参考訳（メタデータ） (2025-12-18T08:38:44Z)
• Mind-the-Glitch: Visual Correspondence for Detecting Inconsistencies in Subject-Driven Generation [120.23172120151821]
  本稿では,事前学習した拡散モデルのバックボーンから視覚的特徴と意味的特徴を分離するための新しいアプローチを提案する。 注釈付きセマンティックと視覚対応を備えた画像ペアを構築する自動パイプラインを導入する。 被験者駆動画像生成における視覚的不整合を定量化する新しい指標であるビジュアルセマンティックマッチングを提案する。
  論文  参考訳（メタデータ） (2025-09-26T07:11:55Z)
• Thinking with Generated Images [30.28526622443551]
  我々は,大規模マルチモーダルモデル(LMM)が視覚的推論にどのように関与するかを変換する,新しいパラダイムであるThinking with Generated Imagesを紹介する。 我々のアプローチは、AIモデルが人間の創造的、分析的、戦略的思考を特徴づける視覚的想像力や反復的な洗練に関わり得ることを可能にする。
  論文  参考訳（メタデータ） (2025-05-28T16:12:45Z)
• From Data to Modeling: Fully Open-vocabulary Scene Graph Generation [29.42202665594218]
  OvSGTRは、完全にオープンなシーングラフ生成のためのトランスフォーマーベースのフレームワークである。 我々のアプローチは、事前に定義されたカテゴリを超えて、オブジェクト(ノード)とその相互関係(エッジ)を共同で予測する。
  論文  参考訳（メタデータ） (2025-05-26T15:11:23Z)
• Context-Aware Semantic Segmentation: Enhancing Pixel-Level Understanding with Large Language Models for Advanced Vision Applications [0.0]
  本稿では,Large Language Models (LLM) と最先端のビジョンバックボーンを統合する新しいコンテキスト認識セマンティックフレームワークを提案する。 視覚と言語の特徴を整合させるクロスアテンションメカニズムを導入し、モデルがコンテキストをより効果的に推論できるようにする。 この研究は視覚と言語の間のギャップを埋め、自律運転、医療画像、ロボット工学などの応用における、よりインテリジェントでコンテキスト対応の視覚システムへの道を開く。
  論文  参考訳（メタデータ） (2025-03-25T02:12:35Z)
• A Cognitive Paradigm Approach to Probe the Perception-Reasoning Interface in VLMs [3.2228025627337864]
  本稿では,視覚言語モデル(VLM)における知覚推論インタフェースを識別するための構造化評価フレームワークを提案する。 本稿では,人間の問題解決戦略を反映した3つの評価パラダイムを提案する。 このフレームワークを適用したCAは、リッチで独立に生成された記述を推論するために強力な言語モデルを活用し、新しい最先端(SOTA)パフォーマンスを実現することを実証する。
  論文  参考訳（メタデータ） (2025-01-23T12:42:42Z)
• Cantor: Inspiring Multimodal Chain-of-Thought of MLLM [83.6663322930814]
  視覚的コンテキスト獲得と論理的推論の集約は、視覚的推論タスクに取り組む上で重要であると我々は主張する。 我々はCantorと呼ばれる革新的なマルチモーダルCoTフレームワークを提案し、その特徴は知覚決定アーキテクチャである。 提案手法の有効性を実証し,マルチモーダルCoT性能の大幅な向上を示した。
  論文  参考訳（メタデータ） (2024-04-24T17:59:48Z)
• Emergence and Function of Abstract Representations in Self-Supervised Transformers [0.0]
  本研究では,部分的にマスキングされた視覚シーンを再構築するために訓練された小型トランスフォーマーの内部動作について検討する。 ネットワークは、データセットのすべての意味的特徴をエンコードする中間抽象表現(抽象表現)を開発する。 正確な操作実験を用いて、抽象化がネットワークの意思決定プロセスの中心であることを実証する。
  論文  参考訳（メタデータ） (2023-12-08T20:47:15Z)
• Visual Chain of Thought: Bridging Logical Gaps with Multimodal Infillings [61.04460792203266]
  本稿では, 逐次データ内の論理的ギャップを埋めるために, 視覚言語による接地を促進させる, チェーン・オブ・シントを利用する新しい手法であるVCoTを紹介する。 本手法は,下流タスクの論理的ギャップを低減するために,一貫した情報と新しい情報を加える合成マルチモーダル埋め込みを生成するために視覚誘導を用いる。
  論文  参考訳（メタデータ） (2023-05-03T17:58:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。