論文の概要: Revealing the Impact of Visual Text Style on Attribute-based Descriptions Produced by Large Visual Language Models
- arxiv url: http://arxiv.org/abs/2604.27553v1
- Date: Thu, 30 Apr 2026 08:01:45 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-01 16:31:53.98191
- Title: Revealing the Impact of Visual Text Style on Attribute-based Descriptions Produced by Large Visual Language Models
- Title（参考訳）: 大規模視覚言語モデルによる属性に基づく記述に対する視覚テキストスタイルの影響について
- Authors: Xiaomeng Wang, Martha Larson, Zhengyu Zhao,
- Abstract要約: 単語が読まれると、その意味は、その単語が書かれたり、描画されたりした様式とは無関係である。
機能的テキストスタイル(可読性指向,黒サンセリフなど)と装飾的スタイル(カラーカーシブ/スクリプトなど)がLVLM(Large Visual Language Model)の記述にどのように影響するかを検討する。
- 参考スコア（独自算出の注目度）: 6.307108363522051
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: When the visual style of text is considered, a wide variety can be observed in font, color, and size. However, when a word is read, its meaning is independent of the style in which it has been written or rendered. In this paper, we investigate whether, and how, the style in which a word is visualized in an image impacts the description that a Large Visual Language Model (LVLM) provides for the concept to which that word refers. Specifically, we investigate how functional text styles (readability-oriented, e.g., black sans-serif) versus decorative styles (display-oriented, e.g., colored cursive/script) affect LVLMs' descriptions of a concept in terms of the attributes of that concept. Our experiments study the situation in which the LVLM is able to correctly identify the concept referred to by a visual text, i.e., by a word or words rendered as an image, and in which the visual text style should not influence the attribute-based description that the LVLM produces. Our experimental results reveal that even when the concept is correctly identified, text style influences the model's attribute-based descriptions of the concept. Our findings demonstrate non-trivial style leakage from text style into semantic inference and motivate style-aware evaluation and mitigation for LVLM-based multimedia systems.
- Abstract（参考訳）: テキストの視覚的スタイルを考えると、フォント、色、サイズに幅広いバリエーションが見られる。
しかし、ある単語が読まれると、その意味は、その単語が書かれたり、描画されたりした様式とは無関係である。
本稿では,画像中の単語を視覚化するスタイルが,LVLM(Large Visual Language Model)が参照する概念に与える記述に影響を及ぼすかどうか,その方法を検討する。
具体的には、機能的テキストスタイル(可読性指向、eg、黒サンセリフ)と装飾的スタイル(表示指向、eg、色付きカーシブ/スクリプト)が、その概念の属性の観点からLVLMの概念記述にどのように影響するかを検討する。
実験では,LVLMが視覚的テキスト,すなわち画像として表現された単語や単語によって参照される概念を正しく識別し,視覚的テキストスタイルがLVLMが生成する属性に基づく記述に影響を与えない状況について検討した。
実験結果から,概念が正しく識別された場合でも,テキストスタイルがモデルの属性に基づく概念記述に影響を与えることが明らかとなった。
本研究は,LVLMに基づくマルチメディアシステムにおいて,テキストスタイルから意味推論への非自明なスタイルの漏洩と,スタイル認識の評価と緩和を動機付けていることを示す。
関連論文リスト
- Beyond Accuracy: Metrics that Uncover What Makes a 'Good' Visual Descriptor [4.76296755805531]
デクリプタは視覚モデル(VLM)を用いた視覚概念の発見と画像分類に使用される
我々は,(1)表現能力,(2)VLM事前学習データとの関係の2つの重要な側面に沿って,記述子の品質を体系的に解析する。
表現アライメントと言語理解のアイデアに触発されて,2つのアライメントベースのメトリクス – グローバルアライメントとCLIP類似性 – を導入する。
論文 参考訳（メタデータ） (2025-07-04T12:50:04Z) - Does VLM Classification Benefit from LLM Description Semantics? [26.743684911323857]
そこで本研究では,クラス名認識効果とは無関係に機能する識別記述を学習不要に選択する手法を提案する。
提案手法では,ローカルなCLIPラベル近傍のクラスを効果的に区別する記述を同定し,分類精度を7つのデータセットで向上する。
論文 参考訳（メタデータ） (2024-12-16T16:01:18Z) - Beyond Color and Lines: Zero-Shot Style-Specific Image Variations with Coordinated Semantics [3.9717825324709413]
スタイルは、主に色、ブラシストローク、照明といった芸術的要素の観点から検討されてきた。
本研究では,コーディネート・セマンティクスを用いた画像変化のためのゼロショット・スキームを提案する。
論文 参考訳（メタデータ） (2024-10-24T08:34:57Z) - DeViL: Decoding Vision features into Language [53.88202366696955]
ポストホックな説明法は、ディープニューラルネットワークの意思決定プロセスを抽象化するためにしばしば批判されてきた。
この研究では、ビジョンバックボーンの異なるレイヤが学んだことについて、自然言語で記述したいと考えています。
我々は、トランスフォーマーネットワークをトレーニングし、任意の視覚層の個々の画像特徴を、分離した既製の言語モデルが自然言語に復号するプロンプトに変換する。
論文 参考訳（メタデータ） (2023-09-04T13:59:55Z) - Leverage Points in Modality Shifts: Comparing Language-only and
Multimodal Word Representations [0.8594140167290097]
マルチモーダル埋め込みは、テキストのみのモデルと比較して、言語の神経表現における意味情報を豊かにすることを目的としている。
本稿では,3つの視覚・言語モデルと3つのテキストのみモデルからの単語埋め込みと,静的・文脈的表現との比較を行った。
これは、46のセマンティックパラメータを含む言語表現に対する視覚的接地の効果に関する最初の大規模研究である。
論文 参考訳（メタデータ） (2023-06-04T12:53:12Z) - ALADIN-NST: Self-supervised disentangled representation learning of
artistic style through Neural Style Transfer [60.6863849241972]
我々は、画像に描かれた意味的内容から、より強く絡み合った視覚芸術スタイルの表現を学習する。
スタイルと内容の絡み合いに強く対処することで、スタイル固有のメトリクスが大きく向上することを示します。
論文 参考訳（メタデータ） (2023-04-12T10:33:18Z) - StylerDALLE: Language-Guided Style Transfer Using a Vector-Quantized
Tokenizer of a Large-Scale Generative Model [64.26721402514957]
本論文では,自然言語を用いて抽象芸術スタイルを記述するスタイル転送手法であるStylerDALLEを提案する。
具体的には、非自己回帰的なトークンシーケンス変換として、言語誘導型転送タスクを定式化する。
スタイル情報を組み込むために,CLIPに基づく言語指導による強化学習戦略を提案する。
論文 参考訳（メタデータ） (2023-03-16T12:44:44Z) - Style-Aware Contrastive Learning for Multi-Style Image Captioning [36.1319565907582]
我々は、スタイルに関連のある潜在的な視覚コンテンツをマイニングするために、コントラスト学習を備えたスタイル認識型ビジュアルエンコーダを提案する。
また、画像、スタイル、キャプションが一致したかどうかを識別するために、スタイル対応のコントラスト目標を提案する。
実験により,本手法が最先端性能を実現することを示す。
論文 参考訳（メタデータ） (2023-01-26T19:21:39Z) - Visually-augmented pretrained language models for NLP tasks without
images [77.74849855049523]
既存のソリューションはしばしば視覚的知識増強のために明示的なイメージに依存している。
我々は、新しいtextbfVisually-textbfAugmented fine-tuningアプローチを提案する。
我々のアプローチは、BERT、RoBERTa、BART、T5を異なるスケールで継続的に改善することができる。
論文 参考訳（メタデータ） (2022-12-15T16:13:25Z) - Visually-Augmented Language Modeling [137.36789885105642]
本稿では,言語モデリングのための関連画像を含むテキストトークンを視覚的に拡張する,VaLMという新しい事前学習フレームワークを提案する。
視覚的に拡張されたコンテキストでは、VaLMは視覚知識融合層を使用してマルチモーダル基底言語モデリングを可能にする。
視覚情報を必要とする多モーダル・コモンセンス推論タスクについて,提案モデルの評価を行った。
論文 参考訳（メタデータ） (2022-05-20T13:41:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。