論文の概要: Telling Is Not Seeing: Textual Personas Rarely Make Vision-Language Models Answer Like the People They Describe
- arxiv url: http://arxiv.org/abs/2610.39331v1
- Date: Thu, 29 Oct 2026 04:26:29 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-11-01 01:32:10.039367
- Title: Telling Is Not Seeing: Textual Personas Rarely Make Vision-Language Models Answer Like the People They Describe
- Title(参考訳): テキスト・パーソナリティがビジュアル・ランゲージ・モデルに疑問を投げかける
- Abstract要約: 私たちは、ペルソナがモデルを作るかどうかを尋ねる。
視力の低い人や、色覚障害、聴覚障害のある人とのペルソナの回答を比較した。
ペルソナはこれらのルールを決して打ち負かさず、グループと個人間の実際の違いを消します。
- 参考スコア(独自算出の注目度): 4.20855562226787
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Vision-language models (VLMs) are increasingly prompted with personas, such as "You have low vision", to stand in for people in user studies. We ask whether a persona makes a model see like the person it describes. We compare persona answers with measured people with low vision, color blindness or hearing loss, and with simple rules that use only the facts the persona states. The persona never beats these rules, and it erases the real differences between groups and individuals. Describing blur leaves recognition unchanged in all 14 models we test, while blurring the photo lowers it as it does for people. Inside open models, the description changes neither the image information nor the answer probabilities. Yet the models know the effects they fail to show: they can estimate how blur and illusions affect people. Telling is not seeing: a persona makes a model say what it knows about people, not see what they see.
- Abstract(参考訳): 視覚言語モデル(VLM)は、ユーザスタディの人々のために、"低ビジョン"のようなペルソナによって、ますます引き起こされる。
私たちは、ペルソナがモデルを作るかどうかを尋ねる。
ペルソナの回答は、視力の低い人、色盲、聴覚障害のある人、そしてペルソナの状態のみを使用する単純なルールと比較する。
ペルソナはこれらのルールを決して打ち負かさず、グループと個人間の実際の違いを消します。
ぼやけた写真は14モデルすべてで認識が変わりませんが、写真がぼやけていると人によって認識が低下します。
オープンモデルでは、説明は画像情報も回答確率も変化しない。
しかし、モデルは、彼らが示さない効果を知っている:彼らは、ぼやけや錯覚が人々に与える影響を見積もることができる。
ペルソナは、人が何を見ているかではなく、人について知っていることをモデルに伝えます。
関連論文リスト
- ToMStories: Interpreting Theory-of-Mind in Synthetic Narratives [12.350800078736128]
理論・オブ・ミンド・ストーリー(英: Theory-of-Mind Stories)は、6000の短い合成された物語ヴィグネットの評価データセットである。
最大のモデルは、複数の選択肢で人間と一致するが、オープンエンドの質問ではない。
分析では、暗黙の心理状態の解釈と生成の両方においてモデルが単純化されることを指摘する。
論文 参考訳(メタデータ) (2026-10-15T20:38:58Z) - Hearing Like Humans? Sound Symbolism and Perceptual Alignment in Speech Language Models [42.615235483872844]
音声記号(英: Sound symbolism)とは、音声を丸さや鋭さなどの知覚的な性質にマッピングする人間の傾向であり、主にスペルではなく音声の音響から生じる。
本研究は、実際の人間の音声記録を用いて、その効果の聴覚、クロスモーダル、視覚的要素にまたがる人間のデータとモデル判断を比較して研究する。
音声言語モデルの聴覚判断は、人間の知覚と不一致であり、人間の直感を駆動するスペクトル傾きなどの音響的手がかりを見逃すことが判明した。
論文 参考訳(メタデータ) (2026-07-11T06:55:40Z) - Mechanisms of Prompt-Induced Hallucination in Vision-Language Models [58.991412160253276]
制御されたオブジェクトカウント設定において、プロンプトが画像中のオブジェクト数をオーバーステートする障害モードについて検討する。
刺激誘発幻覚 (PIH) を, 追加訓練を伴わずに40%以上減少させる小さなアテンションヘッドのセットを同定した。
本研究は, 刺激による幻覚を誘発する内的メカニズムについての知見を提示し, モデル特異的な行動の実施方法の違いを明らかにした。
論文 参考訳(メタデータ) (2026-01-08T18:23:03Z) - Surface Fairness, Deep Bias: A Comparative Study of Bias in Language Models [45.41676783204022]
大規模言語モデル(LLM)におけるバイアスの様々なプロキシ尺度について検討する。
MMLU (Multi-subject benchmark) を用いた人格評価モデルでは, スコアの無作為かつ大半がランダムな差が生じることがわかった。
LLMアシスタントメモリとパーソナライゼーションの最近の傾向により、これらの問題は異なる角度から開かれている。
論文 参考訳(メタデータ) (2025-06-12T08:47:40Z) - Do computer vision foundation models learn the low-level characteristics of the human visual system? [12.938875245555952]
DINOやOpenCLIPといったコンピュータビジョンファウンデーションモデルは、大規模な画像データセット上で自己監督的な方法で訓練される。
自然画像に基づいて訓練された基礎モデルが、人間の視覚システムの低レベル特性の一部を模倣しているかどうかという問題に対処する。
論文 参考訳(メタデータ) (2025-02-27T16:43:56Z) - The Art of Deception: Color Visual Illusions and Diffusion Models [55.830105086695]
近年の研究では、人工ニューラルネットワーク(ANN)が視覚錯覚によっても騙せることが示されている。
拡散モデルにおいて視覚錯覚がどのように符号化されているかを示す。
また,テキスト・ツー・イメージ拡散モデルを用いて,現実的な画像に新たな視覚錯覚を生成する方法を示す。
論文 参考訳(メタデータ) (2024-12-13T13:07:08Z) - Can We Talk Models Into Seeing the World Differently? [29.55195958914328]
視覚言語モデル(VLM)は、言語プロンプトを通じて視覚コンテンツにアクセスする直感的な方法を提供する。
我々は、特によく研究されている視覚のみの偏見(テクスチャ対形状偏見)と、グローバル情報に対する局所的な優位性)について検討する。
驚くべきことに、マルチモダリティだけで、モデルの振る舞いに重要な影響を与えることが証明されます。
論文 参考訳(メタデータ) (2024-03-14T09:07:14Z) - Q-Instruct: Improving Low-level Visual Abilities for Multi-modality
Foundation Models [81.20804369985376]
我々は,低レベルの視覚に対する多数の人間のフィードバックを収集する大規模主観的実験を行う。
構築された**Q-Pathway**データセットには、18,973イメージに関する58万の詳細な人間のフィードバックが含まれている。
我々は、GPT参加型変換を設計し、これらのフィードバックを多種多様な200K命令応答対に処理する。
論文 参考訳(メタデータ) (2023-11-12T09:10:51Z) - Chain of Hindsight Aligns Language Models with Feedback [62.68665658130472]
我々は,その極性に関係なく,任意の形式のフィードバックから学習し,最適化が容易な新しい手法であるChain of Hindsightを提案する。
我々は、あらゆる種類のフィードバックを文のシーケンスに変換し、それをモデルを微調整するために使用する。
そうすることで、モデルはフィードバックに基づいて出力を生成するように訓練され、負の属性やエラーを特定し修正する。
論文 参考訳(メタデータ) (2023-02-06T10:28:16Z) - Localization vs. Semantics: Visual Representations in Unimodal and
Multimodal Models [57.08925810659545]
既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。
我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。
我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
論文 参考訳(メタデータ) (2022-12-01T05:00:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。