論文の概要: (How) Do MLLMs Report Bistable Images Like Humans?

• arxiv url: http://arxiv.org/abs/2609.13254v1
• Date: Sun, 06 Sep 2026 00:29:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-16 12:40:38.808848
• Title: (How) Do MLLMs Report Bistable Images Like Humans?
• Title（参考訳）: MLLMはどのようにして人間のようにバイスタブルなイメージを報告しているのか?
• Abstract要約: ボトムアップの視覚的手がかりとトップダウンの言語的先行性に偏りがあるかどうかを検討する。 我々は,カノニカルアヒル-ラビットと合成ビジュアルアナグラムの両方を用いてコンファウンドを緩和する試験を行った。 機械的には、これらの効果は競合するイメージ・トーケン表現、ボトムアップとトップダウンの変調のための異なる経路、排他的レポーティングとオブジェクトカウントエンコーディングのリンクから生じる。
• 参考スコア（独自算出の注目度）: 14.420031027811575
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Bistable images such as the duck-rabbit are classic stimuli in which one image supports multiple mutually incompatible interpretations, typically reported one at a time in humans. We ask whether multimodal large language models (MLLMs) show similar report behavior and what internal computations support it. Using the LLaVA family, we study two tractable dimensions: modulability, whether reports can be biased by bottom-up visual cues and top-down linguistic priors, and exclusivity, whether responses commit to a single interpretation. We test both on the canonical duck-rabbit and on synthetic Visual Anagrams to mitigate memorization confounds. Behaviorally, both visual and linguistic manipulations systematically shift reports in human-consistent ways, while responses remain predominantly exclusive. Mechanistically, these effects arise from competing image-token representations, distinct pathways for bottom-up and top-down modulation, and a link between exclusive reporting and object-count encoding. Code and data are available at https://github.com/rtakatsky/mllm-bistable-images.
• Abstract（参考訳）: アヒル・ラビットのようなビスタブルなイメージは古典的な刺激であり、1つのイメージが複数の相互に相容れない解釈をサポートし、通常は人間の中で1回に1回報告される。 我々は,マルチモーダル大規模言語モデル (MLLM) が同様のレポート動作を示し,内部計算がそれをサポートするのかを問う。 LLaVA ファミリーを用いて,レポートがボトムアップの視覚的手がかりやトップダウンの言語的先行性によってバイアスを受けることができるかどうか,応答が単一解釈にコミットするかどうか,という2つのトラクタブル次元について検討する。 我々は,標準アヒル・ラビットと合成ビジュアルアナグラムの両方を用いて,記憶障害を緩和する試験を行った。 行動学的には、視覚的操作と言語的操作の両方が、人間の一貫性のある方法で報告を体系的にシフトさせ、応答は主として排他的のままである。 機械的には、これらの効果は競合するイメージ・トーケン表現、ボトムアップとトップダウンの変調のための異なる経路、排他的レポーティングとオブジェクトカウントエンコーディングのリンクから生じる。 コードとデータはhttps://github.com/rtakatsky/mllm-bistable-imagesで公開されている。

関連論文リスト

• The Many Senses of Visual Similarity: A Text-Prompted Image Perceptual Metric [78.74729751232852]
  画像三重項に対する人間の類似性判定の大規模データセットを提案する。 視覚言語モデルを微調整して,テキストプロンプト画像の知覚的類似度測定値を生成する。 TPIPSは人間の知覚とより密接に一致し、トレーニング分布を超えて確実に一般化する。
  論文  参考訳（メタデータ） (2026-07-20T17:59:51Z)
• EmCom-Diffusion: Probing Visual Reflection in Emergent Languages via Image Generation [8.60846373423558]
  EmCom-Diffusionは視覚反射を直接測定する評価フレームワークである。 入力された各画像をその創発メッセージから再構成し、元の画像自体と比較する。
  論文  参考訳（メタデータ） (2026-07-04T07:54:45Z)
• Seeing Through Words, Speaking Through Pixels: Deep Representational Alignment Between Vision and Language Models [4.5497948012757865]
  両モデルタイプの中間層から後期層にアライメントピークが存在することが判明した。 画像キャプチャマッチの人間の好みは、すべての視覚言語モデルペアの埋め込み空間に反映される。
  論文  参考訳（メタデータ） (2025-09-25T05:16:28Z)
• Mitigating Multimodal Hallucinations via Gradient-based Self-Reflection [49.26064449816502]
  本研究では,テキスト・視覚バイアスと共起バイアスに対処するために,グラディエントベースのインフルエンス・アウェア制約付きデコーディング(GACD)手法を提案する。 GACDは幻覚を効果的に低減し、MLLM出力の視覚的接地を改善する。
  論文  参考訳（メタデータ） (2025-09-03T08:13:52Z)
• PostAlign: Multimodal Grounding as a Corrective Lens for MLLMs [23.69973859198496]
  MLLM(Multimodal Large Language Models)は、画像キャプションや視覚的質問応答などの視覚言語タスクに優れる。 主に、モデルが実際の視覚情報を活用するのを妨げている言語的先行性のために、急激な相関に対する過度な信頼に悩まされることが多い。 MMed-PostAlignは、視覚的理解能力を高め、MLLMの幻覚を軽減するために設計された、マルチモーダル後のアライメントフレームワークである。
  論文  参考訳（メタデータ） (2025-06-22T05:11:46Z)
• See or Guess: Counterfactually Regularized Image Captioning [32.82695612178604]
  本稿では、因果推論を利用して、既存のモデルを介入作業に役立てる汎用画像キャプションフレームワークを提案する。 本手法は幻覚を効果的に低減し,画像への忠実さを向上し,小型および大規模の画像・テキスト・モデル間で高い可搬性を示す。
  論文  参考訳（メタデータ） (2024-08-29T17:59:57Z)
• Evaluating Vision-Language Models on Bistable Images [34.492117496933915]
  本研究は,バイスタブル画像を用いた視覚言語モデルについて,これまでで最も広範に検討したものである。 私たちは手動で29枚のバイスタブル画像と関連するラベルを集め、明るさ、色調、回転で116種類の操作を行ないました。 以上の結果から,Idefics ファミリーと LLaVA1.5-13b のモデルを除いて,別の解釈が優先されていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-05-29T18:04:59Z)
• Identifying Interpretable Subspaces in Image Representations [54.821222487956355]
  コントラスト概念(FALCON)を用いて画像表現の特徴を説明する枠組みを提案する。 ターゲット機能として、FALCONは、大きなキャプションデータセットとCLIPのようなトレーニング済みの視覚言語モデルを使用して、高機能なトリミング画像をキャプションする。 キャプション内の各単語は、少数の共有された人間の理解可能な概念に導かれ、ランク付けされる。
  論文  参考訳（メタデータ） (2023-07-20T00:02:24Z)
• Exploring Anisotropy and Outliers in Multilingual Language Models for Cross-Lingual Semantic Sentence Similarity [64.18762301574954]
  これまでの研究によると、文脈言語モデルによって出力される表現は静的な型埋め込みよりも異方性が高い。 これは単言語モデルと多言語モデルの両方に当てはまるように思われるが、多言語コンテキストでの作業はあまり行われていない。 複数の事前訓練された多言語言語モデルにおける外乱次元とその異方性との関係について検討する。
  論文  参考訳（メタデータ） (2023-06-01T09:01:48Z)
• Caption Anything: Interactive Image Description with Diverse Multimodal Controls [14.628597750669275]
  制御可能な画像キャプションは、人間の目的に従って自然言語で画像を記述することを目的としている。 本稿では,画像キャプションの基盤モデルであるCaption AnyThingを紹介する。 Segment Anything Model (SAM) と ChatGPT によってパワーアップされた私たちは、視覚的および言語的プロンプトをモジュール化されたフレームワークに統合します。
  論文  参考訳（メタデータ） (2023-05-04T09:48:22Z)
• Learning to Exploit Temporal Structure for Biomedical Vision-Language Processing [53.89917396428747]
  視覚言語処理における自己教師あり学習は、画像とテキストのモダリティのセマンティックアライメントを利用する。 トレーニングと微調整の両方で利用できる場合、事前のイメージとレポートを明示的に説明します。 我々のアプローチはBioViL-Tと呼ばれ、テキストモデルと共同で訓練されたCNN-Transformerハイブリッドマルチイメージエンコーダを使用する。
  論文  参考訳（メタデータ） (2023-01-11T16:35:33Z)
• Universal Multimodal Representation for Language Understanding [110.98786673598015]
  本研究は,一般的なNLPタスクの補助信号として視覚情報を利用する新しい手法を提案する。 各文に対して、まず、既存の文-画像ペア上で抽出された軽トピック-画像検索テーブルから、フレキシブルな画像を検索する。 そして、テキストと画像はそれぞれトランスフォーマーエンコーダと畳み込みニューラルネットワークによって符号化される。
  論文  参考訳（メタデータ） (2023-01-09T13:54:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。