論文の概要: Slow to See, Slow to Suppress: Understanding the Effects of Modality in Context-Memory Conflicts
- arxiv url: http://arxiv.org/abs/2609.00293v1
- Date: Mon, 31 Aug 2026 19:37:07 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-02 16:31:36.026105
- Title: Slow to See, Slow to Suppress: Understanding the Effects of Modality in Context-Memory Conflicts
- Title(参考訳): Slow to See, Suppress: コンテキスト記憶紛争におけるモダリティの影響を理解する
- Abstract要約: 視覚言語モデルがコンテキスト記憶の競合をどのように扱うかを検討する。
モデルは、テキストに現れるエンティティに関するコンテキスト内情報を好むが、画像に現れるエンティティに関するパラメトリック情報を好む。
- 参考スコア(独自算出の注目度): 16.43008975197273
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We investigate how vision-language models (VLMs) handle context-memory conflicts; that is, situations in which the model is given information in context that differs from what was stored parametrically during training. We document asymmetric biases: models tend to prefer in-context information about entities which appear in text, but prefer parametric information about entities which appear in images. We relate this asymmetry to the late representational alignment across modalities, showing that the longer processing time associated with resolving visual entities prevents the suppression of the model's usual factual recall mechanism, thus resulting in more parametric answers. Chain-of-thought reasoning does not appear to resolve the gap, but increasing the amount of visual information in the context does show an effect. These results illustrate the complexity of ensuring consistent behavior as models become increasingly multimodal and retrieval-augmented.
- Abstract(参考訳): 本稿では,視覚言語モデル(VLM)が文脈記憶の矛盾にどう対処するかを検討する。
モデルは、テキストに現れるエンティティについてコンテキスト内情報を好むが、画像に現れるエンティティに関するパラメトリック情報を好む。
我々は、この非対称性をモダリティ間の遅延表現アライメントに関連付け、視覚的エンティティの解決に伴う処理時間が長ければ長いほど、モデルの通常の事実的リコール機構の抑制が防止され、結果としてパラメトリックな回答がより多くなることを示す。
思考の連鎖推論はギャップを解決しないように見えるが、文脈における視覚情報の増加は効果を示す。
これらの結果は、モデルがますますマルチモーダル化され、検索が増大するにつれて、一貫した振る舞いを保証する複雑さを示している。
関連論文リスト
- Information Abundance Paradox: Long-Context Training Undermines Parametric Knowledge [72.54679781634037]
本研究では、コンテキストウィンドウがモデルの学習モードをどう形成し、パラメトリックな内部化と文脈化にシフトするかを検討する。
本稿では,情報パラドックス(Information Paradox)を提案する。このパラドックスは,学習コンテキストにおける豊富な関連情報が,その情報をパラメトリックに符号化するインセンティブを低下させる可能性があることを仮定する。
論文 参考訳(メタデータ) (2026-08-12T16:13:05Z) - The Illusion of Robustness: Aggregate Accuracy Hides Prediction Flips under Task-Irrelevant Context [76.36635039699112]
大規模言語モデル(LLM)は、タスク入力に長く、部分的には関係のないコンテキストが伴うような、コンテキストに富んだ環境にますますデプロイされる。
現状のモデルはしばしば、集合レベルでのタスク非関連コンテキストに対して頑健に見える。
しかし、この集合安定性は、指数当たりの不安定性を著しくマスクする。
論文 参考訳(メタデータ) (2026-07-14T17:01:12Z) - Analyzing Reasoning Consistency in Large Multimodal Models under Cross-Modal Conflicts [74.47786985522762]
テキスト慣性(textual inertia)と呼ばれる重要な障害モードを特定し、矛盾する視覚的証拠を無視しながら、モデルは間違ったテキストに盲目的に固執する傾向がある。
本稿では,多種多様なLMMの推論連鎖に摂動を構造的に注入するLogicGraph摂動プロトコルを提案する。
その結果,10%未満の症例で自己修正が成功し,主に視覚的テキスト誤りの伝播に寄与することが判明した。
論文 参考訳(メタデータ) (2026-01-07T16:39:34Z) - Mind-the-Glitch: Visual Correspondence for Detecting Inconsistencies in Subject-Driven Generation [120.23172120151821]
本稿では,事前学習した拡散モデルのバックボーンから視覚的特徴と意味的特徴を分離するための新しいアプローチを提案する。
注釈付きセマンティックと視覚対応を備えた画像ペアを構築する自動パイプラインを導入する。
被験者駆動画像生成における視覚的不整合を定量化する新しい指標であるビジュアルセマンティックマッチングを提案する。
論文 参考訳(メタデータ) (2025-09-26T07:11:55Z) - Counterfactual-Consistency Prompting for Relative Temporal Understanding in Large Language Models [24.586475741345616]
本稿では, 大規模言語モデル(LLM)における時間的不整合の問題に対処し, 新たな対実的プロンプト手法を提案する。
提案手法は, 対実的な質問を生成し, 集合的制約を強制し, モデルの一貫性を高める。
提案手法を複数のデータセット上で評価し、明示的で暗黙的なイベントのイベント順序付けと時間的コモンセンス理解の大幅な改善を実証した。
論文 参考訳(メタデータ) (2025-02-17T04:37:07Z) - Relation Rectification in Diffusion Model [64.84686527988809]
本稿では,最初に生成できない関係を正確に表現するためにモデルを洗練することを目的とした,リレーション・リクティフィケーション(Relation Rectification)と呼ばれる新しいタスクを紹介する。
異種グラフ畳み込みネットワーク(HGCN)を利用した革新的な解を提案する。
軽量HGCNは、テキストエンコーダによって生成されたテキスト埋め込みを調整し、埋め込み空間におけるテキスト関係の正確な反映を保証する。
論文 参考訳(メタデータ) (2024-03-29T15:54:36Z) - Cross-modal Contrastive Learning with Asymmetric Co-attention Network
for Video Moment Retrieval [0.17590081165362778]
ビデオモーメント検索は、ビデオとテキストの微妙な相互作用を必要とする課題である。
画像テキスト事前学習における最近の研究により、既存の事前学習モデルのほとんどは、視覚的シーケンスとテキストシーケンスの長さの違いにより、情報非対称性に悩まされていることが示されている。
我々は、空間情報と時間情報の両方を保存するのに補助的な必要性のあるビデオテキスト領域にも、同様の問題が存在しているかどうかを疑問視する。
論文 参考訳(メタデータ) (2023-12-12T17:00:46Z) - MTGER: Multi-view Temporal Graph Enhanced Temporal Reasoning over
Time-Involved Document [26.26604509399347]
MTGERは、時間に関連する文書に対する時間的推論のための新しいフレームワークである。
多視点時間グラフにより、事実間の時間的関係を明示的にモデル化する。
MTGERは質問の摂動下でより一貫した回答を与える。
論文 参考訳(メタデータ) (2023-11-08T16:41:37Z) - Sparse Relational Reasoning with Object-Centric Representations [78.83747601814669]
対象中心表現の操作において,リレーショナルニューラルアーキテクチャによって学習されたソフトルールの構成可能性について検討する。
特に特徴量の増加は,いくつかのモデルの性能を向上し,より単純な関係をもたらすことが判明した。
論文 参考訳(メタデータ) (2022-07-15T14:57:33Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。