論文の概要: Attention is Case-Sensitive

• arxiv url: http://arxiv.org/abs/2608.03711v1
• Date: Tue, 04 Aug 2026 14:16:06 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-05 15:30:23.23665
• Title: Attention is Case-Sensitive
• Title（参考訳）: 注意はケースセンシティブである
• Abstract要約: テキストのスパンに注意を集中させることが,小文字のコンテキストに対する交互・小文字のターゲット情報のフォーマット化に有効であることを示す。 調査の結果,中心的な注意・パフォーマンスのばらつきが明らかになった。 我々は,事前学習がタイポグラフィ強調をいかに内在させるかという,新たな基礎的理解を提供する。
• 参考スコア（独自算出の注目度）: 10.975426893343164
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In human visual perception, uppercase lettering serves as a natural salience cue that captures attention within lowercase text. In this paper, we present a systematic empirical characterization study revealing that Large Language Models (LLMs) exhibit an analogous property: letter casing modulates internal attention allocation. Through analysis across 13 models, nine LLMs and four Vision-Language Models (VLMs), with diverse tokenization schemes, we show that formatting target information in alternating or uppercase against a lowercase context concentrates attention on those textual spans. In text this effect is universal, holding across every evaluated non-reasoning model. We frame it as a previously under-explored latent property of pretrained transformers rather than a prescriptive method. Our investigation reveals a central attention-performance divergence: while this "casing effect" robustly shifts attention, its impact on downstream accuracy is non-trivial, increased concentration does not inherently improve task accuracy and, in high-entropy contexts like alternating case, can degrade it. We further identify a boundary condition: the deliberative "thinking" phase in reasoning models acts as a semantic buffer that mitigates typographic sensitivity in text. Extending the study to VLMs, we find the effect transfers partially: the same prompt-side casing reorganizes cross-modal attention along two coupled axes, predominantly a macroscopic disengagement from the image toward the text prompt, and secondarily a concentration of the residual visual attention on the target region. By isolating casing as a zero-shot mechanism for attention steering that requires no model access or fine-tuning, we provide a new foundational understanding of how pretraining internalizes typographic emphasis.
• Abstract（参考訳）: 人間の視覚的知覚において、上ケース文字は、下ケーステキスト内の注意を捉える自然なサリエンスキューとして機能する。 本稿では,Large Language Models (LLMs) が類似性を示すことを明らかにする。 13のモデル、9のLLMおよび4のVLM(Vision-Language Models)を多種多様なトークン化スキームを用いて解析することにより、下位ケースのコンテキストに対する交互または上ケースにおけるターゲット情報のフォーマット化が、それらのテキストスパンに注意を集中させることを示す。 テキストでは、この効果は普遍的であり、評価されたすべての非推論モデルにまたがる。 我々はこれを規範的手法ではなく、事前訓練された変換器の未探索潜時特性とみなす。 この「ケーシング効果」は注意を強くシフトさせるが、下流の精度への影響は非自明であり、集中度の増加はタスクの精度を本質的に改善しない。 推論モデルにおける熟考的「思考」フェーズは,テキストの感性を軽減するセマンティックバッファとして機能する。 同一のプロンプト側ケーシングは2つの結合軸に沿って、主に画像からテキストプロンプトへのマクロな展開、および第2にターゲット領域への残留的な視覚的注意の集中を再構成する。 モデルアクセスや微調整を必要としないアテンションステアリングのためのゼロショット機構としてケーシングを分離することにより,プレトレーニングがタイポグラフィ強調をいかに内在させるか,新たな基礎的理解を提供する。

関連論文リスト

• Towards Robustness against Typographic Attack with Training-free Concept Localization [42.575178574443946]
  Contrastive Language-Image Pretraining Model (CLIP)は、現代のLVLM(Large Vision Language Models)の基盤となるビジョンエンコーダとして機能する。 CLIPモデルには重要な障害モードがあり、画像内に現れる無関係なテキストは、真の視覚的意味論ではなく、語彙的な意味に偏っている。 この問題は、一般的にはTypographic Attack (TA)と呼ばれ、自律運転のような安全クリティカルなアプリケーションに重大なリスクをもたらす脆弱性を露呈する。 そこで本稿では,TAに対する解釈可能かつ効果的なロバスト性を実現するための,新しい学習自由な機械的解釈法を提案する。
  論文  参考訳（メタデータ） (2026-07-02T17:55:24Z)
• See Only When Needed: Context-Aware Attention Intervention for Mitigating Hallucinations in LVLMs [81.71384150441163]
  大規模視覚言語モデル(LVLM)のためのコンテキスト認識注意介入(CAI)を提案する。 CAIは必要なときのみ2軸選択によってシーズを強制する。 複数のLVLMバックボーンとベンチマークの実験は、CAIが最先端の幻覚緩和を達成することを示している。
  論文  参考訳（メタデータ） (2026-06-29T06:35:47Z)
• Diagnosing Visual Ignorance in Vision-Language Models [29.2851901986069]
  VLM(Vision-Language Models)は、しばしば言語先行に頼り、視覚的証拠に弱く根ざした自信ある答えを生み出す。 本研究では,機械的視点と行動的視点の両方から言語優先性について検討する。 言語優先の信頼性は、モデル内部とベンチマークの妥当性の両方に影響を及ぼす体系的なルーティング障害であることがわかった。
  論文  参考訳（メタデータ） (2026-06-05T04:16:01Z)
• Cognitive Pivot Points and Visual Anchoring: Unveiling and Rectifying Hallucinations in Multimodal Reasoning Models [65.57985131861399]
  幻覚は、しばしば高いエントロピー状態を示す認知的分岐点と強く相関している。 本稿では,視覚的に認識可能な推論機能の内部化を目的とした,軽量で総合的なトレーニングパラダイムであるV-STARを提案する。
  論文  参考訳（メタデータ） (2026-04-11T13:59:05Z)
• Complementary Text-Guided Attention for Zero-Shot Adversarial Robustness [57.104158692005775]
  ゼロショットロバストネス(TGA-ZSR)のためのテキストガイド型アテンションを提案する。 我々のゴールは、CLIPモデルの一般化を維持し、敵の堅牢性を高めることである。 この制限を克服するために、補完的テキストガイド注意(Complementary Text-Guided Attention, Comp-TGA)と呼ばれる新しいアプローチを提案する。
  論文  参考訳（メタデータ） (2026-03-19T08:11:46Z)
• Constrained Prompt Enhancement for Improving Zero-Shot Generalization of Vision-Language Models [57.357091028792325]
  ウェブスケールのデータに基づいて事前訓練された視覚言語モデル(VLM)は、ゼロショットの一般化を約束するが、しばしば意味的ミスアライメントに悩まされる。 視覚・テクストアライメントを改善するために,制約付きプロンプトエンハンスメント(CPE)法を提案する。 提案手法はTGSSG(Topology-Guided Synonymous Semantic Generation)とCADRS(Calegory-Agnostic Discriminative Region Selection)の2つの重要なコンポーネントから構成される。
  論文  参考訳（メタデータ） (2025-08-24T15:45:22Z)
• Mitigating Hallucination in Large Vision-Language Models through Aligning Attention Distribution to Information Flow [9.561772135477883]
  LVLM(Large Vision-Language Models)は同じアーキテクチャに従っており、視覚情報は徐々に意味表現に統合される。 我々は,モデルの注意分布が意味表現に十分に重点を置いていないことを観察する。 このミスアライメントはモデルの視覚的理解能力を損なうものであり、幻覚に寄与する。
  論文  参考訳（メタデータ） (2025-05-20T12:10:13Z)
• Text-Guided Attention is All You Need for Zero-Shot Robustness in Vision-Language Models [64.67721492968941]
  ゼロショットロバストネス(TGA-ZSR)のためのテキストガイド型アテンションを提案する。 我々のゴールは、CLIPモデルの一般化を維持し、敵の堅牢性を高めることである。 本手法は,現在の最先端技術よりも9.58%の精度でゼロショット精度を向上する。
  論文  参考訳（メタデータ） (2024-10-29T07:15:09Z)
• Attention Flows: Analyzing and Comparing Attention Mechanisms in Language Models [5.866941279460248]
  注意に基づく言語モデルにおける微調整を理解するための視覚分析手法を提案する。 私たちの視覚化であるAttention Flowsは、Transformerベースの言語モデルにおいて、レイヤ内のクエリ、トレース、関心の比較をサポートするように設計されています。
  論文  参考訳（メタデータ） (2020-09-03T19:56:30Z)
• Salience Estimation with Multi-Attention Learning for Abstractive Text Summarization [86.45110800123216]
  テキスト要約のタスクでは、単語、フレーズ、文のサリエンス推定が重要な要素である。 本稿では,サラレンス推定のための2つの新しい注目学習要素を含むマルチアテンション学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2020-04-07T02:38:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。