論文の概要: (V)LMs generalize beyond surface co-occurrence: Evidence from cross-modal number agreement

• arxiv url: http://arxiv.org/abs/2609.00443v1
• Date: Mon, 31 Aug 2026 22:31:20 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-02 16:31:36.110265
• Title: (V)LMs generalize beyond surface co-occurrence: Evidence from cross-modal number agreement
• Title（参考訳）: (V)LMは表面共起を超越して一般化する:クロスモーダル数合意からの証拠
• Abstract要約: 両暴露条件にまたがるクロスモーダル一般化の非自明な証拠を見いだす。 これは、VLMのような統計的学習者が表面レベルの共起を超越して一般化できることを示唆している。
• 参考スコア（独自算出の注目度）: 7.633779107326251
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models learn about grammatical number primarily from co-occurrence, and show frequency effects as a result---sometimes taken to indicate that they do not learn abstract ``rules'', and are instead dependent on specific lexical items. Testing generalization with text stimuli alone cannot settle this debate, since distributional cues (is/are, this/these) easily give number away. We instead use cross-modal generalization as a tool to investigate abstractions in LMs that can also accept visual inputs (VLMs), restricting the evidence that diagnoses number to an extra-linguistic modality. We teach VLMs pairs of new nouns by adding new embeddings and only updating them during learning, comparing conditions where number is diagnosed by visual cues alone against ones where it is disambiguated by text. Across behavior, representational dynamics, and causal mechanisms, we find non-trivial evidence for cross-modal generalization across both exposure conditions, and that linguistic vs. extra-linguistic cue conditions are treated in similar ways in the internal mechanisms of the model. This suggests that statistical learners like VLMs can generalize beyond surface-level co-occurrence and show genuine abstraction-compatible behavior.
• Abstract（参考訳）: 言語モデルは、主に共起から文法数を学び、その結果として周波数効果を示す。 テキスト刺激だけで一般化をテストすることはこの議論に決着をつけることはできない。 代わりに、視覚入力(VLM)を受け入れることができるLMの抽象化を調査するためのツールとして、クロスモーダル一般化を用いて、数値を言語外モダリティに分類する証拠を制限する。 我々は、新しい埋め込みを追加し、学習中にのみ更新することで、VLMのペアに新しい名詞を教える。 振舞い,表現力学,因果的機構を通じて,両暴露条件をまたいだクロスモーダル一般化の非自明な証拠が得られ,言語的対外言語的キュー条件がモデルの内部機構において同様の方法で扱われることが判明した。 このことは、VLMのような統計的学習者が表面レベルの共起を超えて一般化し、真の抽象互換動作を示すことを示唆している。

関連論文リスト

• Convergent Emergence of In-Context Learning Across Modalities [35.460104283005926]
  人間のテキスト上での次世代の予測のために訓練された大規模言語モデルにおいて、ICL (Few-shot in-context Learning) が広く研究されている。 ICLは6つのモードにまたがって出現し、制御されたベースラインを超え、5つのモードでタスクごとの効果が相関していることを示す。
  論文  参考訳（メタデータ） (2026-09-12T15:55:30Z)
• Do Language Models Know What Not to Say? Causal Evidence for Statistical Preemption in LLMs [13.891522069967507]
  建設文法は統計的プリエンプション(英語版)を提案している: 従来の形式への露出は構造的に可能であるが、証明されていない代替手段を前提としている。 本稿では,大規模言語モデルにおいて,競合するエンレンチメント仮説から統計的プリエンプションを解離する計算手法を提案する。
  論文  参考訳（メタデータ） (2026-05-21T21:06:43Z)
• Language models struggle with compartmentalization [3.7098038388802252]
  大規模言語モデル (LLM) は, 統一概念の異なる表現間で, 統計的強度を識別し, 共有できないことを示す。 また、合成並列データが容易に学習されているにもかかわらず、これを改善できないことも示している。 検討したすべての介入は、その効果が異なるプレゼンテーションの数に依存する相転移を示す。
  論文  参考訳（メタデータ） (2026-05-19T03:02:46Z)
• Learning the Cue or Learning the Word? Analyzing Generalization in Metaphor Detection for Verbs [54.86138668387175]
  我々は、多くの最先端システムの共有バックボーンであるRoBERTaを用いてメタファ検出を解析し、英語の動詞に着目した。 本稿では,選択された目標レムマのすべてのインスタンスを微調整から厳格に除外する,制御された語彙ホールドアウト設定を導入し,これらのヘルドアウトレムマの露光レムマに対する予測を比較した。 モデルはExpposed lemmasで最高のパフォーマンスを発揮するが、Held-out lemmasでは堅牢なパフォーマンスを維持している。
  論文  参考訳（メタデータ） (2026-04-15T10:48:09Z)
• Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs [100.02824137397464]
  難易度が増大する入力に遭遇した場合,大規模言語モデルが内部表現をどのように適応するかを検討する。 タスクの難易度が増大するにつれて、LLMの最後の隠れ状態は実質的にスペーサーとなる。 この空間性-微分的関係は、様々なモデルや領域で観測可能である。
  論文  参考訳（メタデータ） (2026-03-03T18:48:15Z)
• On the Out-of-Distribution Generalization of Reasoning in Multimodal LLMs for Simple Visual Planning Tasks [56.98385132295952]
  簡単な計画課題において,チェーン・オブ・ソート・アプローチがいかに一般化するかを評価する。 複数のテキスト形式を組み合わせた推論トレースが、最高の(かつ非自明な)OOD一般化をもたらすことが分かりました。 純粋にテキストベースのモデルは、画像ベースの入力を利用するモデルよりも一貫して優れています。
  論文  参考訳（メタデータ） (2026-02-17T09:51:40Z)
• Exploring the Hidden Reasoning Process of Large Language Models by Misleading Them [5.4908640334628345]
  大規模言語モデル (LLM) とビジョン言語モデル (VLM) は様々な推論タスクを実行できる。 我々は,LLM/VLMが抽象的推論を行うかどうかを調べるために,新しい実験手法であるMisleading Fine-Tuning(MisFT)を提案する。
  論文  参考訳（メタデータ） (2025-03-20T17:54:42Z)
• Unified Lexical Representation for Interpretable Visual-Language Alignment [52.059812317944434]
  複雑な設計をせずに両方のモダリティを統一した語彙表現を学習するためのフレームワークであるLexVLAを紹介する。 我々はDINOv2をローカル言語の特徴の視覚モデルとして使用し、生成言語モデルであるLlamaをテキスト内語彙予測能力の活用に利用した。 これら2つの事前学習されたユニモーダルモデルが、控えめなマルチモーダルデータセットを微調整することで、適切に整列できることを実証する。
  論文  参考訳（メタデータ） (2024-07-25T07:35:27Z)
• On the Out-Of-Distribution Generalization of Multimodal Large Language Models [24.431960338495184]
  MLLM(Multimodal Large Language Models)の一般化境界について検討する。 我々は、合成画像、実世界の分布シフト、医療画像や分子画像などの特殊なデータセットにまたがるゼロショットの一般化を評価した。 テキスト内学習はMLLMの一般化を著しく向上させ,一般化障壁を克服するための新たな道を開くことができることを示す。
  論文  参考訳（メタデータ） (2024-02-09T18:21:51Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Anticipating the Unseen Discrepancy for Vision and Language Navigation [63.399180481818405]
  視覚言語ナビゲーションでは、エージェントは特定のターゲットに到達するために自然言語命令に従う必要がある。 目に見える環境と目に見えない環境の間に大きな違いがあるため、エージェントがうまく一般化することは困難である。 本研究では,テストタイムの視覚的整合性を促進することによって,未知の環境への一般化を学習する,未知の離散性予測ビジョンと言語ナビゲーション(DAVIS)を提案する。
  論文  参考訳（メタデータ） (2022-09-10T19:04:40Z)
• Does BERT really agree ? Fine-grained Analysis of Lexical Dependence on a Syntactic Task [70.29624135819884]
  目的の構文テンプレート上で,BERTが語彙非依存の主観値数アグリーメント(NA)を実行できる範囲について検討した。 名詞文では,単純なテンプレートに対してモデルがよく一般化されるが,1つのアトラクターが存在する場合,語彙非依存の構文一般化を行うことができないことが示唆された。
  論文  参考訳（メタデータ） (2022-04-14T11:33:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。