論文の概要: DisCoCLIP: A Distributional Compositional Tensor Network Encoder for Vision-Language Understanding

• arxiv url: http://arxiv.org/abs/2509.21287v1
• Date: Thu, 25 Sep 2025 15:06:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-26 20:58:13.017722
• Title: DisCoCLIP: A Distributional Compositional Tensor Network Encoder for Vision-Language Understanding
• Title（参考訳）: DisCoCLIP:視覚言語理解のための分散構成テンソルネットワークエンコーダ
• Abstract要約: 本稿では,構文構造を符号化するマルチモーダルエンコーダであるDisCoCLIPを紹介する。 DisCoCLIPは動詞のセマンティクスや単語の順序に対する感度を著しく改善する。 その結果、テンソルネットワークによる明示的な言語構造の埋め込みは、解釈可能なパラメータ効率の表現をもたらすことが示された。
• 参考スコア（独自算出の注目度）: 0.1436722658125468
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Recent vision-language models excel at large-scale image-text alignment but often neglect the compositional structure of language, leading to failures on tasks that hinge on word order and predicate-argument structure. We introduce DisCoCLIP, a multimodal encoder that combines a frozen CLIP vision transformer with a novel tensor network text encoder that explicitly encodes syntactic structure. Sentences are parsed with a Combinatory Categorial Grammar parser to yield distributional word tensors whose contractions mirror the sentence's grammatical derivation. To keep the model efficient, high-order tensors are factorized with tensor decompositions, reducing parameter count from tens of millions to under one million. Trained end-to-end with a self-supervised contrastive loss, DisCoCLIP markedly improves sensitivity to verb semantics and word order: it raises CLIP's SVO-Probes verb accuracy from 77.6% to 82.4%, boosts ARO attribution and relation scores by over 9% and 4%, and achieves 93.7% on a newly introduced SVO-Swap benchmark. These results demonstrate that embedding explicit linguistic structure via tensor networks yields interpretable, parameter-efficient representations that substantially improve compositional reasoning in vision-language tasks.
• Abstract（参考訳）: 最近の視覚言語モデルは、大規模な画像テキストアライメントにおいて優れているが、言語の構成構造を無視することが多いため、単語順序と述語句構造にヒンジするタスクに失敗する。 本稿では,凍結したCLIPビジョン変換器と,構文構造を明示的にエンコードするテンソルネットワークテキストエンコーダを組み合わせたマルチモーダルエンコーダであるDisCoCLIPを紹介する。 文は Combinatory Categorial Grammarパーサーで解析され、文の文法的導出を反映した分散語テンソルが生成される。 モデルを効率的に保つために、高次テンソルはテンソル分解によって分解され、パラメータ数を数千万から100万以下に削減する。 DisCoCLIPは、言語意味論と単語順序に対する感度を大幅に改善し、CLIPのSVO-Probes動詞の精度を77.6%から82.4%に引き上げ、ARO属性と関係スコアを9%以上と4%以上押し上げ、新たに導入されたSVO-Swapベンチマークで93.7%を達成する。 これらの結果は、テンソルネットワークを介して明示的な言語構造を埋め込むことで、視覚言語タスクにおける構成的推論を大幅に改善する、解釈可能なパラメータ効率の表現が得られることを示している。

関連論文リスト

• Structured-Condensed Prompt Tuning in Vision-Language Models for Fine-grained Image Recognition [38.294322671641545]
  微粒な画像認識は、手動のアノテーションに必要な相当な専門知識と努力のために重要な課題である。 現在のメソッドでは、クラスラベルを独立した独立したエンティティとして扱い、それらの間のリッチなセマンティックな関係を見渡しています。 本稿では,素早い学習における意味的構造モデリングの強化を目的としたSCPT(Structured-Condensed Prompt Tuning)を提案する。
  論文  参考訳（メタデータ） (2026-07-07T12:09:49Z)
• Weave of Formal Thought [51.56484100374058]
  WoFT(Weave of Formal Thought)は、厳密な構文的検証と学習された構造的表現を結合したパラダイムである。 本稿では,非終端文法記号を直接生成にインターリーブするために,言語モデルを訓練する潜時可変微調整法を提案する。 Pythonでは、RWS目的のStarCoder2-3Bを微調整することで、テキストのみのSFTベースラインと比較して、トーケン毎のクロスエントロピーが14.3%削減される。
  論文  参考訳（メタデータ） (2026-06-24T15:58:11Z)
• Grammatically-Guided Sparse Attention for Efficient and Interpretable Transformers [0.0]
  文法的にガイドされたスパース注意は、トークンの文法的役割に基づいた注意計算を制約する。 2つのマスキング戦略を提案し評価した。 予備実験の結果,ハードマスクは0.8200,ソフトマスクは0.8165であった。
  論文  参考訳（メタデータ） (2026-05-23T11:11:19Z)
• ADE: Adaptive Dictionary Embeddings -- Scaling Multi-Anchor Representations to Large Language Models [0.0]
  本稿では,複数の単語表現を大規模言語モデルに拡張するフレームワークであるAdaptive Dictionary Embeddings (ADE)を紹介する。 ADEは,(1)高コストな2段階アンカールックアップを単一の効率的な操作に変換する語彙投影(VP),(2)新しい位置符号化方式であるグループ位置行列(GPE),(3)文脈対応アンカー再重み付けの3つの重要な貢献をしている。 ADE on AG News and DBpedia-14 text classification benchmarks。
  論文  参考訳（メタデータ） (2026-04-27T19:29:33Z)
• SSVP: Synergistic Semantic-Visual Prompting for Industrial Zero-Shot Anomaly Detection [55.54007781679915]
  本稿では,多種多様な視覚的エンコーディングを効率よく融合させ,モデルの微粒化知覚を高めるSynergistic Semantic-Visual Prompting (SSVP)を提案する。 SSVPは、MVTec-AD上で93.0%のImage-AUROCと92.2%のPixel-AUROCで最先端のパフォーマンスを達成し、既存のゼロショットアプローチを著しく上回っている。
  論文  参考訳（メタデータ） (2026-01-14T04:42:19Z)
• Understanding Hardness of Vision-Language Compositionality from A Token-level Causal Lens [12.946160260124378]
  対照的な言語-イメージ 事前学習は強力なクロスモーダルな一般化をもたらす。 オブジェクト、属性、関係性に対する構成的推論では、永続的に失敗する。 完全モーダル不変アライメントを実現する擬似最適テキストエンコーダの存在を示す。
  論文  参考訳（メタデータ） (2025-10-30T09:41:21Z)
• SASST: Leveraging Syntax-Aware Chunking and LLMs for Simultaneous Speech Translation [16.85064064077492]
  本研究は,依存関係を解析することにより,入力ストリームを意味的に完全な単位に分割する文法に基づくチャンキング戦略を提案する。 SASST(Syntax-Aware Simultaneous Speech Translation)は,凍結したWhisperエンコーダとデコーダのみのLLMを統合したエンドツーエンドのフレームワークである。
  論文  参考訳（メタデータ） (2025-08-11T09:13:35Z)
• Learn "No" to Say "Yes" Better: Improving Vision-Language Models via Negations [43.484570564890866]
  既存の視覚言語モデル(VLM)は、テキスト記述を単位として扱い、個々の概念をプロンプトで混乱させる。 CC-Negは,228,246のイメージ,真のキャプション,それに対応する否定的なキャプションを含むデータセットである。 提案するCoN-CLIPフレームワークであるCLIPの対照的な損失に対する修正とともにCC-Negを用いることで,否定の理解が向上した。
  論文  参考訳（メタデータ） (2024-03-29T17:33:42Z)
• Unsupervised Chunking with Hierarchical RNN [62.15060807493364]
  本稿では,非階層的手法で単語をグループ化する構文的タスクであるチャンキングに対する教師なしアプローチを紹介する。 本稿では,単語-チャンク・チャンク-文合成をモデル化した2層階層型階層型リカレントニューラルネットワーク(HRNN)を提案する。 CoNLL-2000データセットの実験では、既存の教師なし手法よりも顕著な改善が見られ、フレーズF1スコアが最大6ポイント向上した。
  論文  参考訳（メタデータ） (2023-09-10T02:55:12Z)
• TagCLIP: Improving Discrimination Ability of Open-Vocabulary Semantic Segmentation [53.974228542090046]
  対照的に、CLIP(Contrastive Language- Image Pre-Training)は、最近、ピクセルレベルのゼロショット学習タスクにおいて大きな可能性を示している。 CLIPのテキストとパッチの埋め込みを利用してセマンティックマスクを生成する既存のアプローチは、しばしば目に見えないクラスから入力ピクセルを誤識別する。 この問題に対処するためにTagCLIP(Trusty-aware guideed CLIP)を提案する。
  論文  参考訳（メタデータ） (2023-04-15T12:52:23Z)
• Inducing Transformer's Compositional Generalization Ability via Auxiliary Sequence Prediction Tasks [86.10875837475783]
  体系的な構成性は人間の言語において必須のメカニズムであり、既知の部品の組換えによって新しい表現を作り出すことができる。 既存のニューラルモデルには、記号構造を学習する基本的な能力がないことが示されている。 本稿では,関数の進行と引数のセマンティクスを追跡する2つの補助シーケンス予測タスクを提案する。
  論文  参考訳（メタデータ） (2021-09-30T16:41:19Z)
• Span Pointer Networks for Non-Autoregressive Task-Oriented Semantic Parsing [55.97957664897004]
  seq2seq、非自動回帰的、タスク指向を構築するための効果的なレシピは、3つのステップで発話とセマンティックフレームをマッピングする。 これらのモデルは通常、長さ予測によってボトルネックとなる。 本研究では,デコードタスクをテキスト生成からスパン予測へシフトさせる非自己回帰手法を提案する。
  論文  参考訳（メタデータ） (2021-04-15T07:02:35Z)
• ACDC: Weight Sharing in Atom-Coefficient Decomposed Convolution [57.635467829558664]
  我々は,CNNにおいて,畳み込みカーネル間の構造正則化を導入する。 我々はCNNがパラメータや計算量を劇的に減らして性能を維持していることを示す。
  論文  参考訳（メタデータ） (2020-09-04T20:41:47Z)
• Multidirectional Associative Optimization of Function-Specific Word Representations [86.87082468226387]
  本稿では,関係する単語群間の関連を学習するためのニューラルネットワークフレームワークを提案する。 我々のモデルは結合関数固有の単語ベクトル空間を誘導し、例えば可塑性SVO合成のベクトルが近接して配置される。 このモデルは、共同空間においても単語群のメンバーシップに関する情報を保持し、SVO構造を前提とした複数のタスクに効果的に適用することができる。
  論文  参考訳（メタデータ） (2020-05-11T17:07:20Z)
• Discontinuous Constituent Parsing with Pointer Networks [0.34376560669160383]
  不連続な構成木は、ドイツ語のような言語の文法的な現象を表現するのに不可欠である。 係り受け解析の最近の進歩は、ポインタネットワークが文中の単語間の構文関係を効率的に解析することに優れていることを示している。 本稿では,最も正確な不連続な構成表現を生成するニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2020-02-05T15:12:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。