論文の概要: Text as Partial Constraint: Core-Residual Alignment for Robust Vision-Language Learning

• arxiv url: http://arxiv.org/abs/2607.03143v1
• Date: Fri, 03 Jul 2026 09:32:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-07 22:26:29.532063
• Title: Text as Partial Constraint: Core-Residual Alignment for Robust Vision-Language Learning
• Title（参考訳）: 部分制約としてのテキスト:ロバストな視覚言語学習のためのコア残差アライメント
• Abstract要約: 視覚言語アライメントは、オープンボキャブラリ認識、検索、LVLMグラウンド化に有効であるが、自然なキャプションはしばしば不特定である。 マルチビューキャプションを不完全な監視として扱うコア・残差アライメントフレームワークである部分制約としてテキストを提案する。 ゼロショット認識と対向ロバスト性により、TPCはImageNetで81.42/64.05、Avg-14転送スイートで76.19/52.03のクリーン/ローバスト精度を達成した。
• 参考スコア（独自算出の注目度）: 9.515040235138084
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Vision-language alignment powers open-vocabulary recognition, retrieval, and LVLM grounding, yet natural captions are often underspecified, making similarity brittle and overly confident under paraphrase and omitted details. We aim to learn representations whose matching is stable across caption views and whose confidence reflects how strongly text constrains an image. We propose Text as Partial Constraint (TPC), a core-residual alignment framework that treats multi-view captions as incomplete supervision. It distills a consensus semantic core as the alignment target, learns a single-view core predictor for standard inference with one query, and explicitly discourages vision-language similarity from depending on the orthogonal unsaid residual. An uncertainty-aware contrastive objective further softens alignment when caption views disagree, reducing overconfident updates under weak language constraints. Across zero-shot recognition and adversarial robustness, TPC achieves 81.42/64.05 Top-1 clean/robust accuracy on ImageNet and 76.19/52.03 on an Avg-14 transfer suite, while improving LVLM transfer with 85.16 POPE F1 and 59.57 OKVQA accuracy under an LLaVA-1.5-7B stack. These results suggest that modeling text as a partial constraint is a practical and principled route to more reliable vision-language representations under underspecified language supervision.
• Abstract（参考訳）: 視覚言語アライメントは、オープンボキャブラリ認識、検索、LVLMグラウンド化に有効であるが、自然なキャプションはしばしば不明確であり、類似性は不安定であり、パラフレーズや省略された詳細の下で過度に自信を持つ。 本研究の目的は,キャプションビュー間でマッチングが安定な表現を学習し,画像の強い制約を反映する信頼度を学習することである。 マルチビューキャプションを不完全な監視として扱うコア・残差アライメントフレームワークであるText as partial Constraint (TPC)を提案する。 コンセンサス・セマンティック・コアをアライメント対象として蒸留し、1つのクエリで標準推論のための単一ビューコア予測器を学習し、直交しない残差に依存する視覚言語との類似性を明示的に回避する。 不確実性を認識した対照的な目的は、キャプションビューが一致しないときにさらにアライメントを和らげ、弱い言語制約下での過度な更新を減らす。 ゼロショット認識と対向ロバスト性全体で、TPCはImageNetで81.42/64.05、Avg-14転送スイートで76.19/52.03、LLaVA-1.5-7Bスタックで85.16 POPE F1と59.57 OKVQAでLVLM転送を改善した。 これらの結果から,テキストを部分的制約としてモデル化することは,不特定言語監督下でのより信頼性の高い視覚言語表現への実践的で原則的な経路であることが示唆された。

関連論文リスト

• Controllable Image Captioning with Prompt-Conditioned Scene Rewards [13.154350707762179]
  FoCUS(FoCUS)は、ユーザーが特定のセマンティック・エムフェイズに向けてキャプションを操作できる制御可能な画像キャプション方式である。 FoCUSは、一般的なキャプション性能を劣化させることなく、制御性ときめ細かいキャプション品質を一貫して改善する。
  論文  参考訳（メタデータ） (2026-09-01T04:36:23Z)
• Evading Visual Aphasia: Contrastive Adaptive Semantic Token Pruning for Vision-Language Models [52.78477729846771]
  本稿では,COAST(Contrastive Adaptive Semantic Token Pruning)について紹介する。 COASTはトークン予算をまたいだ強力なプルーニングベースラインを一貫して上回り、複数のLVLMファミリをまたいだ一般化を実現している。
  論文  参考訳（メタデータ） (2026-05-10T09:07:04Z)
• LAGO: Language-Guided Adaptive Object-Region Focus for Zero-Shot Visual-Text Alignment [11.785675631199455]
  細かい設定では、関連するエビデンスはしばしば、完全なイメージではなく、局所化された部分、属性、テクスチャに置かれる。 最近の局所的な視覚テキストアライメント手法は、クラス記述と複数の画像領域を比較してこの問題に対処している。 LAGOは、効率的なゼロショットローカライズされた視覚テキストアライメントのためのフレームワークである。
  論文  参考訳（メタデータ） (2026-05-04T09:07:00Z)
• InterPartAbility: Text-Guided Part Matching for Interpretable Person Re-Identification [15.419626926769595]
  TI-ReIDは、画像の大きなギャラリーからトップマッチした個人を検索するために、自然言語によるテキスト記述に依存している。 既存のTI-ReIDの解釈可能性アプローチは、参加する領域をハイライトするためにスロットアテンションのみに依存している。 本稿では,部分的マッチングを明示する解釈可能なTI-ReID法であるInterPartを紹介する。
  論文  参考訳（メタデータ） (2026-04-29T19:18:36Z)
• Enhancing CLIP Robustness via Cross-Modality Alignment [54.01929554563447]
  視覚言語モデルのための最適なトランスポートベースフレームワークであるクロスモダリティアライメントを提案する。 COLAは、グローバルな画像テキストアライメントと特徴空間における局所的な構造的一貫性を復元する。 COLAはトレーニングフリーで、既存の微調整モデルと互換性がある。
  論文  参考訳（メタデータ） (2025-10-28T03:47:44Z)
• Weakly-Supervised Image Forgery Localization via Vision-Language Collaborative Reasoning Framework [16.961220047066792]
  ViLaCoは視覚言語の共同推論フレームワークで、事前訓練された視覚言語モデルから抽出した補助的セマンティックインスペクションを導入する。 ViLaCoは既存のWSIFL法を大幅に上回り、検出精度とローカライゼーション精度の両方で最先端の性能を達成する。
  論文  参考訳（メタデータ） (2025-08-02T12:14:29Z)
• Collaborative Temporal Consistency Learning for Point-supervised Natural Language Video Localization [129.43937834515688]
  我々は,ビデオ言語アライメントを強化するために,新しいコラボラティブ・テンポラル・コンポジション・ラーニング(COTEL)フレームワークを提案する。 具体的には、まずフレームとセグメントレベルの時間一貫性学習(TCL)モジュールを設計し、フレームサリエンシと文-モーメントペア間のセマンティックアライメントをモデル化する。
  論文  参考訳（メタデータ） (2025-03-22T05:04:12Z)
• Contrastive Vision-Language Alignment Makes Efficient Instruction Learner [31.281236193979165]
  本研究では,大規模言語モデル(LLM)を視覚言語命令追従モデルに拡張する作業について検討する。 既存の方法では、視覚アダプタを訓練して、前訓練された視覚変換器(ViT)とLLMの間の表現を、生成的な画像キャプション損失によって整列させるのが一般的である。 比較的および生成的アライメントの目的を適用し, ViT と LLM の表現を効果的に整合させる CG-VLM を提案する。
  論文  参考訳（メタデータ） (2023-11-29T03:29:46Z)
• Rewrite Caption Semantics: Bridging Semantic Gaps for Language-Supervised Semantic Segmentation [100.81837601210597]
  本研究では,事前学習データにおける視覚的意味論とテキスト的意味論のギャップを埋めるための概念キュレーション(CoCu)を提案する。 CoCuは、最高にゼロショット転送性能を達成し、言語教師ありセグメンテーションベースラインを大きなマージンで大幅に向上させる。
  論文  参考訳（メタデータ） (2023-09-24T00:05:39Z)
• Weakly Supervised Vision-and-Language Pre-training with Relative Representations [76.63610760577214]
  弱教師付き視覚・言語事前学習は、事前学習のデータコストを効果的に削減することを示した。 現在の手法では、イメージのローカル記述(オブジェクトタグ)のみをクロスモーダルアンカーとして使用し、事前トレーニングのための弱い整列されたイメージテキストペアを構築する。
  論文  参考訳（メタデータ） (2023-05-24T18:10:24Z)
• Simple Token-Level Confidence Improves Caption Correctness [117.33497608933169]
  Token-Level Confidence(TLC)は、字幕の正確さを評価するシンプルな方法であるが、驚くほど効果的である。 画像キャプションに関する視覚言語モデルを微調整し、画像と提案されたキャプションをモデルに入力し、単語やシーケンスに対するトークンの信頼度を集計し、画像キャプションの一貫性を推定する。
  論文  参考訳（メタデータ） (2023-05-11T17:58:17Z)
• CyCLIP: Cyclic Contrastive Language-Image Pretraining [34.588147979731374]
  ペア画像テキストデータに対するコントラスト表現学習の最近の進歩は、ゼロショット分類と分布ロバスト性のための最先端性能を達成するCLIPのようなモデルにつながっている。 我々は、標準のコントラスト目的によって学習された画像とテキストの表現が交換不可能であり、不整合な下流予測につながることを実証した。 画像やテキスト空間で幾何学的に一貫した表現を明示的に最適化するコントラスト表現学習フレームワークであるCyCLIPを提案する。
  論文  参考訳（メタデータ） (2022-05-28T15:31:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。