論文の概要: Language Guidance for Supervised Vision Training: An Empirical Study of Generalization

• arxiv url: http://arxiv.org/abs/2610.27208v1
• Date: Mon, 19 Oct 2026 19:43:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.484804
• Title: Language Guidance for Supervised Vision Training: An Empirical Study of Generalization
• Title（参考訳）: 教師付き視覚訓練のための言語指導--一般化の実証的研究
• Abstract要約: 本研究では,事前学習した言語モデルが視覚訓練の軽量補助的指導に役立てられるかどうかを考察する。 具体的には、Explicit Language Guidance (ExLG) と Implicit Language Guidance (ImLG) の2種類の言語ガイダンスを評価する。 分析の結果,この2つのメカニズムは相補的な強みを持つことが明らかとなった。
• 参考スコア（独自算出の注目度）: 31.80305304441948
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Deep neural networks have achieved remarkable success on vision benchmarks, yet they continue to struggle with many generalization challenges. Supervised vision training relies on one-hot labels, which provide limited information about semantic structure and shared attributes between classes. This limited supervision can leave visual representations vulnerable to distribution shifts, spurious correlations, texture bias, adversarial perturbations, and forgetting in sequential learning settings. We study whether pretrained language models can serve as lightweight auxiliary supervision for vision training without requiring paired image-text data, prompt engineering, or contrastive objectives. Specifically, we evaluate two forms of language guidance, Explicit Language Guidance (ExLG) and Implicit Language Guidance (ImLG). We conduct a comprehensive evaluation across six generalization regimes, including in-distribution, out-of-distribution generalization, shortcut and spurious correlation resistance, texture and shape bias, adversarial robustness, and continual learning. Our analyses show that the two mechanisms have complementary strengths, with explicit guidance consistently benefiting in-distribution, low-data performance, and continual learning retention, while implicit guidance is often more useful in shortcut-sensitive settings and under stronger adversarial perturbations. Importantly, both are lightweight and add minimal parameters and training overhead. The analyses characterize when language-derived structure helps supervised vision training and provides a practical roadmap for using off-the-shelf pretrained models from another modality as auxiliary supervision.
• Abstract（参考訳）: 深層ニューラルネットワークは、ビジョンベンチマークで驚くべき成功を収めてきたが、多くの一般化課題に苦戦し続けている。 教師付き視覚トレーニングは、クラス間のセマンティック構造と共有属性に関する限られた情報を提供するワンホットラベルに依存している。 この制限された監視は、分布シフト、刺激的な相関、テクスチャバイアス、対向的摂動、シーケンシャルな学習環境における忘れ忘れなど、視覚的な表現を脆弱にしておくことができる。 事前訓練された言語モデルが、ペア画像テキストデータ、プロンプトエンジニアリング、コントラスト目的を必要とせずに、視覚訓練のための軽量な補助的監視機能として機能するかどうかを検討する。 具体的には、Explicit Language Guidance (ExLG) と Implicit Language Guidance (ImLG) の2種類の言語ガイダンスを評価する。 我々は,分布内分布,分布外分布一般化,ショートカットとスパイラル相関抵抗,テクスチャと形状バイアス,対向ロバスト性,連続学習を含む6つの一般化体制を包括的に評価する。 分析の結果,2つのメカニズムは相補的な長所を持ち,非分配性,低データ性能,連続的学習保持に常に寄与するが,暗黙的指導は短距離感応的設定や強い対向的摂動下では有用であることが示唆された。 重要なのは、どちらも軽量で、最小限のパラメータとトレーニングオーバーヘッドを追加することだ。 この分析は、言語由来の構造が視覚訓練の指導に役立ったときの特徴であり、補助的な監督として、他のモダリティから既訓練の既訓練モデルを使用するための実践的なロードマップを提供する。

関連論文リスト

• See First, Answer Later: Visual Evidence Pre-Alignment via Sufficiency-Driven RL [19.682815357013453]
  マルチモーダル大言語モデル(MLLM)は、強力なテキスト推論を視覚入力と統合するが、その応答は基礎となる画像と矛盾する可能性がある。 質問条件付き視覚的エビデンス記述を最適化するために,前訓練と後訓練の中間段階である視覚的エビデンス事前調整(VEPA)を導入する。
  論文  参考訳（メタデータ） (2026-06-16T08:45:24Z)
• Enhancing Multimodal In-Context Learning via Inductive-Deductive Reasoning [65.15766304205657]
  In-context Learning (ICL) は、大規模なモデルをいくつかの例を使ってタスクに適応させるが、視覚言語モデル(VLM)への拡張は脆弱である。 我々の分析によると、基本的な限界は帰納的ギャップにあり、モデルはしばしば欠陥のある推論から正しい答えを導き出す。 帰納的帰納的プロセスとしてマルチモーダル ICL を再構成する枠組みを導入する。
  論文  参考訳（メタデータ） (2026-05-04T09:18:19Z)
• Revisiting Multi-Task Visual Representation Learning [52.93947931352643]
  本稿では,マルチタスク・ビジュアル事前学習フレームワークであるMTVを紹介する。 我々は、高容量の「エキスパート」モデルを利用して、高密度で構造化された擬似ラベルを大規模に合成する。 以上の結果から,MTV が "Best-of-both-worlds" のパフォーマンスを達成できることが示唆された。
  論文  参考訳（メタデータ） (2026-01-20T11:59:19Z)
• Quality Text, Robust Vision: The Role of Language in Enhancing Visual Robustness of Vision-Language Models [17.259725776748482]
  頑健な微調整のための既存の敵の訓練手法は、視覚的堅牢性を高める上での言語の役割を概ね見落としている。 本研究では,QT-AFT(Quality Text-guided Adversarial Fine-Tuning)を提案する。 QT-AFTは、16のゼロショットデータセットで評価された、最先端のゼロショット対向ロバスト性とクリーンな精度を達成する。
  論文  参考訳（メタデータ） (2025-07-22T06:13:30Z)
• Harmony: A Joint Self-Supervised and Weakly-Supervised Framework for Learning General Purpose Visual Representations [6.990891188823598]
  本稿では,視覚言語学習と差別的・生成的自己スーパービジョンを組み合わせたフレームワークであるHarmonyを紹介する。 本フレームワークは,自己教師型学習パスにおけるネガティブな例に頼らず,Webスクラッドデータに特化して動作するように設計されている。 様々な視覚的下流タスクにおけるハーモニーの評価を行い、ベースラインCLIPを著しく上回ります。
  論文  参考訳（メタデータ） (2024-05-23T07:18:08Z)
• Few-Shot Adversarial Prompt Learning on Vision-Language Models [62.50622628004134]
  知覚不能な逆境摂動に対するディープニューラルネットワークの脆弱性は、広く注目を集めている。 それまでの努力は、相手の視覚的特徴をテキストの監督と整合させることで、ゼロショットの敵の堅牢性を達成した。 本稿では、限られたデータで入力シーケンスを適応させることで、対向性を大幅に向上させる、数ショットの対向的プロンプトフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-03-21T18:28:43Z)
• Contrastive Instruction-Trajectory Learning for Vision-Language Navigation [66.16980504844233]
  視覚言語ナビゲーション(VLN)タスクでは、エージェントが自然言語の指示でターゲットに到達する必要がある。 先行研究は、命令-軌道対間の類似点と相違点を識別できず、サブ命令の時間的連続性を無視する。 本稿では、類似したデータサンプル間の分散と、異なるデータサンプル間の分散を探索し、ロバストなナビゲーションのための独特な表現を学習するContrastive Instruction-Trajectory Learningフレームワークを提案する。
  論文  参考訳（メタデータ） (2021-12-08T06:32:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。