論文の概要: Language-Instructed Vision Embeddings for Controllable and Generalizable Perception

• arxiv url: http://arxiv.org/abs/2606.19584v1
• Date: Wed, 17 Jun 2026 20:39:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.527805
• Title: Language-Instructed Vision Embeddings for Controllable and Generalizable Perception
• Title（参考訳）: 可制御・一般化可能な知覚のための言語指示型視覚埋め込み
• Abstract要約: Language-Instructed Vision Embeddings (LIVE)は、タスク中心の埋め込みを生成するための高レベルのガイダンスとして言語を使用している。 LIVEは視覚幻覚を減らし、視覚的質問応答において桁違いに多くのパラメータを持つ視覚言語モデルを超えた。
• 参考スコア（独自算出の注目度）: 21.164230220588873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision foundation models are typically trained as static feature extractors, placing the burden of task adaptation onto large downstream models. We propose an alternative paradigm: instead of solely feeding visual features into language models, we use language itself to dynamically guide the vision encoder. Our method, Language-Instructed Vision Embeddings (LIVE), leverages language as high-level guidance to produce task-centric embeddings at inference time, removing the need for task-specific retraining. This enables the encoder to focus on contextually relevant aspects of the input, yielding more controllable and generalizable representations. Empirically, LIVE reduces visual hallucinations (+34 points on MMVP), surpasses vision-language models with orders of magnitude more parameters on visual question answering, and generalizes to unseen instructions and tasks -- offering a direct path toward adaptive, instruction-driven visual intelligence.
• Abstract（参考訳）: 視覚基礎モデルは、通常静的特徴抽出器として訓練され、大きな下流モデルにタスク適応の重荷を置く。 視覚的特徴を言語モデルにのみ供給するのではなく、言語自体を用いて視覚エンコーダを動的に誘導する。 我々の手法であるLIVE(Language-Instructed Vision Embeddings)は、言語を高レベルガイダンスとして活用し、推論時にタスク中心の埋め込みを生成し、タスク固有の再トレーニングの必要性を取り除く。 これにより、エンコーダは入力の文脈的に関連性のある側面に集中することができ、より制御可能で一般化可能な表現が得られる。 経験的に、LIVEは視覚幻覚(MMVPで+34ポイント)を減らし、視覚的質問応答において桁違いに多くのパラメータを持つ視覚言語モデルを超え、目に見えない指示やタスクに一般化する。

関連論文リスト

• Boosting Visual Instruction Tuning with Self-Supervised Guidance [25.75897924846719]
  マルチモーダル大言語モデル(MLLM)は多くの視覚中心のタスクでうまく機能するが、しばしば視覚中心の問題に悩まされる。 最近の証拠は、この制限は、指導訓練中に視覚情報の未利用から生じることを示唆している。 そこで本稿では,視覚的に基礎をおくタスクを少数用意し,視覚的指導を補助する,シンプルで軽量なアプローチを提案する。
  論文  参考訳（メタデータ） (2026-04-14T16:59:53Z)
• Steerable Visual Representations [72.39044430620977]
  我々は、グローバルでローカルな機能を自然言語で操れるステアブルなビジュアル表現を紹介した。 また,本手法は,異常検出とパーソナライズされた対象の識別に専用アプローチを適合させ,性能を向上する。
  論文  参考訳（メタデータ） (2026-04-02T17:59:49Z)
• Vega: Learning to Drive with Natural Language Instructions [93.49357278917223]
  本稿では,命令ベースの生成と計画のための統合型ビジョン・ランゲージ・ワールド・アクションモデルであるVegaを提案する。 視覚入力(ビジョン)と言語指示(言語)の処理には自己回帰パラダイムを使用し、将来の予測を生成するには拡散パラダイムを用いる。 提案手法は優れた計画性能を達成し,強い指示追従能力を示す。
  論文  参考訳（メタデータ） (2026-03-26T17:59:56Z)
• Visual Jigsaw Post-Training Improves MLLMs [58.29961336087896]
  大規模言語モデル(MLLM)における視覚的理解を強化するために設計された,汎用的な自己教師型ポストトレーニングフレームワークであるVisual Jigsawを紹介する。 視覚的な入力は分割され、シャッフルされ、モデルは自然言語で正しい置換を生成することで視覚情報を再構築する必要がある。 広範囲な実験により、微粒な知覚、時間的推論、空間的理解が大幅に改善された。
  論文  参考訳（メタデータ） (2025-09-29T17:59:57Z)
• Perceiving Beyond Language Priors: Enhancing Visual Comprehension and Attention in Multimodal Models [1.9253106218929117]
  MLLM(Multimodal Large Language Models)は、視覚的な入力を完全に活用できないことが多い。 われわれのアプローチはまず、MLLMが画像領域の視覚的理解をどのように構築するかについての洞察を与え、その能力を増幅する技術を導入する。 本稿では,視覚的に依存するトークンの予測能力の定量化と,視覚的に困難なタスクの10 pt の高速化により,結果モデルのより優れたマルチモーダル理解を実証する。
  論文  参考訳（メタデータ） (2025-05-08T20:04:27Z)
• OTTER: A Vision-Language-Action Model with Text-Aware Visual Feature Extraction [95.6266030753644]
  Vision-Language-Action(VLA)モデルは、視覚的な観察と言語指示に基づいてロボット行動を予測することを目的としている。 既存のアプローチでは、視覚的特徴と言語的特徴が独立して下流ポリシーに供給されるため、微調整済みの視覚言語モデル(VLM)が必要である。 本稿では,テキスト認識による視覚的特徴抽出によって既存のアライメントを活用する新しいVLAアーキテクチャOTTERを提案する。
  論文  参考訳（メタデータ） (2025-03-05T18:44:48Z)
• ClawMachine: Learning to Fetch Visual Tokens for Referential Comprehension [71.03445074045092]
  我々はClawMachineを提案し、視覚トークンのグループのトークン集合を用いて各エンティティに明示的に通知する新しい方法論を提案する。 追加構文を用いることなく視覚的参照タスクのプロンプトと応答を統一する手法を提案する。 ClawMachineは、高い効率でシーンレベルおよび参照理解タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-06-17T08:39:16Z)
• EC^2: Emergent Communication for Embodied Control [72.99894347257268]
  エージェントはマルチモーダル・プレトレーニングを活用して、新しい環境でどのように振る舞うかを素早く学ぶ必要がある。 本稿では,数発のエンボディドコントロールのためのビデオ言語表現を事前学習するための新しいスキームであるEmergent Communication for Embodied Control (EC2)を提案する。 EC2は、タスク入力としてビデオとテキストの両方の従来のコントラスト学習手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2023-04-19T06:36:02Z)
• Localization vs. Semantics: Visual Representations in Unimodal and Multimodal Models [57.08925810659545]
  既存の視覚・言語モデルと視覚のみのモデルにおける視覚表現の比較分析を行う。 我々の経験的観察は、視覚・言語モデルがラベル予測タスクに優れていることを示唆している。 我々の研究は、視覚学習における言語の役割に光を当て、様々な事前学習モデルの実証的なガイドとして機能することを願っている。
  論文  参考訳（メタデータ） (2022-12-01T05:00:18Z)
• Augmenting Vision Language Pretraining by Learning Codebook with Visual Semantics [29.393661499333284]
  本稿では,各視覚トークンに意味を付与するコードブックを共同で学習することで,視覚表現を「分散化」することを提案する。 次に、これらの離散化された視覚的意味論を自己教師付き基盤構造として利用して、マスケッド画像モデリングの目的を構築する。 実験は、一般的な視覚言語ベンチマークにまたがって、我々のアプローチの有効性を検証する。
  論文  参考訳（メタデータ） (2022-07-31T17:36:09Z)
• Learning Visual Representations with Caption Annotations [19.24013129952071]
  本稿では,視覚的表現をイメージ・キャプション・ペア上で学習するプロキシ・タスクを提案する。 ICMLMは視覚的手がかりに頼って字幕中のマスキング語を予測する。 実験の結果,画像キャプションを利用してグローバルな意味情報を視覚表現に注入できることが確認された。
  論文  参考訳（メタデータ） (2020-08-04T08:04:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。