論文の概要: Language-Instructed Vision Embeddings for Controllable and Generalizable Perception

• arxiv url: http://arxiv.org/abs/2606.19584v1
• Date: Wed, 17 Jun 2026 20:39:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-19 18:23:39.527805
• Title: Language-Instructed Vision Embeddings for Controllable and Generalizable Perception
• Title（参考訳）: 可制御・一般化可能な知覚のための言語指示型視覚埋め込み
• Authors: Chengzhi Mao, Xudong Lin, Wen-Sheng Chu,
• Abstract要約: Language-Instructed Vision Embeddings (LIVE)は、タスク中心の埋め込みを生成するための高レベルのガイダンスとして言語を使用している。 LIVEは視覚幻覚を減らし、視覚的質問応答において桁違いに多くのパラメータを持つ視覚言語モデルを超えた。
• 参考スコア（独自算出の注目度）: 21.164230220588873
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Vision foundation models are typically trained as static feature extractors, placing the burden of task adaptation onto large downstream models. We propose an alternative paradigm: instead of solely feeding visual features into language models, we use language itself to dynamically guide the vision encoder. Our method, Language-Instructed Vision Embeddings (LIVE), leverages language as high-level guidance to produce task-centric embeddings at inference time, removing the need for task-specific retraining. This enables the encoder to focus on contextually relevant aspects of the input, yielding more controllable and generalizable representations. Empirically, LIVE reduces visual hallucinations (+34 points on MMVP), surpasses vision-language models with orders of magnitude more parameters on visual question answering, and generalizes to unseen instructions and tasks -- offering a direct path toward adaptive, instruction-driven visual intelligence.
• Abstract（参考訳）: 視覚基礎モデルは、通常静的特徴抽出器として訓練され、大きな下流モデルにタスク適応の重荷を置く。 視覚的特徴を言語モデルにのみ供給するのではなく、言語自体を用いて視覚エンコーダを動的に誘導する。 我々の手法であるLIVE(Language-Instructed Vision Embeddings)は、言語を高レベルガイダンスとして活用し、推論時にタスク中心の埋め込みを生成し、タスク固有の再トレーニングの必要性を取り除く。 これにより、エンコーダは入力の文脈的に関連性のある側面に集中することができ、より制御可能で一般化可能な表現が得られる。 経験的に、LIVEは視覚幻覚(MMVPで+34ポイント)を減らし、視覚的質問応答において桁違いに多くのパラメータを持つ視覚言語モデルを超え、目に見えない指示やタスクに一般化する。

関連論文リスト

• Boosting Visual Instruction Tuning with Self-Supervised Guidance [25.75897924846719]
  マルチモーダル大言語モデル(MLLM)は多くの視覚中心のタスクでうまく機能するが、しばしば視覚中心の問題に悩まされる。 最近の証拠は、この制限は、指導訓練中に視覚情報の未利用から生じることを示唆している。 そこで本稿では,視覚的に基礎をおくタスクを少数用意し,視覚的指導を補助する,シンプルで軽量なアプローチを提案する。
  論文  参考訳（メタデータ） (2026-04-14T16:59:53Z)
• Vega: Learning to Drive with Natural Language Instructions [93.49357278917223]
  本稿では,命令ベースの生成と計画のための統合型ビジョン・ランゲージ・ワールド・アクションモデルであるVegaを提案する。 視覚入力(ビジョン)と言語指示(言語)の処理には自己回帰パラダイムを使用し、将来の予測を生成するには拡散パラダイムを用いる。 提案手法は優れた計画性能を達成し,強い指示追従能力を示す。
  論文  参考訳（メタデータ） (2026-03-26T17:59:56Z)
• OTTER: A Vision-Language-Action Model with Text-Aware Visual Feature Extraction [95.6266030753644]
  Vision-Language-Action(VLA)モデルは、視覚的な観察と言語指示に基づいてロボット行動を予測することを目的としている。 既存のアプローチでは、視覚的特徴と言語的特徴が独立して下流ポリシーに供給されるため、微調整済みの視覚言語モデル(VLM)が必要である。 本稿では,テキスト認識による視覚的特徴抽出によって既存のアライメントを活用する新しいVLAアーキテクチャOTTERを提案する。
  論文  参考訳（メタデータ） (2025-03-05T18:44:48Z)
• ClawMachine: Learning to Fetch Visual Tokens for Referential Comprehension [71.03445074045092]
  我々はClawMachineを提案し、視覚トークンのグループのトークン集合を用いて各エンティティに明示的に通知する新しい方法論を提案する。 追加構文を用いることなく視覚的参照タスクのプロンプトと応答を統一する手法を提案する。 ClawMachineは、高い効率でシーンレベルおよび参照理解タスクにおいて優れたパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-06-17T08:39:16Z)
• Learning Visual Representations with Caption Annotations [19.24013129952071]
  本稿では,視覚的表現をイメージ・キャプション・ペア上で学習するプロキシ・タスクを提案する。 ICMLMは視覚的手がかりに頼って字幕中のマスキング語を予測する。 実験の結果,画像キャプションを利用してグローバルな意味情報を視覚表現に注入できることが確認された。
  論文  参考訳（メタデータ） (2020-08-04T08:04:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。