論文の概要: Instruction Distillation: Text Instructions as Visual Examples

• arxiv url: http://arxiv.org/abs/2608.28696v1
• Date: Thu, 27 Aug 2026 09:24:15 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-01 18:31:30.717676
• Title: Instruction Distillation: Text Instructions as Visual Examples
• Title（参考訳）: インストラクション蒸留:ビジュアル例としてのテキストインストラクション
• Abstract要約: 本稿では,MLLM自体が個々のトレーニング画像に対して,一般的な外観を符号化する構造化識別命令を生成するオフライン手順を提案する。 我々の指示は訓練画像毎に生成され、クラスごとの記述が崩壊するクラス内の視覚的多様性を保っている。
• 参考スコア（独自算出の注目度）: 25.408054524990522
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Visual in-context learning (ICL) with multimodal large language models (MLLMs) is effective for fine-grained visual classification, but each retrieved image example consumes several hundred context tokens, making large-$K$ settings prohibitively expensive at inference scale. We propose Instruction Distillation: an offline procedure in which the MLLM itself generates, for each individual training image, a structured identification instruction encoding general appearance cues, features that differentiate the class from visually similar ones, and a common confusion point. Unlike prior work that produces a single description per class, our instructions are generated per training image, preserving the intra-class visual diversity that per-class descriptions collapse. At inference time, we study five configurations sharing a single CLIP retrieval index: zero-shot, image ICL, instruction-only ICL, and two hybrid variants in which retrieved neighbors are split between images and instructions. Across seven fine-grained benchmarks and two MLLM backbones, instruction based pipelines match, or exceeds image ICL at $K{=}1$ and reduces per-query tokens by $2.9\times$ and inference latency by $3.3\times$ at $K{=}5$. Hybrid configurations further show that visual and textual ICL signals are complementary, images give visual patterns to learn and see, while instructions give explicit rules and logic. When both of these are provided, the quality of context improves, which is noticeable in the performance.
• Abstract（参考訳）: マルチモーダル大言語モデル (MLLM) を用いたビジュアル・インコンテキスト・ラーニング (ICL) は, きめ細かな視覚的分類に有効であるが, 検索した画像例は数百のコンテキストトークンを消費し, 推論スケールでは大きめのK$設定が極めて高価である。 Instruction Distillation: MLLM自体が個々の訓練画像に対して、一般的な外観を符号化する構造化識別命令、視覚的に類似したクラスと区別する特徴、および共通の混乱点を生成するオフラインプロシージャを提案する。 クラス毎に単一の記述を生成する以前の作業とは異なり、私たちの指示はトレーニングイメージ毎に生成され、クラスごとの記述が崩壊するクラス内の視覚的多様性が保たれる。 推測時間において、ゼロショット、イメージICL、命令のみのICL、検索した隣人を画像と命令に分割した2つのハイブリッドな2つのCLIP検索インデックスを共有する5つの構成について検討する。 7つのきめ細かいベンチマークと2つのMLLMバックボーン、命令ベースのパイプライン、またはイメージICLを$K{=}1$で上回り、クエリごとのトークンを$2.9\times$、推論遅延を$K{=}5$で$3.3\times$に下げる。 ハイブリッド構成により、視覚的およびテキスト的なICL信号は補完的であり、画像は学習と閲覧のための視覚パターンを与え、命令は明示的な規則と論理を与える。 これら2つが提供されると、コンテキストの品質が向上し、パフォーマンスにおいて顕著になる。

関連論文リスト

• Can Synthetic Images Serve as Effective and Efficient Class Prototypes? [4.813908624670794]
  Contrastive Language-Image Pre-Training (CLIP) は、視覚的およびテキスト的モダリティの調整にアノテーション付きテキスト対イメージペアに依存している。 この依存関係は、高品質なデータセットを作成する上で、相当なコストと精度の要求をもたらす。 本稿では,Large-Language-Model-based Generation (LGCLIP) フレームワークを用いたコントラスト言語画像事前学習を提案する。
  論文  参考訳（メタデータ） (2025-12-19T01:39:43Z)
• $β$-CLIP: Text-Conditioned Contrastive Learning for Multi-Granular Vision-Language Alignment [53.42377319350806]
  $-CLIPは、多言語テキスト条件のコントラスト学習フレームワークである。 $-CALは、この階層に固有のセマンティックオーバーラップに対処する。 $-CLIPは、高密度視覚言語対応のための堅牢で適応的なベースラインを確立する。
  論文  参考訳（メタデータ） (2025-12-14T13:03:20Z)
• VITRIX-CLIPIN: Enhancing Fine-Grained Visual Understanding in CLIP via Instruction Editing Data and Long Captions [16.90061119174727]
  CLIP-IN(CLIP-IN)は、2つのコアイノベーションを通じてCLIPの微粒な認識を促進する新しいフレームワークである。 まず、画像操作用に設計された命令編集データセットを、ハードネガティブな画像テキストペアのユニークな情報源として活用する。 第二に、CLIP-INは長いキャプションを組み込み、回転する位置エンコーディングを利用して、標準のCLIPでしばしば見逃されるリッチなセマンティックコンテキストをキャプチャする。
  論文  参考訳（メタデータ） (2025-08-04T11:57:10Z)
• SmartCLIP: Modular Vision-language Alignment with Identification Guarantees [59.16312652369709]
  Contrastive Language-Image Pre-Traiing (CLIP)citepradford2021 Learningは、コンピュータビジョンとマルチモーダル学習において重要なモデルとして登場した。 CLIPは、多くの画像テキストデータセットにおける潜在的な情報ミスアライメントに苦労し、絡み合った表現に悩まされている。 モジュラー方式で、最も関連性の高い視覚的およびテキスト的表現を特定し、調整する新しいアプローチである。
  論文  参考訳（メタデータ） (2025-07-29T22:26:20Z)
• IDEA: Image Description Enhanced CLIP-Adapter [23.446016867479138]
  画像分類タスクにCLIPを適用するための画像記述強化CLIP-Adapter (IDEA) 手法を提案する。 IDEAは、画像の視覚的特徴とテキスト記述の両方を活用することで、きめ細かい機能をキャプチャする。 重要な貢献の一つとして、Llamaモデルを採用し、11データセットの画像のテキスト記述を生成する包括的なパイプラインを設計する。
  論文  参考訳（メタデータ） (2025-01-15T14:12:59Z)
• DiffCLIP: Few-shot Language-driven Multimodal Classifier [19.145645804307566]
  DiffCLIPはContrastive Language-Image Pretrainingを拡張する新しいフレームワークである。 高次元マルチモーダルリモートセンシング画像の正確な分類のための包括的言語駆動意味情報を提供する。 DiffCLIPはCLIPと比較して3つのリモートセンシングデータセットで10.65%の全体的な精度向上を実現している。
  論文  参考訳（メタデータ） (2024-12-10T02:21:39Z)
• Finetuning CLIP to Reason about Pairwise Differences [52.028073305958074]
  本稿では,CLIPのような視覚言語モデルの学習手法を提案する。 画像間の差異のテキスト記述が画像埋め込み空間の差に対応するようにCLIPを微調整する。 提案手法は,特定の属性によって画像のランク付け能力を大幅に向上させ,下流画像分類タスクにおけるゼロショット分類性能を向上する。
  論文  参考訳（メタデータ） (2024-09-15T13:02:14Z)
• All in an Aggregated Image for In-Image Learning [22.605706711147405]
  本稿では,In-Image Learning (I$2$L) と呼ばれる新しいコンテキスト内学習(ICL)機構を提案する。 I$2$Lは、実演例、視覚的手がかり、思考の連鎖的推論を集約されたイメージに組み合わせている。 本研究では,MathVista 上で I$2$L と I$2$L-Hybrid の有効性を評価するための広範囲な実験を行った。
  論文  参考訳（メタデータ） (2024-02-28T01:32:59Z)
• UMG-CLIP: A Unified Multi-Granularity Vision Generalist for Open-World Understanding [90.74967596080982]
  本稿では,マルチグラニュラリティアライメントを備えたコントラスト言語-画像事前学習(CLIP)を拡張した。 UMG-CLIPと呼ばれる統一多言語学習フレームワークを開発した。 パラメータ効率のよいチューニングにより、UMG-CLIPは、現在広く使われているCLIPの亜種を超え、多様な画像理解ベンチマークで最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2024-01-12T06:35:09Z)
• Text Descriptions are Compressive and Invariant Representations for Visual Learning [63.3464863723631]
  本研究では,クラスごとの複数の視覚的特徴に対する人間の理解に則って,頑健な数ショット学習環境では魅力的な性能が得られることを示す。 特に,SLR-AVD (Sparse Logistic Regression using Augmented Visual Descriptors) という新しい手法を導入する。 このメソッドはまず、まず大きな言語モデル(LLM)を介して各クラスの複数の視覚的記述を自動生成し、次にVLMを使用してこれらの記述を各画像の視覚的特徴埋め込みに変換し、最後に、これらの特徴の関連するサブセットを選択するためにスパースロジスティック回帰を使用する。
  論文  参考訳（メタデータ） (2023-07-10T03:06:45Z)
• S-CLIP: Semi-supervised Vision-Language Learning using Few Specialist Captions [69.01985134519244]
  対照的な言語画像事前学習(CLIP)のような視覚言語モデルは、自然画像領域において顕著な結果を示した。 S-CLIPはCLIPを訓練するための半教師付き学習手法であり、追加の未ペア画像を利用する。 S-CLIPは、ゼロショット分類でCLIPを10%改善し、リモートセンシングベンチマークで画像テキスト検索で4%改善した。
  論文  参考訳（メタデータ） (2023-05-23T14:18:11Z)
• Non-Contrastive Learning Meets Language-Image Pre-Training [145.6671909437841]
  非コントラスト型言語画像事前学習(nCLIP)の有効性について検討する。 我々は、CLIPとnCLIPを組み合わせたマルチタスクフレームワークであるxCLIPを紹介し、nCLIPが機能セマンティクスの強化にCLIPを支援することを示す。
  論文  参考訳（メタデータ） (2022-10-17T17:57:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。