Fugu-MT 論文翻訳(概要): Your Model Already Knows Don't Teach It, Learn to Ask It: Soft Prompting for Few-Shot Adaptation of Vision-Language Models

論文の概要: Your Model Already Knows Don't Teach It, Learn to Ask It: Soft Prompting for Few-Shot Adaptation of Vision-Language Models

arxiv url: http://arxiv.org/abs/2609.11310v1
Date: Thu, 10 Sep 2026 09:38:11 GMT
ステータス: 翻訳完了
システム内更新日: 2026-09-11 23:53:35.284564
Title: Your Model Already Knows Don't Teach It, Learn to Ask It: Soft Prompting for Few-Shot Adaptation of Vision-Language Models
Title（参考訳）: ビジョンランゲージモデルの簡単な適応のためのソフト・プロンプティング
Abstract要約: 航空、産業、医療画像などの領域外設定において、視覚言語モデル(VLM)を用いた数発の物体検出に対処する。既存の適応法は離散的なプロンプト最適化とLoRA微調整である。ソフトプロンプトでは、トレーニング済みのバックボーンが凍結されている間、少数の連続プロンプトトークンが最適化される。
参考スコア（独自算出の注目度）: 36.10583933406835
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We address few-shot object detection with vision-language models (VLMs) in out-of-domain settings such as aerial, industrial, and medical imagery, using only ten annotated images for supervision. Existing adaptation methods are discrete prompt optimization and LoRA fine-tuning. We revisit a third option: soft prompting, where a small number of continuous prompt tokens are optimized while the pretrained backbone remains frozen. We identify two key design choices. First, placing prompt tokens at the cross-modal boundary between visual and text tokens outperforms other placements (10.0 vs. 8.4 mAP). Second, initializing prompts from the empty space token outperforms semantic and random initialization. With these choices, one to three learned tokens (7,168 parameters on average) match the best LoRA configuration on Roboflow20-VL (14.2 mAP, 10-shot) while training over 20,000x fewer parameters. Soft prompting remains harder to optimize, exhibiting higher variance across random seeds. Unlike LoRA, however, it causes no forgetting: the LoRA rank matching our accuracy reduces NaturalBench VQA accuracy by 35% relative, rising to 56% at the largest rank, whereas soft prompting leaves pretrained performance unchanged. The learned tokens behave like prompts rather than weights. They transfer to a newer model without retraining (+0.8 mAP on Qwen3.5-9B) and can be verbalized into readable prompts competitive with prompt-search methods (matching DetPO and outperforming GEPA). The approach also extends beyond detection. On RoboCasa manipulation tasks, the frozen $π_{0.5}$ vision-language-action policy benefits from soft prompting, matching the LoRA baseline on two of three tasks when tokens are placed at the gradient bottleneck. These results suggest modern VLMs already encode much of what is needed for specialized domains; the challenge is learning how to ask.
Abstract（参考訳）: 航空,産業,医療画像などの領域外設定において,視覚言語モデル(VLM)を用いた少数ショット物体の検出を行う。既存の適応法は離散的なプロンプト最適化とLoRA微調整である。ソフトプロンプトでは、トレーニング済みのバックボーンが凍結されている間、少数の連続プロンプトトークンが最適化される。重要な設計選択は2つあります。まず、視覚的トークンとテキストトークンの相互境界にプロンプトトークンを配置すると、他の配置(10.0 vs. 8.4 mAP)よりも優れる。第二に、空のスペーストークンからの初期化プロンプトはセマンティックおよびランダム初期化より優れる。これらの選択により、1から3つの学習トークン(7,168のパラメータ)はRoboflow20-VL (14.2 mAP, 10-shot)で最高のLoRA構成と一致し、2万以上のパラメータをトレーニングした。ソフトプロンプトは依然として最適化が困難であり、ランダムな種子間で高いばらつきを示す。しかし、LoRAとは異なり、LoRAのランクが我々の精度と一致するため、NaturalBench VQAの精度は35%減少し、最大のランクで56%まで上昇する一方、軟らかいプロンプト性能は変化しない。学習されたトークンはウェイトではなくプロンプトのように振る舞う。再トレーニングなしで新しいモデル(Qwen3.5-9Bで+0.8 mAP)に移行し、プロンプト検索手法(DetPOに適合し、GEPAに勝る)と競合する可読なプロンプトに言語化することができる。このアプローチは検出を超えて拡張されます。 RoboCasaの操作タスクでは、凍結された$π_{0.5}$ビジョン言語アクションポリシーはソフトプロンプトの恩恵を受け、トークンが勾配ボトルネックに置かれたときの3つのタスクのうち2つのLoRAベースラインと一致する。これらの結果は、現代のVLMが、専門分野に必要な多くのことをすでにエンコードしていることを示唆している。

関連論文リスト

Beyond Surrogate Gradients: Fully Differentiable Token Pruning for Vision-Language Models [8.48481119028537]
本稿では,個別選択学習ではなく,トークン情報の連続制御としてプルーニングを再構成するDiffPruneを提案する。 10個のVLMベンチマークで、DiffPruneは96.5%の完全モデルの精度を維持し、LLMのプリフィルは2.85倍に加速し、推測オーバーヘッドはわずか0.69msである。
論文参考訳（メタデータ） (2026-05-27T06:52:08Z)
DetPO: In-Context Learning with Multi-Modal LLMs for Few-Shot Object Detection [39.153744982595036]
勾配のないテスト時間最適化手法である検出プロンプト最適化(DetPO)を提案する。提案手法は,Roboflow20-VLおよびLVIS上の一般MLLMに対して一貫した改善をもたらす。
論文参考訳（メタデータ） (2026-03-24T17:26:55Z)
Think-at-Hard: Selective Latent Iterations to Improve Reasoning Language Models [22.525318796588568]
シンク・アット・ハード(Think-at-Hard, TaH)は、ハードトークンでのみ深く反復する動的潜在思考法である。 TaHは5つの挑戦的なベンチマークで推論のパフォーマンスを向上する。
論文参考訳（メタデータ） (2025-11-11T18:57:02Z)
Drag-and-Drop LLMs: Zero-Shot Prompt-to-Weights [75.83625828306839]
textbfDrag-and-Drop LLMs (textitDnD)は、未ラベルのタスクプロンプトをLoRAの重み更新に直接マッピングすることで、タスク単位のトレーニングを廃止する。ライトウェイトテキストエンコーダは、各プロンプトバッチを条件埋め込みに蒸留し、カスケードされた超畳み込みデコーダによって全LORA行列に変換する。
論文参考訳（メタデータ） (2025-06-19T15:38:21Z)
Reinforcing Video Reasoning with Focused Thinking [65.85683941058916]
本稿では,集中的思考と深い報酬の粒度で視覚的推論を強化する新しいフレームワークであるTW-GRPOを提案する。具体的には,高情報密度のトークンを優先するトークン重み付け機構を用いる。また,シングルチョイスからマルチチョイスQAタスクにシフトすることで,RLトレーニングを再構築する。
論文参考訳（メタデータ） (2025-05-30T15:42:19Z)
R2R: Efficiently Navigating Divergent Reasoning Paths with Small-Large Model Token Routing [30.205704752344086]
LLM(Large Language Models)とSmall Language Models(SLM)の間には,比較的少数のトークンが真の推論経路を分岐していることが示されている。 R2R)**は,これらのクリティカルな経路分割トークンに対してのみ LLM を選択的に利用するニューラルトークンルーティング手法である。 R2RはR1-7Bの平均精度を1.6倍にし、R1-14Bモデルよりも優れている。
論文参考訳（メタデータ） (2025-05-27T16:57:20Z)
SPARC: Score Prompting and Adaptive Fusion for Zero-Shot Multi-Label Recognition in Vision-Language Models [74.40683913645731]
Zero-shot Multi-label Recognition (MLR) with Vision-Language Models (VLMs) は、トレーニングデータ、モデルチューニング、アーキテクチャの変更なしに重要な課題に直面している。我々の研究は、VLMをブラックボックスとして扱い、トレーニングデータや地上の真実を使わずにスコアを活用する新しいソリューションを提案する。これらのプロンプトスコアの分析により、VLMバイアスとAND'/OR信号の曖昧さが明らかになり、特に、最高スコアは2番目に高いスコアに比べて驚くほど低い。
論文参考訳（メタデータ） (2025-02-24T07:15:05Z)
Vision-centric Token Compression in Large Language Model [51.92055188780033]
Vision Centric Token Compression (Vist)は、人間の読書を反映した高速圧縮フレームワークである。 11のコンテキスト内学習ベンチマークでは、Vistは同じ精度を2.3倍のトークンで達成し、FLOPを16%削減し、メモリを50%削減した。
論文参考訳（メタデータ） (2025-02-02T13:10:06Z)
Matryoshka Query Transformer for Large Vision-Language Models [103.84600181927884]
我々は,Materyoshka Query Transformer (MQT)を導入し,推論中に画像をmビジュアルトークンにエンコードする。単一のモデルを一度トレーニングし、フレキシブルかつ劇的に、推論時の視覚トークンの数を削減します。 MQT-LLAVAは,LLaVAの固定576の代わりに最大256トークンを用いて,11ベンチマークでLLaVA-1.5のパフォーマンスと一致した。
論文参考訳（メタデータ） (2024-05-29T17:39:42Z)
LASP: Text-to-Text Optimization for Language-Aware Soft Prompting of Vision & Language Models [67.19124099815645]
ベースクラスオーバーフィットを軽減するために,Language-Aware Soft Prompting (LASP) 学習手法を提案する。 LASPは本質的に、トレーニング中に仮想クラス、すなわちビジュアルサンプルが使用できないクラス名を含むことができる。 LASPは、手作りのプロンプトとCLIPによる11のテストデータセットのうち8つの新しいクラスの精度が初めて一致し、上回っている。
論文参考訳（メタデータ） (2022-10-03T17:56:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。