論文の概要: Visual prompt engineering for video models

• arxiv url: http://arxiv.org/abs/2607.25537v1
• Date: Tue, 28 Jul 2026 10:18:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-29 20:50:42.795424
• Title: Visual prompt engineering for video models
• Title（参考訳）: 映像モデルの視覚的プロンプト工学
• Abstract要約: 視覚的プロンプトエンジニアリング(略称VIPE)は、タスク間のビデオ推論性能を改善する。 ビデオモデルは、現在ビジュアルタスクの基礎モデルになりつつある。 ビジュアルプロンプトエンジニアリングは、ビデオモデルからより良い視覚的推論性能を引き出すための、単純で計算効率のよいアプローチとして機能する。
• 参考スコア（独自算出の注目度）: 31.331213776399267
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: In the age of foundation models, a model is only as good as its prompt. For this reason, prompt engineering has become an essential technique for improving language model performance. Since video models are currently becoming foundation models for visual tasks (e.g., visual reasoning), we here ask whether they similarly benefit from visual prompt engineering: automatically modifying the task image to improve model performance. For example, for a visual physics reasoning task ("Where does the ball land, after passing a set of obstacles?"), an abstract sketch-like scene can be turned into a photorealistic version with a simple call to an image editing model. We find that visual prompt engineering, or VIPE for short, improves video reasoning performance across tasks. In fact, for video models, visual prompt engineering can be even more effective than classic text-based prompt engineering or test-time scaling. Ultimately, just as text-based prompt engineering systematically improves language model performance, visual prompt engineering can serve as a simple, compute-efficient approach to elicit better visual reasoning performance from video models. Example videos on our project page at https://visual-prompt-engineering.github.io/.
• Abstract（参考訳）: 基礎モデルの時代には、モデルはそのプロンプトに匹敵するだけである。 そのため,言語モデルの性能向上には,プロンプトエンジニアリングが欠かせない技術となっている。 映像モデルは、現在、視覚的タスクの基礎モデル(例えば、視覚的推論)になりつつあるので、視覚的プロンプト工学の恩恵を受けているかどうかを問う。 例えば、視覚物理学推論タスク("Where do the ball land, after a set of obstacles?")では、抽象スケッチのようなシーンを、画像編集モデルへの単純な呼び出しで、フォトリアリスティックなバージョンに変換することができる。 視覚的プロンプトエンジニアリング(略称VIPE)は、タスク間のビデオ推論性能を改善する。 実際、ビデオモデルでは、ビジュアルプロンプトエンジニアリングは古典的なテキストベースのプロンプトエンジニアリングやテストタイムスケーリングよりも効果的です。 最終的に、テキストベースのプロンプトエンジニアリングが言語モデルのパフォーマンスを体系的に改善するのと同じように、ビジュアルプロンプトエンジニアリングは、ビデオモデルからより良いビジュアル推論パフォーマンスを引き出すための単純で計算効率の良いアプローチとして機能する。 プロジェクトページの例はhttps://visual-prompt-engineering.github.io/にある。

関連論文リスト

• Not Another Text Benchmark: Putting the "Visual" Back in Visual Question Answering for Large Video Models [97.0559653915626]
  本稿では,時間的フレーム検索,ビデオ未来予測,因果記憶歪みの3つの新しい視覚中心評価ベンチマークを導入する。 現状のフロンティアモデルでは,テキストではなく視覚的クエリを通じて推論しようとすると,大きな弱点が示される。
  論文  参考訳（メタデータ） (2026-09-15T12:41:08Z)
• Unified Pix Token And Word Token Generative Language Model [1.5469452301122175]
  生成言語モデルにピクセルトークンとワードトークンを統一する新しいモデルを提案する。 新たなモデルでは、各ピクセルに独自のトークン埋め込み、カラー折り畳み、グローバルなコンディショナルアテンション近似、教師なし事前トレーニングを備えている。
  論文  参考訳（メタデータ） (2026-05-13T18:38:51Z)
• Video models are zero-shot learners and reasoners [33.694362486721865]
  Veo 3は、明示的にトレーニングされていないさまざまなタスクを解決できます。 Veoの創発的なゼロショット機能は、ビデオモデルが統一された一般的なビジョン基盤モデルへの道のりにあることを示している。
  論文  参考訳（メタデータ） (2025-09-24T17:17:27Z)
• Self-Rewarding Large Vision-Language Models for Optimizing Prompts in Text-to-Image Generation [61.31036260686349]
  本稿では,シンプルなユーザプロンプトをテキスト・ツー・イメージ・モデルに洗練されたプロンプトに変換するための新しいプロンプト最適化フレームワークを提案する。 具体的には、ユーザプロンプトを書き換えるために大きな視覚言語モデル(LVLM)を使用し、同時にLVLMを報酬モデルとして使用し、最適化されたプロンプトによって生成された画像の美学とアライメントをスコアする。 努力的な人間のフィードバックの代わりに、私たちはLVLMの以前の知識を利用して報酬、すなわちAIフィードバックを提供します。
  論文  参考訳（メタデータ） (2025-05-22T15:05:07Z)
• An Empirical Study of Autoregressive Pre-training from Videos [67.15356613065542]
  ビデオをビジュアルトークンとして扱い、トランスフォーマーモデルをトレーニングして、将来的なトークンを自動回帰的に予測します。 われわれのモデルは、1兆以上の視覚トークンからなる多様なビデオと画像のデータセットで事前訓練されている。 以上の結果から, 自己回帰的事前学習は, 最小限の帰納バイアスにもかかわらず, 競争性能に寄与することが示唆された。
  論文  参考訳（メタデータ） (2025-01-09T18:59:58Z)
• Harvest Video Foundation Models via Efficient Post-Pretraining [67.30842563833185]
  本稿では,画像から映像基盤モデルを抽出する効率的なフレームワークを提案する。 提案手法は,入力ビデオパッチをランダムにドロップし,プレトレーニング後の入力テキストをマスクアウトすることで,直感的に簡単である。 提案手法は,プレトレーニング済みの映像基盤モデルに匹敵する,最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-10-30T14:06:16Z)
• Analyzing Zero-Shot Abilities of Vision-Language Models on Video Understanding Tasks [6.925770576386087]
  本稿では,ゼロショット環境における映像理解タスクの評価において,画像テキストモデルの一般化能力について詳細に検討する。 実験の結果,映像テキストモデルでは,映像AR,ビデオRT,ビデオMCに優れた性能を示すことがわかった。 これらの結果は、コストのかかる事前学習のステップを回避しつつ、基礎的な画像テキストモデルを一連のビデオタスクに適応する利点を浮き彫りにした。
  論文  参考訳（メタデータ） (2023-10-07T20:57:54Z)
• LoGoPrompt: Synthetic Text Images Can Be Good Visual Prompts for Vision-Language Models [28.983503845298824]
  合成テキスト画像は視覚言語モデルにとって良い視覚的プロンプトであることを示す。 視覚的プロンプト選択に分類対象を再構成する LoGoPrompt を提案する。 本手法は,数ショット学習,ベース・ツー・ニュージェネリゼーション,ドメイン・ジェネリゼーションにおいて,最先端の手法を一貫して上回っている。
  論文  参考訳（メタデータ） (2023-09-03T12:23:33Z)
• A Systematic Survey of Prompt Engineering on Vision-Language Foundation Models [43.35892536887404]
  プロンプトエンジニアリングは、新しいタスクにモデルを適応させるために、プロンプトとして知られるタスク固有のヒントで、トレーニング済みの大きなモデルを拡張することを含む。 本稿では,3種類の視覚言語モデルについて,最先端の研究の総合的な調査を行うことを目的とする。
  論文  参考訳（メタデータ） (2023-07-24T17:58:06Z)
• Effective End-to-End Vision Language Pretraining with Semantic Visual Loss [58.642954383282216]
  現在の視覚言語事前学習モデルは、物体検出器から抽出された領域視覚特徴を用いた手法によって支配されている。 3種類の視覚的損失を導入し、より高速な収束と微調整精度の向上を実現した。 リージョン機能モデルと比較して、私たちのエンドツーエンドモデルは、下流タスクで同様のあるいはより良いパフォーマンスを実現し、推論中に10倍以上高速に動作します。
  論文  参考訳（メタデータ） (2023-01-18T00:22:49Z)
• Optimizing Prompts for Text-to-Image Generation [97.61295501273288]
  よく設計されたプロンプトは、テキストから画像へのモデルをガイドし、素晴らしい画像を生成する。 しかし、パフォーマンスプロンプトはモデル固有であり、ユーザ入力と不一致であることが多い。 本稿では,モデル優先のプロンプトにオリジナルのユーザ入力を自動的に適応するフレームワークであるpromise adaptを提案する。
  論文  参考訳（メタデータ） (2022-12-19T16:50:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。