論文の概要: Hidden-Shot: Towards One-Shot Task Generalization for Low-Level Vision Generalist Models
- arxiv url: http://arxiv.org/abs/2607.01535v1
- Date: Wed, 01 Jul 2026 23:26:26 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-03 19:45:08.615499
- Title: Hidden-Shot: Towards One-Shot Task Generalization for Low-Level Vision Generalist Models
- Title（参考訳）: Hidden-Shot:低レベルビジョンジェネラリストモデルのためのワンショットタスク一般化に向けて
- Abstract要約: 視覚一般化モデルにおける低レベルタスク適応の探索を目的とした暗黙的なプロンプト機構であるHidden-Shotを提案する。
具体的には、暗黙的な視覚的タスクベース情報を抽出し、グローバルなタスク対応のテクスチャプロンプトを利用して、暗黙的な情報をタスク内処理情報と選択的にマージし、新しいタスクにおけるワンショット機能を強化する。
提案したHidden-Shotアプローチは、既存のタスクにおける一貫したパフォーマンスを維持しながら、ワンショットの新規タスクにおける優れたパフォーマンスを示す。
- 参考スコア（独自算出の注目度）: 11.439146076220537
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Despite the intense engagement surrounding low-level vision generalist models, their effectiveness in zero/few-shot scenarios beyond learned tasks remains unverified. The primary challenge of developing an ideal generalist lies in achieving the ability to generalize from new unseen tasks, which also can be assessed by matched quantitative criteria. Existing methods have made some progress in prompt engineering but have not systematically explored this gap across a wide range of low-level visual tasks. Stimulated by the problem, we propose Hidden-Shot, an implicit prompt mechanism aimed at exploring low-level task adaptation in a vision generalist model. Specifically, the method extracts implicit visual task-based information, utilizes a global task-aware textural prompt, and selectively merges implicit information with in-task processing information to enhance one-shot capabilities in new tasks. The overall design performs direct injection in a cost-effective manner, while minimally altering the architecture of the original generalist model. Additionally, we introduce a data-driven evaluation framework termed C/U assessment to cover two basic scenarios, 3C4U (3 conventional and 4 unconventional tasks) for retraining existing models and 3C7U (3 conventional and 7 unconventional tasks) for training from scratch, as a comprehensive assessment to systematically test the generalization ability of low-level generalist models. Experiments on seven and ten datasets outperform the state-of-the-art vision generalist model, respectively verified by 3C4U and 3C7U framework. Our presented Hidden-Shot approach demonstrates superior performance on one-shot new tasks while maintaining consistent performance on existing tasks.
- Abstract（参考訳）: 低レベルのビジョンジェネラリストモデルを取り巻く激しい関与にもかかわらず、学習タスクを超えてゼロ/ファウショットシナリオにおけるそれらの効果は、まだ検証されていない。
理想的なジェネラリストを開発する上での最大の課題は、新しい目に見えないタスクから一般化する能力を達成することである。
既存の手法は、プロンプトエンジニアリングに多少の進歩をもたらしたが、このギャップを広範囲の低レベル視覚タスクで体系的に調べることはなかった。
この問題に刺激されたHidden-Shotは、視覚ジェネラリストモデルにおける低レベルタスク適応の探索を目的とした暗黙的なプロンプト機構である。
具体的には、暗黙的な視覚的タスクベース情報を抽出し、グローバルなタスク対応のテクスチャプロンプトを利用して、暗黙的な情報をタスク内処理情報と選択的にマージし、新しいタスクにおけるワンショット機能を強化する。
全体的な設計は、原ジェネリストモデルのアーキテクチャを最小限に変更しながら、コスト効率の良い直接注入を行う。
さらに,C/Uアセスメントと呼ばれるデータ駆動型評価フレームワークを導入し,既存のモデルを再トレーニングするための3C4U(従来型と4つの非従来型タスク)と,スクラッチからトレーニングするための3C7U(従来型と7つの非従来型タスク)の2つの基本的なシナリオを網羅し,低レベルのジェネリストモデルの一般化能力を体系的に検証する包括的評価手法を提案する。
7つのデータセットと10の実験は、それぞれ3C4Uと3C7Uフレームワークで検証された最先端のビジョンジェネラリストモデルより優れている。
提案したHidden-Shotアプローチは、既存のタスクにおける一貫したパフォーマンスを維持しながら、ワンショットの新規タスクにおける優れたパフォーマンスを示す。
関連論文リスト
- A Survey on Efficient Vision-Language-Action Models [153.11669266922993]
VLA(Vision-Language-Action Model)は、物理世界の相互作用によってデジタル知識を橋渡しすることを目的とした、インテリジェンスにおける重要なフロンティアである。
これらの課題に緊急に対応する必要性から、この調査は、効率的なビジョン・ランゲージ・アクションモデルに関する最初の包括的なレビューを提示する。
論文 参考訳（メタデータ） (2025-10-27T17:57:33Z) - Vision Generalist Model: A Survey [87.49797517847132]
本稿では、ビジョンジェネラリストモデルの概要を概観し、その分野におけるその特性と能力について考察する。
関連ドメインへの簡単な探索を行い、相互接続と潜在的なシナジーに光を当てます。
論文 参考訳（メタデータ） (2025-06-11T17:23:41Z) - Large (Vision) Language Models are Unsupervised In-Context Learners [14.930827851769276]
完全教師なし適応のための共同推論フレームワークを導入する。
ゼロショット推論とは異なり、関節推論は与えられたタスクの全ての入力に対して同時に予測を行う。
我々の実験は、標準のゼロショットアプローチよりも大幅に改善されている。
論文 参考訳（メタデータ） (2025-04-03T07:33:02Z) - Data-efficient Large Vision Models through Sequential Autoregression [58.26179273091461]
限られたデータセットに基づいて,効率的な自己回帰に基づく視覚モデルを構築する。
このモデルは,高レベル・低レベルのセマンティック理解の両方にまたがる視覚的タスクにおいて,その習熟度をいかに達成するかを実証する。
我々の経験的評価は、モデルが様々なタスクに適応する際の機敏さを強調し、パラメータフットプリントの大幅な削減を図った。
論文 参考訳（メタデータ） (2024-02-07T13:41:53Z) - BloomVQA: Assessing Hierarchical Multi-modal Comprehension [18.21961616174999]
我々は、様々なレベルの理解を反映した絵物語に基づいて、複数の選択サンプルを収集する。
モデル一貫性を特徴付ける新しい尺度と自動データ拡張を可能にする新しい階層グラフ表現にマッピングする。
従来のモデルと比較して、GPT-4Vは全ての理解レベルよりも精度が向上し、特に高次タスクでは視覚入力をバイパスする傾向を示す。
論文 参考訳（メタデータ） (2023-12-20T02:22:49Z) - CrossCodeBench: Benchmarking Cross-Task Generalization of Source Code
Models [33.78307982736911]
クロスタスクの一般化は強力な研究と応用価値である。
既存の216のコード関連タスクを含む大規模ベンチマークを提案する。
論文 参考訳（メタデータ） (2023-02-08T13:04:52Z) - Uni-Perceiver v2: A Generalist Model for Large-Scale Vision and
Vision-Language Tasks [86.66733026149892]
大規模ビジョンと視覚非依存タスクを扱える最初のジェネラリストモデルであるUni-Perceiver v2を提案する。
具体的には、画像は一般領域の提案としてエンコードされ、テキストはTransformerベースの言語モデルを介してエンコードされる。
Uni-Perceiver v2は、幅広いビジョンとビジョン言語タスクで競争力を発揮する。
論文 参考訳（メタデータ） (2022-11-17T18:59:52Z) - Uni-Perceiver-MoE: Learning Sparse Generalist Models with Conditional
MoEs [63.936622239286685]
異なるタスクとモダリティ間の干渉が、この現象の主要な要因であることがわかった。
一般モデルに条件混合(Conditional Mixture-of-Experts)を導入する。
コード及び事前訓練されたジェネリストモデルは、解放される。
論文 参考訳（メタデータ） (2022-06-09T17:59:59Z) - Goal-Aware Prediction: Learning to Model What Matters [105.43098326577434]
学習した前進力学モデルを使用する際の根本的な課題の1つは、学習したモデルの目的と下流のプランナーやポリシーの目標とのミスマッチである。
本稿では,タスク関連情報への直接的予測を提案し,そのモデルが現在のタスクを認識し,状態空間の関連量のみをモデル化することを奨励する。
提案手法は,目標条件付きシーンの関連部分を効果的にモデル化し,その結果,標準タスク非依存のダイナミックスモデルやモデルレス強化学習より優れていることがわかった。
論文 参考訳（メタデータ） (2020-07-14T16:42:59Z) - Reducing Overlearning through Disentangled Representations by
Suppressing Unknown Tasks [8.517620051440005]
視覚的特徴を学習するための既存のディープラーニングアプローチは、手元にあるタスクに必要なものよりも、過剰に学習し、より多くの情報を抽出する傾向がある。
プライバシー保護の観点からは、入力された視覚情報はモデルから保護されない。
未知のタスクを全て抑制することで、モデルオーバーラーニングを減らすためのモデル非依存のソリューションを提案する。
論文 参考訳（メタデータ） (2020-05-20T17:31:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。