論文の概要: Finding Visual Task Vectors

• arxiv url: http://arxiv.org/abs/2404.05729v2
• Date: Mon, 07 Oct 2024 17:10:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 13:38:08.679316
• Title: Finding Visual Task Vectors
• Title（参考訳）: ビジュアルタスクベクトルを見つける
• Authors: Alberto Hojel, Yutong Bai, Trevor Darrell, Amir Globerson, Amir Bar,
• Abstract要約: ビジュアルプロンプティング(Visual Prompting)は、モデルに、追加のトレーニングなしで、コンテキスト内の例を通して視覚的なタスクを実行するように教えるテクニックである。 我々は,最新のVisual PromptingモデルであるMAE-VQGANのアクティベーションを分析し,タスク固有情報をエンコードするタスクベクトル,アクティベーションを求める。
• 参考スコア（独自算出の注目度）: 74.67336516908776
• License:
• Abstract: Visual Prompting is a technique for teaching models to perform a visual task via in-context examples, without any additional training. In this work, we analyze the activations of MAE-VQGAN, a recent Visual Prompting model, and find task vectors, activations that encode task-specific information. Equipped with this insight, we demonstrate that it is possible to identify the task vectors and use them to guide the network towards performing different tasks without providing any input-output examples. To find task vectors, we compute the average intermediate activations per task and use the REINFORCE algorithm to search for the subset of task vectors. The resulting task vectors guide the model towards performing a task better than the original model without the need for input-output examples.
• Abstract（参考訳）: ビジュアルプロンプティング(Visual Prompting)は、モデルに、追加のトレーニングなしで、コンテキスト内の例を通して視覚的なタスクを実行するように教えるテクニックである。 本研究では,最近のVisual PromptingモデルであるMAE-VQGANのアクティベーションを分析し,タスク固有情報をエンコードするタスクベクトル,アクティベーションを求める。 この知見をもとに,タスクベクトルを識別し,入力出力の例を提示することなく,ネットワークを異なるタスクに導くことが可能であることを実証した。 タスクベクトルを見つけるために、タスク毎の平均中間アクティベーションを計算し、REINFORCEアルゴリズムを用いてタスクベクトルのサブセットを探索する。 結果のタスクベクトルは、入力出力の例を必要とせずに、元のモデルよりも優れたタスクを実行するようモデルに導かれる。

関連論文リスト

• Learning Task Representations from In-Context Learning [73.72066284711462]
  大規模言語モデル(LLM)は、文脈内学習において顕著な習熟性を示している。 ICLプロンプトにおけるタスク情報をアテンションヘッドの関数として符号化するための自動定式化を導入する。 提案手法の有効性は,最後の隠れ状態の分布と最適に実行されたテキスト内学習モデルとの整合性に起因していることを示す。
  論文  参考訳（メタデータ） (2025-02-08T00:16:44Z)
• Task Vectors in In-Context Learning: Emergence, Formation, and Benefit [17.72043522825441]
  合成データセットをスクラッチから学習したモデルを用いて, 制御された環境下でのタスクベクトルの生成について検討した。 その結果,特定の条件下ではタスクベクトルが自然に現れることが確認できたが,タスクは比較的弱く,あるいは非局所的にモデル内にコード化されている可能性がある。 モデル内の所定位置に符号化された強いタスクベクトルを促進するために,損失を促すタスクベクトルに基づく補助的なトレーニング機構を提案する。
  論文  参考訳（メタデータ） (2025-01-16T01:54:23Z)
• Multi-Task Model Merging via Adaptive Weight Disentanglement [69.7292615212444]
  モデルマージのための適応重み分散法を提案する。 余剰ベクトルの抽出に成功し, 減算後, タスクベクトルは頑健な性能を維持した。
  論文  参考訳（メタデータ） (2024-11-27T20:08:55Z)
• Task Vectors are Cross-Modal [58.19152818504624]
  視覚・言語モデル(VLM)の内部表現について検討する。 我々は、例や指示によって指定されたタスクを、テキストまたは画像入力のいずれかを用いて検討する。 概念的に類似したタスクは、どのように指定されたかに関わらず、類似したタスクベクトル表現にマッピングされる。
  論文  参考訳（メタデータ） (2024-10-29T17:59:45Z)
• Task Prompt Vectors: Effective Initialization through Multi-Task Soft-Prompt Transfer [0.6053347262128919]
  調律されたソフトプロンプトの重みとランダムな初期化の要素的差分によって生成されるタスクプロンプトベクトルを導入する。 我々は,タスクプロンプトベクトルを低リソース設定で使用して,類似タスクのプロンプトチューニングを効果的に初期化することを示す。 これにより、異なるタスクから事前訓練されたベクトルで即時算術を行うことができる。
  論文  参考訳（メタデータ） (2024-08-02T09:00:03Z)
• Editing Models with Task Arithmetic [69.97273155842966]
  事前訓練されたモデルの振る舞いを変えることは、機械学習システムの開発において一般的なプラクティスである。 タスクを微調整した後、同じモデルの重みから事前学習したモデルの重みを減らしてタスクベクトルを構築する。 これらのタスクベクトルは、否定や加算といった算術演算によって変更・結合可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-08T05:50:53Z)
• Active Multi-Task Representation Learning [50.13453053304159]
  本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。 提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
  論文  参考訳（メタデータ） (2022-02-02T08:23:24Z)
• Analysis and Prediction of NLP Models Via Task Embeddings [25.311690222754454]
  我々は101ドルのNLPタスクのコレクションであるMetaEvalを提案する。 学習した埋め込みを条件にしながら、単一のトランスフォーマーをすべてのMetaEvalタスクに共同で適合させます。 結果として生じるタスクの埋め込みは、タスクの空間の新たな分析を可能にする。
  論文  参考訳（メタデータ） (2021-12-10T16:23:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。