論文の概要: Finding Visual Task Vectors

• arxiv url: http://arxiv.org/abs/2404.05729v2
• Date: Mon, 07 Oct 2024 17:10:52 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-08 13:38:08.679316
• Title: Finding Visual Task Vectors
• Title（参考訳）: ビジュアルタスクベクトルを見つける
• Authors: Alberto Hojel, Yutong Bai, Trevor Darrell, Amir Globerson, Amir Bar,
• Abstract要約: ビジュアルプロンプティング(Visual Prompting)は、モデルに、追加のトレーニングなしで、コンテキスト内の例を通して視覚的なタスクを実行するように教えるテクニックである。 我々は,最新のVisual PromptingモデルであるMAE-VQGANのアクティベーションを分析し,タスク固有情報をエンコードするタスクベクトル,アクティベーションを求める。
• 参考スコア（独自算出の注目度）: 74.67336516908776
• License:
• Abstract: Visual Prompting is a technique for teaching models to perform a visual task via in-context examples, without any additional training. In this work, we analyze the activations of MAE-VQGAN, a recent Visual Prompting model, and find task vectors, activations that encode task-specific information. Equipped with this insight, we demonstrate that it is possible to identify the task vectors and use them to guide the network towards performing different tasks without providing any input-output examples. To find task vectors, we compute the average intermediate activations per task and use the REINFORCE algorithm to search for the subset of task vectors. The resulting task vectors guide the model towards performing a task better than the original model without the need for input-output examples.
• Abstract（参考訳）: ビジュアルプロンプティング(Visual Prompting)は、モデルに、追加のトレーニングなしで、コンテキスト内の例を通して視覚的なタスクを実行するように教えるテクニックである。 本研究では,最近のVisual PromptingモデルであるMAE-VQGANのアクティベーションを分析し,タスク固有情報をエンコードするタスクベクトル,アクティベーションを求める。 この知見をもとに,タスクベクトルを識別し,入力出力の例を提示することなく,ネットワークを異なるタスクに導くことが可能であることを実証した。 タスクベクトルを見つけるために、タスク毎の平均中間アクティベーションを計算し、REINFORCEアルゴリズムを用いてタスクベクトルのサブセットを探索する。 結果のタスクベクトルは、入力出力の例を必要とせずに、元のモデルよりも優れたタスクを実行するようモデルに導かれる。

関連論文リスト

• Task Vectors are Cross-Modal [58.19152818504624]
  視覚・言語モデル(VLM)の内部表現について検討する。 我々は、例や指示によって指定されたタスクを、テキストまたは画像入力のいずれかを用いて検討する。 概念的に類似したタスクは、どのように指定されたかに関わらず、類似したタスクベクトル表現にマッピングされる。
  論文  参考訳（メタデータ） (2024-10-29T17:59:45Z)
• Task Prompt Vectors: Effective Initialization through Multi-Task Soft-Prompt Transfer [0.6053347262128919]
  調律されたソフトプロンプトの重みとランダムな初期化の要素的差分によって生成されるタスクプロンプトベクトルを導入する。 我々は,タスクプロンプトベクトルを低リソース設定で使用して,類似タスクのプロンプトチューニングを効果的に初期化することを示す。 これにより、異なるタスクから事前訓練されたベクトルで即時算術を行うことができる。
  論文  参考訳（メタデータ） (2024-08-02T09:00:03Z)
• Unsupervised Task Graph Generation from Instructional Video Transcripts [53.54435048879365]
  本研究では,実世界の活動を行う指導ビデオのテキスト書き起こしを提供する環境について考察する。 目標は、これらの重要なステップ間の依存関係関係と同様に、タスクに関連する重要なステップを特定することです。 本稿では,命令調整言語モデルの推論能力とクラスタリングとランキングコンポーネントを組み合わせたタスクグラフ生成手法を提案する。
  論文  参考訳（メタデータ） (2023-02-17T22:50:08Z)
• Editing Models with Task Arithmetic [69.97273155842966]
  事前訓練されたモデルの振る舞いを変えることは、機械学習システムの開発において一般的なプラクティスである。 タスクを微調整した後、同じモデルの重みから事前学習したモデルの重みを減らしてタスクベクトルを構築する。 これらのタスクベクトルは、否定や加算といった算術演算によって変更・結合可能であることを示す。
  論文  参考訳（メタデータ） (2022-12-08T05:50:53Z)
• Fast Inference and Transfer of Compositional Task Structures for Few-shot Task Generalization [101.72755769194677]
  本稿では,タスクがサブタスクグラフによって特徴づけられる,数発の強化学習問題として定式化する。 我々のマルチタスクサブタスクグラフ推論器(MTSGI)は、トレーニングタスクから、まず、サブタスクグラフの観点から、一般的なハイレベルなタスク構造を推測する。 提案手法は,2次元グリッドワールドおよび複雑なWebナビゲーション領域において,タスクの共通基盤構造を学習し,活用し,未知のタスクへの適応を高速化する。
  論文  参考訳（メタデータ） (2022-05-25T10:44:25Z)
• Active Multi-Task Representation Learning [50.13453053304159]
  本研究は,アクティブラーニングの手法を活用することで,資源タスクのサンプリングに関する最初の公式な研究を行う。 提案手法は, 対象タスクに対する各ソースタスクの関連性を反復的に推定し, その関連性に基づいて各ソースタスクからサンプルを抽出するアルゴリズムである。
  論文  参考訳（メタデータ） (2022-02-02T08:23:24Z)
• Analysis and Prediction of NLP Models Via Task Embeddings [25.311690222754454]
  我々は101ドルのNLPタスクのコレクションであるMetaEvalを提案する。 学習した埋め込みを条件にしながら、単一のトランスフォーマーをすべてのMetaEvalタスクに共同で適合させます。 結果として生じるタスクの埋め込みは、タスクの空間の新たな分析を可能にする。
  論文  参考訳（メタデータ） (2021-12-10T16:23:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。