論文の概要: What Makes Good Examples for Visual In-Context Learning?

• arxiv url: http://arxiv.org/abs/2301.13670v1
• Date: Tue, 31 Jan 2023 14:40:05 GMT
• ステータス: 処理完了
• システム内更新日: 2023-02-01 16:22:25.506557
• Title: What Makes Good Examples for Visual In-Context Learning?
• Title（参考訳）: ビジュアルインテクスト学習のよい例は何か?
• Authors: Yuanhan Zhang, Kaiyang Zhou, Ziwei Liu
• Abstract要約: インコンテキスト学習(in-context learning)として知られる,大規模視覚モデルにおける創発的能力に着目する。 そこで本研究では,テキスト内サンプルの選択を自動で行うための,素早い検索フレームワークを提案する。 具体的には,(1)オフザシェルフモデルを用いた最寄りサンプル探索に基づく教師なしプロンプト検索手法,(2)ニューラルネットワークをトレーニングして,文脈内学習性能を直接最大化する事例を選択する教師なしプロンプト検索手法を提案する。
• 参考スコア（独自算出の注目度）: 38.68910532066619
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-scale models trained on broad data have recently become the mainstream architecture in computer vision due to their strong generalization performance. In this paper, the main focus is on an emergent ability in large vision models, known as in-context learning, which allows inference on unseen tasks by conditioning on in-context examples (a.k.a.~prompt) without updating the model parameters. This concept has been well-known in natural language processing but has only been studied very recently for large vision models. We for the first time provide a comprehensive investigation on the impact of in-context examples in computer vision, and find that the performance is highly sensitive to the choice of in-context examples. To overcome the problem, we propose a prompt retrieval framework to automate the selection of in-context examples. Specifically, we present (1) an unsupervised prompt retrieval method based on nearest example search using an off-the-shelf model, and (2) a supervised prompt retrieval method, which trains a neural network to choose examples that directly maximize in-context learning performance. The results demonstrate that our methods can bring non-trivial improvements to visual in-context learning in comparison to the commonly-used random selection.
• Abstract（参考訳）: 広範データでトレーニングされた大規模モデルは最近、その強力な一般化性能のため、コンピュータビジョンにおける主流アーキテクチャとなっている。 本稿では,大規模ビジョンモデルにおける創発的能力に着目し,モデルパラメータを更新することなく,コンテキスト内例(a.k.a.~prompt)を条件に,未知タスクの推論を可能にする。 この概念は自然言語処理でよく知られているが、近年では大きな視覚モデルに対してのみ研究されている。 我々は初めて、コンピュータビジョンにおける文脈内例の影響に関する包括的な調査を行い、その性能が文脈内例の選択に非常に敏感であることを見出した。 そこで本研究では,テキスト内サンプルの選択を自動化するための検索フレームワークを提案する。 具体的には,(1)オフザシェルフモデルを用いた最寄りサンプル探索に基づく教師なしプロンプト検索手法,(2)ニューラルネットワークをトレーニングして,文脈内学習性能を直接最大化する事例を選択する教師なしプロンプト検索手法を提案する。 その結果,本手法は,一般のランダム選択と比較して,視覚的な文脈学習に非自明な改善をもたらすことが判明した。

関連論文リスト

• SINC: Self-Supervised In-Context Learning for Vision-Language Tasks [64.44336003123102]
  大規模言語モデルにおけるコンテキスト内学習を実現するためのフレームワークを提案する。 メタモデルは、カスタマイズされたデモからなる自己教師型プロンプトで学ぶことができる。 実験の結果、SINCは様々な視覚言語タスクにおいて勾配に基づく手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-07-15T08:33:08Z)
• RetICL: Sequential Retrieval of In-Context Examples with Reinforcement Learning [53.52699766206808]
  In-Context Learning (RetICL) のための検索式を提案する。 RetICLは数学用語の問題解決と科学的質問応答のタスクに基づいて評価し,一貫した性能や一致,学習可能なベースラインを示す。
  論文  参考訳（メタデータ） (2023-05-23T20:15:56Z)
• Exploring Effective Factors for Improving Visual In-Context Learning [56.14208975380607]
  In-Context Learning(ICL)は、いくつかのデモ(別名プロンプト)を通じて新しいタスクを理解し、モデルをチューニングせずに新しい入力を予測することである。 本稿では,視覚的文脈学習の推論性能に直接的な影響を及ぼす要因として,迅速な選択と迅速な融合があげられる。 視覚的インコンテキスト学習のためのシンプルなフレームワークプロンプトSelFを提案する。
  論文  参考訳（メタデータ） (2023-04-10T17:59:04Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• Reordering Examples Helps during Priming-based Few-Shot Learning [6.579039107070663]
  PERO は 10 個の例から効率よく一般化できることを示す。 提案手法が感情分類,自然言語推論,事実検索のタスクに与える影響を実証する。
  論文  参考訳（メタデータ） (2021-06-03T11:02:36Z)
• Learning What Makes a Difference from Counterfactual Examples and Gradient Supervision [57.14468881854616]
  ニューラルネットワークの一般化能力を改善するための補助的学習目標を提案する。 我々は、異なるラベルを持つ最小差の例のペア、すなわち反ファクトまたはコントラストの例を使用し、タスクの根底にある因果構造を示す信号を与える。 このテクニックで訓練されたモデルは、配布外テストセットのパフォーマンスを向上させる。
  論文  参考訳（メタデータ） (2020-04-20T02:47:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。