論文の概要: VQA Training Sets are Self-play Environments for Generating Few-shot Pools

• arxiv url: http://arxiv.org/abs/2405.19773v1
• Date: Thu, 30 May 2024 07:38:58 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-31 15:38:52.430898
• Title: VQA Training Sets are Self-play Environments for Generating Few-shot Pools
• Title（参考訳）: VQAトレーニングセットは、いくつかのショットプールを生成するためのセルフプレイ環境である
• Authors: Tautvydas Misiunas, Hassan Mansoor, Jasper Uijlings, Oriana Riva, Victor Carbune,
• Abstract要約: 本稿では,タスクメトリクスを報酬として計算環境を構築するために,既存のトレーニングセットを直接利用できる手法を提案する。 提案手法は、ゼロショットプロンプトから始まり、トレーニングセット上のタスクメトリックを最大化する少数ショット例を選択することにより、反復的にそれらを洗練する。 我々の実験では、GeminiがScreenAIのようなより小型で特殊なモデルを使って、トレーニングセットのパフォーマンスを反復的に改善する方法を実証している。
• 参考スコア（独自算出の注目度）: 2.556825820539693
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Large-language models and large-vision models are increasingly capable of solving compositional reasoning tasks, as measured by breakthroughs in visual-question answering benchmarks. However, state-of-the-art solutions often involve careful construction of large pre-training and fine-tuning datasets, which can be expensive. The use of external tools, whether other ML models, search engines, or APIs, can significantly improve performance by breaking down high-level reasoning questions into sub-questions that are answerable by individual tools, but this approach has similar dataset construction costs to teach fine-tuned models how to use the available tools. We propose a technique in which existing training sets can be directly used for constructing computational environments with task metrics as rewards. This enables a model to autonomously teach itself to use itself or another model as a tool. By doing so, we augment training sets by integrating external signals. The proposed method starts with zero-shot prompts and iteratively refines them by selecting few-shot examples that maximize the task metric on the training set. Our experiments showcase how Gemini learns how to use itself, or another smaller and specialized model such as ScreenAI, to iteratively improve performance on training sets. Our approach successfully generalizes and improves upon zeroshot performance on charts, infographics, and document visual question-answering datasets
• Abstract（参考訳）: 大規模言語モデルと大規模ビジョンモデルは、視覚探索応答ベンチマークのブレークスルーによって測定されるように、構成的推論タスクを解く能力がますます高まっている。 しかし、最先端のソリューションは、しばしば高価な大規模な事前学習と微調整のデータセットを慎重に構築する。 他のMLモデル、検索エンジン、APIといった外部ツールの使用は、ハイレベルな推論質問を個々のツールで答えられるサブクエストに分解することで、パフォーマンスを著しく向上させることができるが、このアプローチには、微調整されたモデルに利用可能なツールの使い方を教えるためのデータセット構築コストが類似している。 本稿では,タスクメトリクスを報酬として計算環境を構築するために,既存のトレーニングセットを直接利用できる手法を提案する。 これにより、モデルが自分自身または他のモデルをツールとして自律的に使用するように教えることができる。 これにより、外部信号を統合することでトレーニングセットを増強する。 提案手法は、ゼロショットプロンプトから始まり、トレーニングセット上のタスクメトリックを最大化する少数ショット例を選択することにより、反復的にそれらを洗練する。 我々の実験では、GeminiがScreenAIのようなより小型で特殊なモデルを使って、トレーニングセットのパフォーマンスを反復的に改善する方法を実証している。 提案手法は, チャート, インフォグラフィック, 文書視覚質問応答データセット上でのゼロショット性能の一般化と改善に成功している。

関連論文リスト

• Deciphering AutoML Ensembles: cattleia's Assistance in Decision-Making [0.0]
  Cattleiaは、回帰、マルチクラス、バイナリ分類タスクのアンサンブルを解読するアプリケーションである。 Auto-Sklearn、AutoGluon、FLAMLという3つのAutoMLパッケージで構築されたモデルで動作する。
  論文  参考訳（メタデータ） (2024-03-19T11:56:21Z)
• A Simple and Efficient Baseline for Data Attribution on Images [107.12337511216228]
  現在の最先端のアプローチでは、モデル予測を正確に評価するために、最大30万のモデルの大規模なアンサンブルが必要となる。 本研究では、自己教師付き学習によって事前訓練されたバックボーンの特徴空間を利用して、データ帰属を行うミニマリストベースラインに焦点を当てる。 提案手法はモデルに依存しず,大規模データセットに容易にスケールできる。
  論文  参考訳（メタデータ） (2023-11-03T17:29:46Z)
• Retrieval-Enhanced Contrastive Vision-Text Models [61.783728119255365]
  そこで本研究では,メモリから取得したクロスモーダルな情報を推論時に表現することで,その埋め込みを洗練できる視覚テキストモデルを提案する。 注目すべきことに、これは凍ったCLIPの上に軽量の単層核融合トランスを用いて行うことができる。 検索強化コントラスト訓練(RECO)がCLIPの性能を大幅に向上することを示す。
  論文  参考訳（メタデータ） (2023-06-12T15:52:02Z)
• Delving Deeper into Data Scaling in Masked Image Modeling [145.36501330782357]
  視覚認識のためのマスク付き画像モデリング(MIM)手法のスケーリング能力に関する実証的研究を行った。 具体的には、Webで収集したCoyo-700Mデータセットを利用する。 我々のゴールは、データとモデルのサイズの異なるスケールでダウンストリームタスクのパフォーマンスがどのように変化するかを調べることです。
  論文  参考訳（メタデータ） (2023-05-24T15:33:46Z)
• RPLKG: Robust Prompt Learning with Knowledge Graph [11.893917358053004]
  知識グラフ(RPLKG)を用いた頑健な学習手法を提案する。 知識グラフに基づいて,多種多様な解釈可能かつ有意義なプロンプトセットを自動設計する。 RPLKGはゼロショット学習に比べてパフォーマンスが大幅に向上した。
  論文  参考訳（メタデータ） (2023-04-21T08:22:58Z)
• DINOv2: Learning Robust Visual Features without Supervision [75.42921276202522]
  この研究は、既存の事前学習手法、特に自己教師付き手法が、多様なソースから十分なキュレートされたデータで訓練すれば、そのような特徴を生み出すことができることを示している。 技術的な貢献の多くは、大規模なトレーニングを加速し、安定化することを目的としています。 データの観点からは、自己組織化されていないデータではなく、専用で多様でキュレートされた画像データセットを構築するための自動パイプラインを提案する。
  論文  参考訳（メタデータ） (2023-04-14T15:12:19Z)
• Toolformer: Language Models Can Teach Themselves to Use Tools [62.04867424598204]
  言語モデル(LM)は、特に大規模において、いくつかの例やテキスト命令から新しいタスクを解く素晴らしい能力を示す。 LMは、シンプルなAPIを通じて外部ツールの使用を自覚し、両方の世界のベストを達成できることを示します。 Toolformerは、どのAPIを呼び出すか、いつ呼び出すか、どの引数を渡すか、結果を将来のトークン予測に最もうまく組み込む方法を訓練したモデルです。
  論文  参考訳（メタデータ） (2023-02-09T16:49:57Z)
• How to Train an Accurate and Efficient Object Detection Model on Any Dataset [0.0]
  オブジェクト検出訓練のためのデータセットに依存しないテンプレートを提案する。 慎重に選択され、事前訓練されたモデルと、さらなるトレーニングのための堅牢なトレーニングパイプラインで構成される。 私たちのソリューションは最初から動作し、幅広いデータセットに対して強力なベースラインを提供します。
  論文  参考訳（メタデータ） (2022-11-30T17:09:01Z)
• Composing Ensembles of Pre-trained Models via Iterative Consensus [95.10641301155232]
  本稿では,異なる事前学習モデルのアンサンブルを構成するための統一的なフレームワークを提案する。 事前学習したモデルを「ジェネレータ」あるいは「スコーラ」として使用し、クローズドループ反復コンセンサス最適化により構成する。 スコアラーのアンサンブルによって達成されたコンセンサスは、シングルスコアラーのフィードバックよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-20T18:46:31Z)
• Self-Supervised Visual Representation Learning Using Lightweight Architectures [0.0]
  自己教師付き学習では、マシンによってアノテーションが生成されるデータセットを使用して、プレテキストタスクを解決するためにモデルが訓練される。 我々は、画像データから特徴を抽出する最も顕著な前文タスクを批判的に検討する。 我々は、他の全てのパラメータを均一に保ちながら、様々な自己監督技術の性能について研究する。
  論文  参考訳（メタデータ） (2021-10-21T14:13:10Z)
• StackGenVis: Alignment of Data, Algorithms, and Models for Stacking Ensemble Learning Using Performance Metrics [4.237343083490243]
  機械学習(ML)では、バッグング、ブースティング、スタックングといったアンサンブル手法が広く確立されている。 StackGenVisは、スタック化された一般化のためのビジュアル分析システムである。
  論文  参考訳（メタデータ） (2020-05-04T15:43:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。