論文の概要: Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines

• arxiv url: http://arxiv.org/abs/2311.17949v1
• Date: Wed, 29 Nov 2023 05:33:28 GMT
• ステータス: 処理完了
• システム内更新日: 2023-12-01 19:38:19.529686
• Title: Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines
• Title（参考訳）: Zero-shot Retrieval: 検索エンジンによる事前トレーニングモデルの拡張
• Authors: Hamed Damirchi, Cristian Rodr\'iguez-Opazo, Ehsan Abbasnejad, Damien Teney, Javen Qinfeng Shi, Stephen Gould, Anton van den Hengel
• Abstract要約: 大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。 本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
• 参考スコア（独自算出の注目度）: 83.65380507372483
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Large pre-trained models can dramatically reduce the amount of task-specific data required to solve a problem, but they often fail to capture domain-specific nuances out of the box. The Web likely contains the information necessary to excel on any specific application, but identifying the right data a priori is challenging. This paper shows how to leverage recent advances in NLP and multi-modal learning to augment a pre-trained model with search engine retrieval. We propose to retrieve useful data from the Web at test time based on test cases that the model is uncertain about. Different from existing retrieval-augmented approaches, we then update the model to address this underlying uncertainty. We demonstrate substantial improvements in zero-shot performance, e.g. a remarkable increase of 15 percentage points in accuracy on the Stanford Cars and Flowers datasets. We also present extensive experiments that explore the impact of noisy retrieval and different learning strategies.
• Abstract（参考訳）: 大規模な事前訓練されたモデルは、問題解決に必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すことができない。 Webには、特定のアプリケーションに精通するために必要な情報が含まれている可能性が高いが、適切なデータを特定することは難しい。 本稿では,NLPとマルチモーダル学習の最近の進歩を利用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。 モデルが不確実なテストケースに基づいて,テスト時にWebから有用なデータを取得することを提案する。 既存の検索強化アプローチと異なり、この基盤となる不確実性に対処するためにモデルを更新する。 例えば、スタンフォード・カーズ・アンド・フラワーズ(Stanford Cars and Flowers)データセットの精度が15ポイント向上したなどです。 また、ノイズ検索と異なる学習戦略の影響を探索する広範な実験も提示する。

関連論文リスト

• A Fresh Take on Stale Embeddings: Improving Dense Retriever Training with Corrector Networks [81.2624272756733]
  密集検索では、ディープエンコーダは入力とターゲットの両方に埋め込みを提供する。 我々は、古いキャッシュされたターゲット埋め込みを調整できる小さなパラメトリック補正ネットワークを訓練する。 私たちのアプローチは、トレーニング中にターゲット埋め込み更新が行われなくても、最先端の結果と一致します。
  論文  参考訳（メタデータ） (2024-09-03T13:29:13Z)
• Combating Missing Modalities in Egocentric Videos at Test Time [92.38662956154256]
  現実のアプリケーションは、プライバシの懸念、効率性の必要性、ハードウェアの問題により、不完全なモダリティを伴う問題に直面することが多い。 再トレーニングを必要とせずに,テスト時にこの問題に対処する新しい手法を提案する。 MiDlは、欠落したモダリティをテスト時にのみ扱う、自己管理型のオンラインソリューションとしては初めてのものだ。
  論文  参考訳（メタデータ） (2024-04-23T16:01:33Z)
• Certain and Approximately Certain Models for Statistical Learning [4.318959672085627]
  特定のトレーニングデータや対象モデルに対して,不足値を持つデータから,正確なモデルを直接学習することが可能であることを示す。 我々は、理論的に保証された効率的なアルゴリズムを構築し、この必要条件を確認し、計算が不要な場合に正確なモデルを返す。
  論文  参考訳（メタデータ） (2024-02-27T22:49:33Z)
• On the Efficacy of Adversarial Data Collection for Question Answering: Results from a Large-Scale Randomized Study [65.17429512679695]
  逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。 ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
  論文  参考訳（メタデータ） (2021-06-02T00:48:33Z)
• ALT-MAS: A Data-Efficient Framework for Active Testing of Machine Learning Algorithms [58.684954492439424]
  少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。 ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
  論文  参考訳（メタデータ） (2021-04-11T12:14:04Z)
• Data Impressions: Mining Deep Models to Extract Samples for Data-free Applications [26.48630545028405]
  データインプレッションはトレーニングデータのプロキシとして機能し、さまざまなタスクを実現するために使用することができる。 いくつかのコンピュータビジョンタスクにおけるデータインプレッションの適用性を示す。
  論文  参考訳（メタデータ） (2021-01-15T11:37:29Z)
• An Efficient Method of Training Small Models for Regression Problems with Knowledge Distillation [1.433758865948252]
  回帰問題に対する知識蒸留の新しい定式化を提案する。 まず,教師モデル予測を用いて,教師モデルを用いた学習サンプルの退学率を下げる新たな損失関数,教師の退学率の減少を提案する。 マルチタスクネットワークを考えることで、学生モデルの特徴抽出の訓練がより効果的になる。
  論文  参考訳（メタデータ） (2020-02-28T08:46:12Z)
• Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
  数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。 本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。 4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
  論文  参考訳（メタデータ） (2020-02-27T10:22:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。