論文の概要: Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines
- arxiv url: http://arxiv.org/abs/2311.17949v1
- Date: Wed, 29 Nov 2023 05:33:28 GMT
- ステータス: 処理完了
- システム内更新日: 2023-12-01 19:38:19.529686
- Title: Zero-shot Retrieval: Augmenting Pre-trained Models with Search Engines
- Title(参考訳): Zero-shot Retrieval: 検索エンジンによる事前トレーニングモデルの拡張
- Authors: Hamed Damirchi, Cristian Rodr\'iguez-Opazo, Ehsan Abbasnejad, Damien
Teney, Javen Qinfeng Shi, Stephen Gould, Anton van den Hengel
- Abstract要約: 大規模で事前訓練されたモデルは、問題を解決するのに必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すのに失敗する。
本稿では,NLPとマルチモーダル学習の最近の進歩を活用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
- 参考スコア(独自算出の注目度): 83.65380507372483
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large pre-trained models can dramatically reduce the amount of task-specific
data required to solve a problem, but they often fail to capture
domain-specific nuances out of the box. The Web likely contains the information
necessary to excel on any specific application, but identifying the right data
a priori is challenging. This paper shows how to leverage recent advances in
NLP and multi-modal learning to augment a pre-trained model with search engine
retrieval. We propose to retrieve useful data from the Web at test time based
on test cases that the model is uncertain about. Different from existing
retrieval-augmented approaches, we then update the model to address this
underlying uncertainty. We demonstrate substantial improvements in zero-shot
performance, e.g. a remarkable increase of 15 percentage points in accuracy on
the Stanford Cars and Flowers datasets. We also present extensive experiments
that explore the impact of noisy retrieval and different learning strategies.
- Abstract(参考訳): 大規模な事前訓練されたモデルは、問題解決に必要なタスク固有のデータの量を劇的に削減するが、多くの場合、ドメイン固有のニュアンスを箱から取り出すことができない。
Webには、特定のアプリケーションに精通するために必要な情報が含まれている可能性が高いが、適切なデータを特定することは難しい。
本稿では,NLPとマルチモーダル学習の最近の進歩を利用して,検索エンジン検索による事前学習モデルを強化する方法について述べる。
モデルが不確実なテストケースに基づいて,テスト時にWebから有用なデータを取得することを提案する。
既存の検索強化アプローチと異なり、この基盤となる不確実性に対処するためにモデルを更新する。
例えば、スタンフォード・カーズ・アンド・フラワーズ(Stanford Cars and Flowers)データセットの精度が15ポイント向上したなどです。
また、ノイズ検索と異なる学習戦略の影響を探索する広範な実験も提示する。
関連論文リスト
- Certain and Approximately Certain Models for Statistical Learning [4.318959672085627]
特定のトレーニングデータや対象モデルに対して,不足値を持つデータから,正確なモデルを直接学習することが可能であることを示す。
我々は、理論的に保証された効率的なアルゴリズムを構築し、この必要条件を確認し、計算が不要な場合に正確なモデルを返す。
論文 参考訳(メタデータ) (2024-02-27T22:49:33Z) - Corrective Machine Unlearning [23.969562017133367]
データの操作や誤操作を検出すると、開発者が何ができるのかを調査する。
「矯正機械学習」は、未知の操作による影響を緩和する問題である。
我々は、ゴールドスタンダード・リトレーニング・トゥ・スクラッチを含む既存の未学習手法のほとんどは、操作されたデータの大部分を識別する必要があることを発見した。
論文 参考訳(メタデータ) (2024-02-21T18:54:37Z) - Fantastic Gains and Where to Find Them: On the Existence and Prospect of
General Knowledge Transfer between Any Pretrained Model [74.62272538148245]
事前訓練されたモデルの任意のペアリングに対して、一方のモデルは他方では利用できない重要なデータコンテキストを抽出する。
このような「補的」な知識を,性能劣化を伴わずに,あるモデルから別のモデルへ伝達できるかどうかを検討する。
論文 参考訳(メタデータ) (2023-10-26T17:59:46Z) - Limits of Machine Learning for Automatic Vulnerability Detection [0.0]
自動脆弱性検出のための機械学習の最近の成果は非常に有望である。
しかし、これらの結果が一般的なものであり、データセットに特有でないことをどうやって知るのか?
トレーニングセットまたはテストセットの増幅中に意味保存変換を適用するクロスバリデーションアルゴリズムを提案する。
改善されたロバスト性は、トレーニングデータ増幅時に使用される特定の変換にのみ適用される。
論文 参考訳(メタデータ) (2023-06-28T08:41:39Z) - Machine Unlearning of Features and Labels [72.81914952849334]
機械学習モデルにおけるアンラーニングとラベルのファーストシナリオを提案する。
提案手法は,影響関数の概念に基づいて,モデルパラメータのクローズドフォーム更新によるアンラーニングを実現する。
論文 参考訳(メタデータ) (2021-08-26T04:42:24Z) - On the Efficacy of Adversarial Data Collection for Question Answering:
Results from a Large-Scale Randomized Study [65.17429512679695]
逆データ収集(ADC)では、人間の労働力がモデルとリアルタイムで対話し、誤った予測を誘発する例を作成しようとする。
ADCの直感的な魅力にも拘わらず、敵対的データセットのトレーニングがより堅牢なモデルを生成するかどうかは不明だ。
論文 参考訳(メタデータ) (2021-06-02T00:48:33Z) - ALT-MAS: A Data-Efficient Framework for Active Testing of Machine
Learning Algorithms [58.684954492439424]
少量のラベル付きテストデータのみを用いて機械学習モデルを効率的にテストする新しいフレームワークを提案する。
ベイズニューラルネットワーク(bnn)を用いたモデルアンダーテストの関心指標の推定が目的である。
論文 参考訳(メタデータ) (2021-04-11T12:14:04Z) - Data Impressions: Mining Deep Models to Extract Samples for Data-free
Applications [26.48630545028405]
データインプレッションはトレーニングデータのプロキシとして機能し、さまざまなタスクを実現するために使用することができる。
いくつかのコンピュータビジョンタスクにおけるデータインプレッションの適用性を示す。
論文 参考訳(メタデータ) (2021-01-15T11:37:29Z) - An Efficient Method of Training Small Models for Regression Problems
with Knowledge Distillation [1.433758865948252]
回帰問題に対する知識蒸留の新しい定式化を提案する。
まず,教師モデル予測を用いて,教師モデルを用いた学習サンプルの退学率を下げる新たな損失関数,教師の退学率の減少を提案する。
マルチタスクネットワークを考えることで、学生モデルの特徴抽出の訓練がより効果的になる。
論文 参考訳(メタデータ) (2020-02-28T08:46:12Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳(メタデータ) (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。