論文の概要: Meta Adaptive Neural Ranking with Contrastive Synthetic Supervision

• arxiv url: http://arxiv.org/abs/2012.14862v1
• Date: Tue, 29 Dec 2020 17:28:53 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-18 20:34:44.272721
• Title: Meta Adaptive Neural Ranking with Contrastive Synthetic Supervision
• Title（参考訳）: Contrastive Synthetic Supervision を用いたメタ適応型ニューラルランクリング
• Authors: Si Sun, Yingzhuo Qian, Zhenghao Liu, Chenyan Xiong, Kaitao Zhang, Jie Bao, Zhiyuan Liu, Paul Bennett
• Abstract要約: 本論文では,Neu-IRを数発検索のシナリオで改善する。 Web、ニュース、バイオメディカルの3つの異なる検索領域の実験では、ニューラルネットワークの精度が大幅に向上した。
• 参考スコア（独自算出の注目度）: 30.338823146418147
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Neural Information Retrieval (Neu-IR) models have shown their effectiveness and thrive from end-to-end training with massive high-quality relevance labels. Nevertheless, relevance labels at such quantity are luxury and unavailable in many ranking scenarios, for example, in biomedical search. This paper improves Neu-IR in such few-shot search scenarios by meta-adaptively training neural rankers with synthetic weak supervision. We first leverage contrastive query generation (ContrastQG) to synthesize more informative queries as in-domain weak relevance labels, and then filter them with meta adaptive learning to rank (MetaLTR) to better generalize neural rankers to the target few-shot domain. Experiments on three different search domains: web, news, and biomedical, demonstrate significantly improved few-shot accuracy of neural rankers with our weak supervision framework. The code of this paper will be open-sourced.
• Abstract（参考訳）: Neural Information Retrieval (Neu-IR)モデルは、大規模な高品質なレバレッジラベルによるエンドツーエンドトレーニングの有効性を示し、成長している。 それにもかかわらず、そのような量の関連ラベルは、例えばバイオメディカルサーチにおいて、多くのランキングシナリオで高級で利用できない。 本稿では, ニューラルランサーのメタ適応訓練により, 数ショット探索シナリオにおけるNeu-IRの改良を行った。 まず、コントラストクエリ生成(ContrastQG)を利用して、ドメイン内の弱関連ラベルとしてより情報性の高いクエリを合成し、メタ適応学習でランク付けし(MetaLTR)、ターゲットの少数ショットドメインにニューラルネットワークローダをより一般化する。 Web、ニュース、バイオメディカルの3つの異なる検索領域の実験は、我々の弱い監視フレームワークを用いて、ニューラルネットワークローダのわずかな精度を大幅に改善したことを示している。 この論文のコードはオープンソース化される。

関連論文リスト

• DUQGen: Effective Unsupervised Domain Adaptation of Neural Rankers by Diversifying Synthetic Query Generation [8.661419320202787]
  MS-MARCOのような大規模タスク固有のトレーニングデータで事前訓練された最先端のニューラルローダーは、ドメイン適応なしで様々なランク付けタスクに強いパフォーマンスを示すことが示されている(ゼロショットとも呼ばれる)。 本稿では,従来の文献における重要なギャップに対処する,ランク付けのための教師なしドメイン適応手法であるDUQGenを提案する。
  論文  参考訳（メタデータ） (2024-04-03T05:50:42Z)
• Decorrelating neurons using persistence [29.25969187808722]
  2つの正規化項は、クリッドの最小スパンニングツリーの重みから計算される。 ニューロン間の相関関係を最小化することで、正規化条件よりも低い精度が得られることを示す。 正規化の可微分性の証明を含むので、最初の効果的なトポロジカルな永続性に基づく正規化用語を開発することができる。
  論文  参考訳（メタデータ） (2023-08-09T11:09:14Z)
• How to tackle an emerging topic? Combining strong and weak labels for Covid news NER [90.90053968189156]
  新型コロナウイルスニュースNERデータセット(COVIDNEWS-NER)について紹介する。 手書きの強ラベル付き文3000点と,弱ラベル付き文13,000点を自動生成する。 弱ラベルと強ラベルを併用したトレーニングの分析を行い,ConTROSTERのCOVIDNEWS-NERに対する効果を示す。
  論文  参考訳（メタデータ） (2022-09-29T21:33:02Z)
• GNNRank: Learning Global Rankings from Pairwise Comparisons via Directed Graph Neural Networks [68.61934077627085]
  本稿では,グラフ埋め込みを学習可能なGNNと互換性のあるモデリングフレームワークであるGNNRankを紹介する。 既存の手法と比較して,我々の手法が競争力があり,しばしば優れた性能を発揮することを示す。
  論文  参考訳（メタデータ） (2022-02-01T04:19:50Z)
• Efficient and Robust Classification for Sparse Attacks [34.48667992227529]
  我々は、画像認識、自然言語処理、マルウェア検出の領域において効果的な攻撃として示されてきた$ell$-normで束縛された摂動を考える。 我々は,「トランケーション」と「アドリアル・トレーニング」を組み合わせた新しい防衛手法を提案する。 得られた洞察に触発され、これらのコンポーネントをニューラルネットワーク分類器に拡張する。
  論文  参考訳（メタデータ） (2022-01-23T21:18:17Z)
• Weakly-supervised Graph Meta-learning for Few-shot Node Classification [53.36828125138149]
  新しいグラフメタ学習フレームワーク - Graph Hallucination Networks (Meta-GHN) を提案する。 新たなロバストネス強化エピソードトレーニングに基づいて、Meta-GHNは、弱いラベル付きデータからクリーンノード表現を幻覚させるメタ学習を行う。 大規模な実験は、既存のグラフメタ学習研究よりもMeta-GHNの方が優れていることを示す。
  論文  参考訳（メタデータ） (2021-06-12T22:22:10Z)
• Contrastive Fine-tuning Improves Robustness for Neural Rankers [1.3868793694964396]
  本稿では、ドメイン外データやクエリの摂動に対するロバスト性を大幅に向上させることができる、微調整型ニューラルローダの新しい手法を提案する。 関連ラベルを用いて類似/異種ペアを表現し、異なるクエリとドキュメントのペア間で、モデルが基礎となるマッチングセマンティクスを学習できるようにする。 提案手法は, BERT と BART をベースとしたロータの問合せ, ノイズ摂動, ゼロショット転送に対するロバスト性の向上を実現する。
  論文  参考訳（メタデータ） (2021-05-27T04:00:22Z)
• Neural networks for Anatomical Therapeutic Chemical (ATC) [83.73971067918333]
  両方向の長期記憶ネットワーク(BiLSTM)から抽出された集合を含む、特徴の異なるセットで訓練された複数の複数ラベル分類器を組み合わせることを提案する。 実験はこのアプローチのパワーを実証し、文献で報告された最良の手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2021-01-22T19:49:47Z)
• Artificial Neural Variability for Deep Learning: On Overfitting, Noise Memorization, and Catastrophic Forgetting [135.0863818867184]
  人工ニューラルネットワーク(ANV)は、ニューラルネットワークが自然のニューラルネットワークからいくつかの利点を学ぶのに役立つ。 ANVは、トレーニングデータと学習モデルの間の相互情報の暗黙の正則化として機能する。 過度にフィットし、ノイズの記憶をラベル付けし、無視できるコストで破滅的な忘れを効果的に軽減することができる。
  論文  参考訳（メタデータ） (2020-11-12T06:06:33Z)
• Interpretable Learning-to-Rank with Generalized Additive Models [78.42800966500374]
  ラーニング・ツー・ランクのモデルの解釈可能性は、非常に重要でありながら、比較的過小評価されている研究分野である。 解釈可能なランキングモデルの最近の進歩は、主に既存のブラックボックスランキングモデルに対するポストホックな説明の生成に焦点を当てている。 一般化加法モデル(GAM)をランキングタスクに導入することにより,本質的に解釈可能な学習 to ランクの基盤を築いた。
  論文  参考訳（メタデータ） (2020-05-06T01:51:30Z)
• Exemplar Auditing for Multi-Label Biomedical Text Classification [0.4873362301533824]
  我々は、最近提案されたゼロショットシーケンスラベリング手法「畳み込み分解による教師付きラベリング」を一般化する。 この手法は"イントロスペクション(introspection)"と分類され、推論時間予測のきめ細かい特徴を最も近い隣人に関連付ける。 提案手法は,医療従事者に対して,モデルの予測を駆動する健全な特徴を理解する上で,競争力のある分類モデルと尋問メカニズムの両方を提供する。
  論文  参考訳（メタデータ） (2020-04-07T02:54:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。