論文の概要: Towards Robust Neural Retrieval Models with Synthetic Pre-Training

• arxiv url: http://arxiv.org/abs/2104.07800v1
• Date: Thu, 15 Apr 2021 22:12:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 06:56:41.802625
• Title: Towards Robust Neural Retrieval Models with Synthetic Pre-Training
• Title（参考訳）: 合成前訓練によるロバストニューラルネットワーク検索モデルの構築
• Authors: Revanth Gangi Reddy, Vikas Yadav, Md Arafat Sultan, Martin Franz, Vittorio Castelli, Heng Ji, Avirup Sil
• Abstract要約: 本研究では,シーケンシャル・トゥ・シークエンス生成器を用いて生成した合成トレーニング例について述べる。 本実験では,5つのテストセットにおけるドメイン内およびドメイン外両方の検索性能を,合成例による事前学習により改善する。
• 参考スコア（独自算出の注目度）: 28.547347789198096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has shown that commonly available machine reading comprehension (MRC) datasets can be used to train high-performance neural information retrieval (IR) systems. However, the evaluation of neural IR has so far been limited to standard supervised learning settings, where they have outperformed traditional term matching baselines. We conduct in-domain and out-of-domain evaluations of neural IR, and seek to improve its robustness across different scenarios, including zero-shot settings. We show that synthetic training examples generated using a sequence-to-sequence generator can be effective towards this goal: in our experiments, pre-training with synthetic examples improves retrieval performance in both in-domain and out-of-domain evaluation on five different test sets.
• Abstract（参考訳）: 近年の研究では、汎用マシンリーディング理解(mrc)データセットが高性能ニューラルネットワーク検索(ir)システムのトレーニングに使用できることが示されている。 しかし、これまでのところ、ニューラルIRの評価は標準的な教師付き学習設定に限られており、従来の用語マッチングベースラインよりも優れていた。 我々は,ニューラルirのドメイン内およびドメイン外の評価を行い,ゼロショット設定を含むさまざまなシナリオにおけるロバスト性の向上を目指す。 本研究では,シーケンス・ツー・シーケンス・ジェネレータを用いて生成した合成トレーニング例を,本実験において,ドメイン内およびドメイン外の5つのテストセットにおける検索性能を向上させることを目的とした。

関連論文リスト

• ChaosMining: A Benchmark to Evaluate Post-Hoc Local Attribution Methods in Low SNR Environments [14.284728947052743]
  本研究では,低信号-雑音比(SNR)を特徴とする領域において,非関連領域から予測力のある特徴を識別するためのポストホック局所帰属法の有効性を検討する。 我々の実験では、スケーラビリティの制限とともに、予測と特徴選択の長所を強調しています。
  論文  参考訳（メタデータ） (2024-06-17T23:39:29Z)
• Neural Network-Based Score Estimation in Diffusion Models: Optimization and Generalization [12.812942188697326]
  拡散モデルは、忠実さ、柔軟性、堅牢性を改善した高品質なサンプルを生成する際に、GANと競合する強力なツールとして登場した。 これらのモデルの主要な構成要素は、スコアマッチングを通じてスコア関数を学ぶことである。 様々なタスクにおいて経験的な成功にもかかわらず、勾配に基づくアルゴリズムが証明可能な精度でスコア関数を学習できるかどうかは不明である。
  論文  参考訳（メタデータ） (2024-01-28T08:13:56Z)
• Harnessing Orthogonality to Train Low-Rank Neural Networks [0.07538606213726905]
  本研究は,ニューラルネットワークの学習力学を,トレーニングを通じて重みの特異値分解(SVD)を分析することによって研究する。 本稿では,ニューラルネットワークの直交性を利用した新しいトレーニング手法であるOrthogonality-Informed Adaptive Low-Rank(OIALR)トレーニングを紹介する。
  論文  参考訳（メタデータ） (2024-01-16T17:07:22Z)
• Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
  合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。 実験結果から,本手法は既存手法よりも一貫した改善が得られた。 我々の手法はデータ効率が良く、競争のベースラインより優れています。
  論文  参考訳（メタデータ） (2023-11-27T06:19:50Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• New Machine Learning Techniques for Simulation-Based Inference: InferoStatic Nets, Kernel Score Estimation, and Kernel Likelihood Ratio Estimation [4.415977307120616]
  確率密度を標本化できるが直接計算できない場合のスコアと確率比推定器をモデル化する機械学習手法を提案する。 我々はそれぞれKernel Score Estimation (KSE) と Kernel Likelihood Ratio Estimation (KLRE) と呼ばれる新しい戦略を導入し、シミュレーションデータからスコアと確率比関数を学習する。
  論文  参考訳（メタデータ） (2022-10-04T15:22:56Z)
• Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
  本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。 畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。 この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
  論文  参考訳（メタデータ） (2021-08-03T19:24:25Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• Multi-Sample Online Learning for Spiking Neural Networks based on Generalized Expectation Maximization [42.125394498649015]
  スパイキングニューラルネットワーク(SNN)は、バイナリニューラルダイナミックアクティベーションを通じて処理することで、生物学的脳の効率の一部をキャプチャする。 本稿では, シナプス重みを共有しながら, 独立したスパイキング信号をサンプリングする複数のコンパートメントを活用することを提案する。 鍵となる考え方は、これらの信号を使ってログライクなトレーニング基準のより正確な統計的推定と勾配を求めることである。
  論文  参考訳（メタデータ） (2021-02-05T16:39:42Z)
• CDEvalSumm: An Empirical Study of Cross-Dataset Evaluation for Neural Summarization Systems [121.78477833009671]
  データセット間設定下での様々な要約モデルの性能について検討する。 異なるドメインの5つのデータセットに対する11の代表的な要約システムに関する包括的な研究は、モデルアーキテクチャと生成方法の影響を明らかにしている。
  論文  参考訳（メタデータ） (2020-10-11T02:19:15Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。