論文の概要: Towards Robust Neural Retrieval Models with Synthetic Pre-Training

• arxiv url: http://arxiv.org/abs/2104.07800v1
• Date: Thu, 15 Apr 2021 22:12:01 GMT
• ステータス: 処理完了
• システム内更新日: 2021-04-20 06:56:41.802625
• Title: Towards Robust Neural Retrieval Models with Synthetic Pre-Training
• Title（参考訳）: 合成前訓練によるロバストニューラルネットワーク検索モデルの構築
• Authors: Revanth Gangi Reddy, Vikas Yadav, Md Arafat Sultan, Martin Franz, Vittorio Castelli, Heng Ji, Avirup Sil
• Abstract要約: 本研究では,シーケンシャル・トゥ・シークエンス生成器を用いて生成した合成トレーニング例について述べる。 本実験では,5つのテストセットにおけるドメイン内およびドメイン外両方の検索性能を,合成例による事前学習により改善する。
• 参考スコア（独自算出の注目度）: 28.547347789198096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Recent work has shown that commonly available machine reading comprehension (MRC) datasets can be used to train high-performance neural information retrieval (IR) systems. However, the evaluation of neural IR has so far been limited to standard supervised learning settings, where they have outperformed traditional term matching baselines. We conduct in-domain and out-of-domain evaluations of neural IR, and seek to improve its robustness across different scenarios, including zero-shot settings. We show that synthetic training examples generated using a sequence-to-sequence generator can be effective towards this goal: in our experiments, pre-training with synthetic examples improves retrieval performance in both in-domain and out-of-domain evaluation on five different test sets.
• Abstract（参考訳）: 近年の研究では、汎用マシンリーディング理解(mrc)データセットが高性能ニューラルネットワーク検索(ir)システムのトレーニングに使用できることが示されている。 しかし、これまでのところ、ニューラルIRの評価は標準的な教師付き学習設定に限られており、従来の用語マッチングベースラインよりも優れていた。 我々は,ニューラルirのドメイン内およびドメイン外の評価を行い,ゼロショット設定を含むさまざまなシナリオにおけるロバスト性の向上を目指す。 本研究では,シーケンス・ツー・シーケンス・ジェネレータを用いて生成した合成トレーニング例を,本実験において,ドメイン内およびドメイン外の5つのテストセットにおける検索性能を向上させることを目的とした。

関連論文リスト

• Enhancing radioisotope identification in gamma spectra with transfer learning [0.0]
  我々は、物理的に導出された合成データを用いてモデルを事前訓練し、転送学習技術を利用して特定の対象領域のモデルを微調整する。 この分析結果から、微調整モデルの方が、合成データや対象ドメインデータのみにのみ訓練されたモデルよりも大幅に優れていたことが示唆された。 本研究は,実験データへのアクセスが制限されたアプリケーションシナリオに伝達学習技術を適用するための概念実証として機能する。
  論文  参考訳（メタデータ） (2024-12-10T00:21:00Z)
• ChaosMining: A Benchmark to Evaluate Post-Hoc Local Attribution Methods in Low SNR Environments [14.284728947052743]
  本研究では,低信号-雑音比(SNR)を特徴とする領域において,非関連領域から予測力のある特徴を識別するためのポストホック局所帰属法の有効性を検討する。 我々の実験では、スケーラビリティの制限とともに、予測と特徴選択の長所を強調しています。
  論文  参考訳（メタデータ） (2024-06-17T23:39:29Z)
• Neural Network-Based Score Estimation in Diffusion Models: Optimization and Generalization [12.812942188697326]
  拡散モデルは、忠実さ、柔軟性、堅牢性を改善した高品質なサンプルを生成する際に、GANと競合する強力なツールとして登場した。 これらのモデルの主要な構成要素は、スコアマッチングを通じてスコア関数を学ぶことである。 様々なタスクにおいて経験的な成功にもかかわらず、勾配に基づくアルゴリズムが証明可能な精度でスコア関数を学習できるかどうかは不明である。
  論文  参考訳（メタデータ） (2024-01-28T08:13:56Z)
• Harnessing Orthogonality to Train Low-Rank Neural Networks [0.07538606213726905]
  本研究は,ニューラルネットワークの学習力学を,トレーニングを通じて重みの特異値分解(SVD)を分析することによって研究する。 本稿では,ニューラルネットワークの直交性を利用した新しいトレーニング手法であるOrthogonality-Informed Adaptive Low-Rank(OIALR)トレーニングを紹介する。
  論文  参考訳（メタデータ） (2024-01-16T17:07:22Z)
• Noisy Self-Training with Synthetic Queries for Dense Retrieval [49.49928764695172]
  合成クエリと組み合わせた,ノイズの多い自己学習フレームワークを提案する。 実験結果から,本手法は既存手法よりも一貫した改善が得られた。 我々の手法はデータ効率が良く、競争のベースラインより優れています。
  論文  参考訳（メタデータ） (2023-11-27T06:19:50Z)
• Towards Theoretically Inspired Neural Initialization Optimization [66.04735385415427]
  我々は,ニューラルネットワークの初期状態を評価するための理論的知見を備えた,GradCosineという微分可能な量を提案する。 標準制約下でGradCosineを最大化することにより、ネットワークのトレーニングとテストの両方の性能を向上させることができることを示す。 サンプル分析から実際のバッチ設定に一般化されたNIOは、無視可能なコストで、より優れた初期化を自動で探すことができる。
  論文  参考訳（メタデータ） (2022-10-12T06:49:16Z)
• New Machine Learning Techniques for Simulation-Based Inference: InferoStatic Nets, Kernel Score Estimation, and Kernel Likelihood Ratio Estimation [4.415977307120616]
  確率密度を標本化できるが直接計算できない場合のスコアと確率比推定器をモデル化する機械学習手法を提案する。 我々はそれぞれKernel Score Estimation (KSE) と Kernel Likelihood Ratio Estimation (KLRE) と呼ばれる新しい戦略を導入し、シミュレーションデータからスコアと確率比関数を学習する。
  論文  参考訳（メタデータ） (2022-10-04T15:22:56Z)
• Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
  本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。 畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。 この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
  論文  参考訳（メタデータ） (2021-08-03T19:24:25Z)
• PredRNN: A Recurrent Neural Network for Spatiotemporal Predictive Learning [109.84770951839289]
  歴史的文脈からビジュアルダイナミクスを学習するための新しいリカレントネットワークであるPredRNNを紹介する。 本手法は,3つの標準データセット上で高い競争結果が得られることを示す。
  論文  参考訳（メタデータ） (2021-03-17T08:28:30Z)
• CDEvalSumm: An Empirical Study of Cross-Dataset Evaluation for Neural Summarization Systems [121.78477833009671]
  データセット間設定下での様々な要約モデルの性能について検討する。 異なるドメインの5つのデータセットに対する11の代表的な要約システムに関する包括的な研究は、モデルアーキテクチャと生成方法の影響を明らかにしている。
  論文  参考訳（メタデータ） (2020-10-11T02:19:15Z)
• Provably Efficient Neural Estimation of Structural Equation Model: An Adversarial Approach [144.21892195917758]
  一般化構造方程式モデル(SEM)のクラスにおける推定について検討する。 線形作用素方程式をmin-maxゲームとして定式化し、ニューラルネットワーク(NN)でパラメータ化し、勾配勾配を用いてニューラルネットワークのパラメータを学習する。 提案手法は,サンプル分割を必要とせず,確固とした収束性を持つNNをベースとしたSEMの抽出可能な推定手順を初めて提供する。
  論文  参考訳（メタデータ） (2020-07-02T17:55:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。