論文の概要: Zero-shot Neural Passage Retrieval via Domain-targeted Synthetic Question Generation

• arxiv url: http://arxiv.org/abs/2004.14503v3
• Date: Wed, 27 Jan 2021 16:04:12 GMT
• ステータス: 処理完了
• システム内更新日: 2022-12-08 14:19:26.022536
• Title: Zero-shot Neural Passage Retrieval via Domain-targeted Synthetic Question Generation
• Title（参考訳）: ドメイン目標合成質問生成によるゼロショットニューラルパス検索
• Authors: Ji Ma, Ivan Korotkov, Yinfei Yang, Keith Hall and Ryan McDonald
• Abstract要約: ニューラルネットワークモデルの普及に対する大きな障害は、従来の用語ベースのテクニックを超えるために、大規模な教師付きトレーニングセットが必要であることである。 本稿では,このギャップを埋めるために合成質問生成を用いる経路探索のためのゼロショット学習手法を提案する。
• 参考スコア（独自算出の注目度）: 10.324402925019946
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: A major obstacle to the wide-spread adoption of neural retrieval models is that they require large supervised training sets to surpass traditional term-based techniques, which are constructed from raw corpora. In this paper, we propose an approach to zero-shot learning for passage retrieval that uses synthetic question generation to close this gap. The question generation system is trained on general domain data, but is applied to documents in the targeted domain. This allows us to create arbitrarily large, yet noisy, question-passage relevance pairs that are domain specific. Furthermore, when this is coupled with a simple hybrid term-neural model, first-stage retrieval performance can be improved further. Empirically, we show that this is an effective strategy for building neural passage retrieval models in the absence of large training corpora. Depending on the domain, this technique can even approach the accuracy of supervised models.
• Abstract（参考訳）: ニューラル検索モデルが広く採用される上での大きな障害は、生のコーパスから構築された従来の用語ベースの技術を超えるために、大規模な教師付きトレーニングセットを必要とすることだ。 本稿では,このギャップを埋めるために合成質問生成を用いる経路探索のためのゼロショット学習手法を提案する。 質問生成システムは一般的なドメインデータに基づいて訓練されるが、対象ドメインの文書に適用される。 これにより、ドメイン固有の、任意に大きく、騒がしい、質問-パス関係のペアを作成することができます。 さらに、これを単純なハイブリッド項ニューラルモデルと組み合わせることで、第1段階検索性能をさらに向上させることができる。 実験により, 大規模訓練コーパスが存在しない場合, 神経経路検索モデルを構築するための効果的な戦略であることが示された。 ドメインによっては、このテクニックは教師付きモデルの精度に近づくことさえできる。

関連論文リスト

• Post-Hoc Robustness Enhancement in Graph Neural Networks with Conditional Random Fields [19.701706244728037]
  グラフニューラルネットワーク(GNN)は、敵の攻撃に弱いことが示されている。 本研究では,推論段階におけるGNNの堅牢性向上を目的としたポストホックアプローチであるRobustCRFを紹介する。
  論文  参考訳（メタデータ） (2024-11-08T08:26:42Z)
• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• State-Space Modeling in Long Sequence Processing: A Survey on Recurrence in the Transformer Era [59.279784235147254]
  このサーベイは、シーケンシャルなデータ処理の反復モデルに基づく最新のアプローチの詳細な概要を提供する。 新たなイメージは、標準のバックプロパゲーション・オブ・タイムから外れた学習アルゴリズムによって構成される、新しいルートを考える余地があることを示唆している。
  論文  参考訳（メタデータ） (2024-06-13T12:51:22Z)
• On the Resurgence of Recurrent Models for Long Sequences -- Survey and Research Opportunities in the Transformer Era [59.279784235147254]
  この調査は、Recurrenceの統一の傘の下に構築されたこれらのトレンドの概要を提供することを目的としている。 長いシーケンスを処理するという考え方を捨てる際に顕著になる新しい研究機会を強調している。
  論文  参考訳（メタデータ） (2024-02-12T23:55:55Z)
• GPT-ST: Generative Pre-Training of Spatio-Temporal Graph Neural Networks [24.323017830938394]
  この作業は、ベースラインとシームレスに統合し、パフォーマンスを向上する事前トレーニングフレームワークを導入することで、課題に対処することを目的としている。 フレームワークは2つの重要な設計に基づいて構築されている。 Apple-to-appleマスクオートエンコーダは、学習時間依存のための事前トレーニングモデルである。 これらのモジュールは、時間内カスタマイズされた表現とセマンティック・クラスタ間関係を捉えるように設計されている。
  論文  参考訳（メタデータ） (2023-11-07T02:36:24Z)
• Unsupervised Non-transferable Text Classification [8.077841946617472]
  本稿では,テキスト分類タスクのための教師なし非参照型学習手法を提案する。 我々は、ターゲットドメインへのアクセスを回復するための秘密鍵コンポーネントをアプローチに導入する。
  論文  参考訳（メタデータ） (2022-10-23T08:15:43Z)
• Goal-driven Self-Attentive Recurrent Networks for Trajectory Prediction [31.02081143697431]
  人間の軌道予測は、自動運転車、社会認識ロボット、およびビデオ監視アプリケーションの主要な構成要素である。 本稿では,過去の観測位置のみに作用する軽量な注意型リカレントバックボーンを提案する。 我々はU-Netアーキテクチャに基づく共通のゴールモジュールを使用し、シーン準拠の目的地を予測するために意味情報を抽出する。
  論文  参考訳（メタデータ） (2022-04-25T11:12:37Z)
• Ultrasound Signal Processing: From Models to Deep Learning [64.56774869055826]
  医用超音波画像は、信頼性と解釈可能な画像再構成を提供するために、高品質な信号処理に大きく依存している。 データ駆動方式で最適化されたディープラーニングベースの手法が人気を集めている。 比較的新しいパラダイムは、データ駆動型ディープラーニングの活用とドメイン知識の活用という2つのパワーを組み合わせたものだ。
  論文  参考訳（メタデータ） (2022-04-09T13:04:36Z)
• SAGE: Generating Symbolic Goals for Myopic Models in Deep Reinforcement Learning [18.37286885057802]
  従来使用できなかった不完全モデルのクラスを利用するための学習と計画を組み合わせたアルゴリズムを提案する。 これは、象徴的な計画とニューラルネットワークのアプローチの長所を、タクシーの世界とマインクラフトのバリエーションで競合する手法を上回る、新しい方法で組み合わせたものだ。
  論文  参考訳（メタデータ） (2022-03-09T22:55:53Z)
• TraND: Transferable Neighborhood Discovery for Unsupervised Cross-domain Gait Recognition [77.77786072373942]
  本稿では、教師なしクロスドメイン歩行認識のための領域ギャップを橋渡しするTransferable Neighborhood Discovery (TraND) フレームワークを提案する。 我々は、潜在空間におけるラベルなしサンプルの自信ある近傍を自動的に発見するために、エンドツーエンドのトレーニング可能なアプローチを設計する。 提案手法は,CASIA-BとOU-LPの2つの公開データセットに対して,最先端の結果を得る。
  論文  参考訳（メタデータ） (2021-02-09T03:07:07Z)
• Unsupervised Intra-domain Adaptation for Semantic Segmentation through Self-Supervision [73.76277367528657]
  畳み込みニューラルネットワークに基づくアプローチは、セマンティックセグメンテーションにおいて顕著な進歩を遂げた。 この制限に対処するために、グラフィックエンジンから生成された注釈付きデータを使用してセグメンテーションモデルをトレーニングする。 ドメイン間およびドメイン間ギャップを最小化する2段階の自己教師付きドメイン適応手法を提案する。
  論文  参考訳（メタデータ） (2020-04-16T15:24:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。