論文の概要: Retrieval Augmentation for T5 Re-ranker using External Sources
- arxiv url: http://arxiv.org/abs/2210.05145v1
- Date: Tue, 11 Oct 2022 04:54:19 GMT
- ステータス: 処理完了
- システム内更新日: 2022-10-12 16:37:06.261870
- Title: Retrieval Augmentation for T5 Re-ranker using External Sources
- Title(参考訳): 外部ソースを用いたT5リランカの検索拡張
- Authors: Kai Hui, Tao Chen, Zhen Qin, Honglei Zhuang, Fernando Diaz, Mike
Bendersky, Don Metzler
- Abstract要約: 2つの外部コーパスから取得した高品質な情報を用いて、T5ベースのリランカを強化する方法について検討する。
提案手法は,T5ベースのリランカの検索能力向上を実証的に実証するものである。
- 参考スコア(独自算出の注目度): 71.71619813276027
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Retrieval augmentation has shown promising improvements in different tasks.
However, whether such augmentation can assist a large language model based
re-ranker remains unclear. We investigate how to augment T5-based re-rankers
using high-quality information retrieved from two external corpora -- a
commercial web search engine and Wikipedia. We empirically demonstrate how
retrieval augmentation can substantially improve the effectiveness of T5-based
re-rankers for both in-domain and zero-shot out-of-domain re-ranking tasks.
- Abstract(参考訳): 検索の強化は様々なタスクにおいて有望な改善を示している。
しかし、そのような拡張が大規模言語モデルに基づく再ランカを補助できるかどうかは不明だ。
2つの外部コーパス(商用ウェブ検索エンジンとwikipedia)から得られた高品質な情報を用いて、t5ベースの再ランク付けを増強する方法を検討する。
我々は,検索強化がドメイン内およびゼロショットアウトオブドメインのリランキングタスクにおけるt5ベースのリランキングの有効性を効果的に改善できることを実証的に示す。
関連論文リスト
- Generate, Filter, and Fuse: Query Expansion via Multi-Step Keyword
Generation for Zero-Shot Neural Rankers [75.54436030331793]
本研究では,現在の文献に拡張技術を直接適用することにより,ゼロショット性能が劣化することを示す。
我々は,大規模言語モデルとニューラルローダを含むパイプラインであるGFFを提案し,より効率的にクエリ拡張を生成する。
論文 参考訳(メタデータ) (2023-11-15T18:11:41Z) - Inference-time Re-ranker Relevance Feedback for Neural Information
Retrieval [84.20748790986131]
検索と参照のフレームワークは、まずK(例えば100)候補を検索し、次により強力なクロスエンコーダモデルを使って上位の候補をランク付けする。
リランカは一般的に、レトリバーよりも優れた候補スコアを生成するが、トップKのみの検索に限られる。
本研究では、リランカを活用して、推論時間関連性フィードバックを検索者に提供することにより、検索を改善する。
論文 参考訳(メタデータ) (2023-05-19T15:30:33Z) - Robustness of Visual Explanations to Common Data Augmentation [4.865747672937677]
ポストホックな説明可能性法は潜在的な解決策であるが、信頼性は疑問視されている。
本研究は,自然発生型変換に対するポストホック視覚的説明の応答について検討する。
変形の種類によっては頑健性に顕著な違いが見られ、いくつかの説明可能性法は他の方法よりも安定している。
論文 参考訳(メタデータ) (2023-04-18T13:31:52Z) - Compositional Zero-Shot Domain Transfer with Text-to-Text Models [65.32821642379066]
ゼロショットドメイン転送のための新しい合成転写学習フレームワーク(DoT5)を提案する。
ドメイン内のラベルにアクセスすることなく、DoT5はドメイン知識とタスク知識をマルチタスクで共同で学習する。
DoT5はマルチタスク学習による合成伝達学習の有効性を示す。
特にDoT5は、現在のSOTAを7以上の絶対点の精度でゼロショット転送で上回る。
論文 参考訳(メタデータ) (2023-03-23T15:58:41Z) - Improving Out-of-Distribution Generalization of Neural Rerankers with
Contextualized Late Interaction [52.63663547523033]
マルチベクトルの最も単純な形式である後期相互作用は、[]ベクトルのみを使用して類似度スコアを計算する神経リランカにも役立ちます。
異なるモデルサイズと多様な性質の第一段階のレトリバーに一貫性があることが示される。
論文 参考訳(メタデータ) (2023-02-13T18:42:17Z) - Energy-based Latent Aligner for Incremental Learning [83.0135278697976]
ディープラーニングモデルは、新しいタスクを漸進的に学習しながら、以前の知識を忘れる傾向があります。
この振る舞いは、新しいタスクに最適化されたパラメータ更新が、古いタスクに適したアップデートとうまく一致しない可能性があるため現れます。
ELI: インクリメンタルラーニングのためのエネルギーベースラテントアリグナーを提案する。
論文 参考訳(メタデータ) (2022-03-28T17:57:25Z) - Direct Differentiable Augmentation Search [25.177623230408656]
Direct Differentiable Augmentation Search (DDAS) と呼ばれる効率的な微分可能探索アルゴリズムを提案する。
1ステップの勾配更新と連続リラクゼーションでメタラーニングを活用し、期待されるトレーニング損失を有効活用し、効率的な検索を行う。
DDASは,検索コストを劇的に削減しつつ,最先端の性能と効率のトレードオフを実現する。
論文 参考訳(メタデータ) (2021-04-09T10:02:24Z) - Untapped Potential of Data Augmentation: A Domain Generalization
Viewpoint [14.360826930970765]
本研究では,拡張に基づく手法の領域一般化の観点から考察する。
最先端の強化手法による探索は、学習された表現が訓練中に使用する歪みに対してさえ頑健でないことを示す。
論文 参考訳(メタデータ) (2020-07-09T09:40:54Z) - Automatic Data Augmentation for Generalization in Deep Reinforcement
Learning [39.477038093585726]
深層強化学習(RL)エージェントは、しばしば目に見えないシナリオへの一般化に失敗する。
近年,RL剤の試料効率と一般化が向上することが示されている。
エージェントはエージェントに影響を与えない環境の変化に対してより堅牢なポリシーや表現を学ぶ。
論文 参考訳(メタデータ) (2020-06-23T09:50:22Z) - Augmented Replay Memory in Reinforcement Learning With Continuous
Control [1.6752182911522522]
オンライン強化学習エージェントは、高次値関数に変換することで、現在、増大するデータを処理することができる。
この拡張によりエージェントの状態空間が増大し、より複雑な問題にスケールアップできるだけでなく、冗長なデータや矛盾するデータを学習することで忘れるリスクも増大する。
大量のデータの近似を改善するために、リプレイメモリバッファに格納された過去の経験のランダムなミニバッチを各学習ステップで頻繁に再生する。
論文 参考訳(メタデータ) (2019-12-29T20:07:18Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。