Fugu-MT 論文翻訳(概要): Isotropic Representation Can Improve Dense Retrieval

論文の概要: Isotropic Representation Can Improve Dense Retrieval

arxiv url: http://arxiv.org/abs/2209.00218v2
Date: Mon, 31 Jul 2023 13:56:40 GMT
ステータス: 処理完了
システム内更新日: 2023-08-02 00:38:08.418111
Title: Isotropic Representation Can Improve Dense Retrieval
Title（参考訳）: 等方性表現は高密度検索を改善する
Authors: Euna Jung, Jungwon Park, Jaekeol Choi, Sungyoon Kim, Wonjong Rhee
Abstract要約: 高パフォーマンス密度検索モデルはBERTを用いてクエリとドキュメントの表現を評価する。 BERT表現は狭い円錐形の異方性分布に従うことが知られている。本研究では,等方性表現が全般的に向上することを示す。
参考スコア（独自算出の注目度）: 5.6435410094272696
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: The recent advancement in language representation modeling has broadly affected the design of dense retrieval models. In particular, many of the high-performing dense retrieval models evaluate representations of query and document using BERT, and subsequently apply a cosine-similarity based scoring to determine the relevance. BERT representations, however, are known to follow an anisotropic distribution of a narrow cone shape and such an anisotropic distribution can be undesirable for the cosine-similarity based scoring. In this work, we first show that BERT-based DR also follows an anisotropic distribution. To cope with the problem, we introduce unsupervised post-processing methods of Normalizing Flow and whitening, and develop token-wise method in addition to the sequence-wise method for applying the post-processing methods to the representations of dense retrieval models. We show that the proposed methods can effectively enhance the representations to be isotropic, then we perform experiments with ColBERT and RepBERT to show that the performance (NDCG at 10) of document re-ranking can be improved by 5.17\%$\sim$8.09\% for ColBERT and 6.88\%$\sim$22.81\% for RepBERT. To examine the potential of isotropic representation for improving the robustness of DR models, we investigate out-of-distribution tasks where the test dataset differs from the training dataset. The results show that isotropic representation can achieve a generally improved performance. For instance, when training dataset is MS-MARCO and test dataset is Robust04, isotropy post-processing can improve the baseline performance by up to 24.98\%. Furthermore, we show that an isotropic model trained with an out-of-distribution dataset can even outperform a baseline model trained with the in-distribution dataset.
Abstract（参考訳）: 近年の言語表現モデリングの進歩は,高密度検索モデルの設計に大きな影響を与えている。特に、高パフォーマンスな高密度検索モデルの多くはBERTを用いてクエリと文書の表現を評価し、コサイン類似度に基づくスコアを適用して関連性を決定する。しかし、BERT表現は狭い円錐形状の異方性分布に従うことが知られており、このような異方性分布はコサイン類似性に基づくスコアリングでは望ましくない。本研究では,BERTに基づくDRも異方性分布に従うことを示す。この問題に対処するために,フローの正規化と白化の教師なし後処理手法を導入し,高密度検索モデルの表現に後処理手法を適用するシーケンシャルワイズ法に加えてトークンワイズ法を開発した。提案手法は、等方性を示す表現を効果的に強化し、文書の再ランク付けにおける性能(NDCG at 10)をColBERTに対して5.17\%$\sim$8.09\%、RepBERTに対して6.88\%$\sim$22.81\%向上できることを示す。 DRモデルのロバスト性向上のための等方性表現の可能性を検討するために,テストデータセットがトレーニングデータセットと異なる分布外タスクを検討する。その結果、等方性表現は一般に性能が向上することが示された。例えば、トレーニングデータセットがms-marcoでテストデータセットがロバスト04である場合、等方性後処理によってベースラインのパフォーマンスが最大24.98\%向上する。さらに,分布外データセットでトレーニングした等方性モデルは,分布内データセットでトレーニングしたベースラインモデルよりも優れていることを示す。

関連論文リスト

Sub-graph Based Diffusion Model for Link Prediction [43.15741675617231]
拡散確率モデル(Denoising Diffusion Probabilistic Models, DDPM)は、例外的な品質を持つ同時代の生成モデルである。本研究では,ベイズ式による確率推定過程を分解するために,専用設計を用いたリンク予測のための新しい生成モデルを構築した。提案手法は,(1)再トレーニングを伴わないデータセット間の転送可能性,(2)限られたトレーニングデータに対する有望な一般化,(3)グラフ敵攻撃に対する堅牢性など,多くの利点を示す。
論文参考訳（メタデータ） (2024-09-13T02:23:55Z)
EntAugment: Entropy-Driven Adaptive Data Augmentation Framework for Image Classification [10.334396596691048]
チューニング不要かつ適応的なDAフレームワークであるEntAugmentを提案する。トレーニング中の各サンプルの増大度を動的に評価し、調整する。また、EntAugmentアプローチを補完する新しいエントロピー正規化項EntLossを導入する。
論文参考訳（メタデータ） (2024-09-10T07:42:47Z)
Exploring Beyond Logits: Hierarchical Dynamic Labeling Based on Embeddings for Semi-Supervised Classification [49.09505771145326]
モデル予測に依存しない階層型動的ラベル付け(HDL)アルゴリズムを提案し,画像埋め込みを用いてサンプルラベルを生成する。本手法は,半教師付き学習における擬似ラベル生成のパラダイムを変える可能性がある。
論文参考訳（メタデータ） (2024-04-26T06:00:27Z)
Unifying Invariance and Spuriousity for Graph Out-of-Distribution via Probability of Necessity and Sufficiency [19.49531172542614]
Invariant Substructure (PNSIS) の抽出に必要かつ十分である確率を利用する統一的な枠組みを提案する。いくつかのベンチマークでグラフOODの最先端技術よりも優れています。
論文参考訳（メタデータ） (2024-02-14T13:31:53Z)
SMaRt: Improving GANs with Score Matching Regularity [94.81046452865583]
生成的敵ネットワーク(GAN)は通常、基礎となる多様体が複雑である非常に多様なデータから学ぶのに苦労する。スコアマッチングは、生成したデータポイントを実データ多様体へ持続的にプッシュする能力のおかげで、この問題に対する有望な解決策であることを示す。スコアマッチング規則性(SMaRt)を用いたGANの最適化を提案する。
論文参考訳（メタデータ） (2023-11-30T03:05:14Z)
Graph Out-of-Distribution Generalization with Controllable Data Augmentation [51.17476258673232]
グラフニューラルネットワーク(GNN)は,グラフ特性の分類において異常な性能を示した。トレーニングとテストデータの選択バイアスが原因で、分散偏差が広まっています。仮想サンプルの分布偏差を測定するためのOODキャリブレーションを提案する。
論文参考訳（メタデータ） (2023-08-16T13:10:27Z)
Diverse Data Augmentation with Diffusions for Effective Test-time Prompt Tuning [73.75282761503581]
DiffTPTを提案する。DiffTPTは,事前学習した拡散モデルを用いて,多種多様な情報データを生成する。 DiffTPTがゼロショット精度を平均5.13%向上することを示す。
論文参考訳（メタデータ） (2023-08-11T09:36:31Z)
Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文参考訳（メタデータ） (2023-03-06T14:49:59Z)
Adaptive Graph-Based Feature Normalization for Facial Expression Recognition [1.2246649738388389]
データ不確実性から表情認識モデルを保護するために,適応グラフに基づく特徴正規化(AGFN)手法を提案する。我々の手法は、ベンチマークデータセットで91.84%、91.11%の精度で最先端の作業より優れています。
論文参考訳（メタデータ） (2022-07-22T14:57:56Z)
Learning by Erasing: Conditional Entropy based Transferable Out-Of-Distribution Detection [17.31471594748061]
トレーニングとテストシナリオ間の分散シフトを処理するためには、アウト・オブ・ディストリビューション(OOD)検出が不可欠である。既存の方法は、データセット固有の特徴表現やデータ分散をキャプチャするために、再トレーニングを必要とする。我々は,新しいIDデータセットで再トレーニングする必要がない,DGMに基づく転送可能なOOD検出手法を提案する。
論文参考訳（メタデータ） (2022-04-23T10:19:58Z)
Bayesian Graph Contrastive Learning [55.36652660268726]
本稿では,ランダムな拡張がエンコーダにつながることを示すグラフコントラスト学習手法の新たな視点を提案する。提案手法は,各ノードを決定論的ベクトルに埋め込む既存の手法とは対照的に,各ノードを潜在空間の分布で表現する。いくつかのベンチマークデータセットにおける既存の最先端手法と比較して,性能が大幅に向上したことを示す。
論文参考訳（メタデータ） (2021-12-15T01:45:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。