論文の概要: Self-Supervised Document Similarity Ranking via Contextualized Language Models and Hierarchical Inference

• arxiv url: http://arxiv.org/abs/2106.01186v1
• Date: Wed, 2 Jun 2021 14:29:35 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-03 14:31:18.916088
• Title: Self-Supervised Document Similarity Ranking via Contextualized Language Models and Hierarchical Inference
• Title（参考訳）: 文脈型言語モデルと階層的推論による自己監督型文書類似度ランキング
• Authors: Dvir Ginzburg and Itzik Malkiel and Oren Barkan and Avi Caciularu and Noam Koenigstein
• Abstract要約: 本稿では,任意の長さの文書に適用可能な文書類似性の自己管理手法であるSDRを紹介する。 SDRは、Longformerの最大トークン制限4,096を超え、非常に長いドキュメントに効果的に適用できる。 我々は、長い文書の類似性評価を人間に注釈付けした2つのテストセットを公表する。
• 参考スコア（独自算出の注目度）: 21.232963704793143
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present a novel model for the problem of ranking a collection of documents according to their semantic similarity to a source (query) document. While the problem of document-to-document similarity ranking has been studied, most modern methods are limited to relatively short documents or rely on the existence of "ground-truth" similarity labels. Yet, in most common real-world cases, similarity ranking is an unsupervised problem as similarity labels are unavailable. Moreover, an ideal model should not be restricted by documents' length. Hence, we introduce SDR, a self-supervised method for document similarity that can be applied to documents of arbitrary length. Importantly, SDR can be effectively applied to extremely long documents, exceeding the 4,096 maximal token limits of Longformer. Extensive evaluations on large document datasets show that SDR significantly outperforms its alternatives across all metrics. To accelerate future research on unlabeled long document similarity ranking, and as an additional contribution to the community, we herein publish two human-annotated test sets of long documents similarity evaluation. The SDR code and datasets are publicly available.
• Abstract（参考訳）: 本稿では,ソース(クエリ)文書と意味的類似性に応じて文書の集合をランク付けする問題に対する新しいモデルを提案する。 文書対文書類似度ランキングの問題は研究されているが、現代の手法のほとんどは比較的短い文書に制限されているか、「根拠」類似度ラベルの存在に依存している。 しかし、ほとんどの現実世界では、類似性ラベルが利用できないため、類似性ランキングは教師なしの問題である。 さらに、理想的なモデルは文書の長さによって制限されてはならない。 そこで本稿では,任意の長さの文書に適用可能な文書類似性の自己管理手法であるSDRを紹介する。 重要なことに、SDRはLongformerの最大トークン制限4,096を超え、非常に長いドキュメントに効果的に適用できる。 大規模な文書データセットの大規模な評価は、SDRがすべての指標でその代替品を著しく上回っていることを示している。 ラベルなし文書類似度ランキングの今後の研究を加速し,コミュニティへのさらなる貢献として,文書類似度評価の人手による2つのテストセットを公表する。 SDRコードとデータセットは公開されている。

関連論文リスト

• Efficient Document Ranking with Learnable Late Interactions [73.41976017860006]
  クロスエンコーダ(CE)とデュアルエンコーダ(DE)モデルは,情報検索におけるクエリドキュメント関連性の2つの基本的なアプローチである。 関連性を予測するため、CEモデルは共同クエリドキュメントの埋め込みを使用し、DEモデルは分解クエリとドキュメントの埋め込みを維持している。 近年、DEM構造と軽量スコアラを用いて、より好ましいレイテンシ品質のトレードオフを実現するために、遅延相互作用モデルが提案されている。
  論文  参考訳（メタデータ） (2024-06-25T22:50:48Z)
• Fine-Grained Distillation for Long Document Retrieval [86.39802110609062]
  ロングドキュメント検索は、大規模コレクションからクエリ関連ドキュメントを取得することを目的としている。 知識蒸留は、異質だが強力なクロスエンコーダを模倣することによって、レトリバーを改善するために事実上のものである。 本稿では, 長期文書検索のための新たな学習フレームワークFGDを提案する。
  論文  参考訳（メタデータ） (2022-12-20T17:00:36Z)
• Document-Level Relation Extraction with Sentences Importance Estimation and Focusing [52.069206266557266]
  文書レベルの関係抽出(DocRE)は、複数の文の文書から2つのエンティティ間の関係を決定することを目的としている。 我々はDocREのための文重要度スコアと文集中損失を設計するSIEF(Sentence Estimation and Focusing)フレームワークを提案する。 2つのドメインの実験結果から、SIEFは全体的なパフォーマンスを改善するだけでなく、DocREモデルをより堅牢にします。
  論文  参考訳（メタデータ） (2022-04-27T03:20:07Z)
• GERE: Generative Evidence Retrieval for Fact Verification [57.78768817972026]
  本稿では,ジェネレーション方式で証拠を検索する最初のシステムであるGEREを提案する。 FEVERデータセットの実験結果は、GEREが最先端のベースラインよりも大幅に改善されていることを示している。
  論文  参考訳（メタデータ） (2022-04-12T03:49:35Z)
• Specialized Document Embeddings for Aspect-based Similarity of Research Papers [4.661692753666685]
  アスペクトベースの類似性は、アスペクト固有の埋め込み空間における古典的ベクトル類似性問題として扱う。 文書は単一の汎用的な埋め込みではなく、複数の専門的な埋め込みとして表現する。 当社のアプローチは、暗黙の偏見から生じる潜在的なリスクを明確化することで軽減します。
  論文  参考訳（メタデータ） (2022-03-28T07:35:26Z)
• Augmenting Document Representations for Dense Retrieval with Interpolation and Perturbation [49.940525611640346]
  ドキュメント拡張(Document Augmentation for dense Retrieval)フレームワークは、ドキュメントの表現をDense Augmentationとperturbationsで強化する。 2つのベンチマークデータセットによる検索タスクにおけるDARの性能評価を行い、ラベル付き文書とラベルなし文書の密集検索において、提案したDARが関連するベースラインを大幅に上回っていることを示す。
  論文  参考訳（メタデータ） (2022-03-15T09:07:38Z)
• Multi-Vector Models with Textual Guidance for Fine-Grained Scientific Document Similarity [11.157086694203201]
  本稿では, 微粒な面のマッチングに基づく新しい科学的文書類似性モデルを提案する。 本モデルは,テキスト管理の新たな形態として,関連論文の側面を記述した共引用文脈を用いて学習する。
  論文  参考訳（メタデータ） (2021-11-16T11:12:30Z)
• Efficient Clustering from Distributions over Topics [0.0]
  本稿では,類似度関数を計算可能な文書の小さなサブセットを識別する手段として,コレクション内の文書上のトピックモデリングアルゴリズムの結果に依存するアプローチを提案する。 このアプローチは、科学出版分野における類似文書の特定において、有望な結果を得ることが証明されている。
  論文  参考訳（メタデータ） (2020-12-15T10:52:19Z)
• Aspect-based Document Similarity for Research Papers [4.661692753666685]
  文書分類タスクのペア化によってアスペクト情報との類似性を拡張する。 研究論文のアスペクトベースの文書類似性を評価する。 以上の結果から,SciBERTは最高の演奏システムであることがわかった。
  論文  参考訳（メタデータ） (2020-10-13T13:51:21Z)
• Fast(er) Reconstruction of Shredded Text Documents via Self-Supervised Deep Asymmetric Metric Learning [62.34197797857823]
  細断文書の自動復元における中心的な問題は、細断文書の相互互換性評価である。 本研究は,推定回数を線形にスケールするペアワイド互換性を測るスケーラブルな深層学習手法を提案する。 提案手法は,505個のシュレッダーを持つテストインスタンスに対して,22倍の高速化を実現した最先端技術に匹敵する精度を有する。
  論文  参考訳（メタデータ） (2020-03-23T03:22:06Z)
• Pairwise Multi-Class Document Classification for Semantic Relations between Wikipedia Articles [5.40541521227338]
  2つの文書間の関係をペアワイズ文書分類タスクとして検索する問題をモデル化する。 文書間の意味的関係を見つけるために,GloVe, paragraph-s,BERT,XLNetなどの一連の手法を適用する。 我々は,新たに提案された32,168のウィキペディア記事ペアと,セマンティックドキュメントの関係を定義するウィキデータプロパティに関する実験を行った。
  論文  参考訳（メタデータ） (2020-03-22T12:52:56Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。