Fugu-MT 論文翻訳(概要): Inducing Diversity in Differentiable Search Indexing

論文の概要: Inducing Diversity in Differentiable Search Indexing

arxiv url: http://arxiv.org/abs/2502.02788v1
Date: Wed, 05 Feb 2025 00:21:17 GMT
ステータス: 翻訳完了
システム内更新日: 2025-02-06 16:28:50.913129
Title: Inducing Diversity in Differentiable Search Indexing
Title（参考訳）: 微分検索インデクシングにおける多様性の誘導
Authors: Abhijeet Phatak, Jayant Sachdev, Sean D Rosario, Swati Kirti, Chittaranjan Tripathy,
Abstract要約: 我々は、MMR(Maximal Marginal Relevance)にインスパイアされたDSIシステムの訓練のためのバランス関係と新しい情報内容(多様性)について検討する。我々は,NQ320KおよびSMARCOデータセットを用いて,その妥当性と多様性を定量的に評価した。
参考スコア（独自算出の注目度）: 1.747623282473278
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Differentiable Search Indexing (DSI) is a recent paradigm for information retrieval which uses a transformer-based neural network architecture as the document index to simplify the retrieval process. A differentiable index has many advantages enabling modifications, updates or extensions to the index. In this work, we explore balancing relevance and novel information content (diversity) for training DSI systems inspired by Maximal Marginal Relevance (MMR), and show the benefits of our approach over the naive DSI training. We present quantitative and qualitative evaluations of relevance and diversity measures obtained using our method on NQ320K and MSMARCO datasets in comparison to naive DSI. With our approach, it is possible to achieve diversity without any significant impact to relevance. Since we induce diversity while training DSI, the trained model has learned to diversify while being relevant. This obviates the need for a post-processing step to induce diversity in the recall set as typically performed using MMR. Our approach will be useful for Information Retrieval problems where both relevance and diversity are important such as in sub-topic retrieval. Our work can also be easily be extended to the incremental DSI settings which would enable fast updates to the index while retrieving a diverse recall set.
Abstract（参考訳）: 微分検索インデックス(英: Differentiable Search Indexing, DSI)は、情報検索のパラダイムである。差別化可能なインデックスには、インデックスの変更、更新、拡張を可能にする多くの利点がある。本研究は,MMR(Maximal Marginal Relevance)にインスパイアされたDSIシステムのトレーニングにおける関連性と新しい情報内容(多様性)のバランスについて検討し,本手法の真正なDSIトレーニングに対するメリットを示す。本研究では,NQ320KとMSMARCOデータセットを用いて,NQ320KとMSMARCOデータセットの妥当性と多様性に関する定量的,質的な評価を行った。私たちのアプローチでは、多様性が関連性に大きな影響を与えずに達成できます。 DSIのトレーニング中に多様性を誘導するので、トレーニングされたモデルは、関連性を持ちながら多様化することを学びました。これにより、MMRを用いて実行されるリコールセットの多様性を誘導するための後処理ステップが不要になる。本手法は,サブトピック検索等において,関連性と多様性が重要である情報検索問題に有用である。私たちの作業はインクリメンタルなDSI設定に簡単に拡張することができ、多様なリコールセットを取得しながらインデックスの迅速な更新を可能にします。

関連論文リスト

Evaluating the Diversity and Quality of LLM Generated Content [72.84945252821908]
品質閾値を満たす出力間の効果的な意味的多様性を測定するための枠組みを導入する。嗜好調整モデルでは語彙的および構文的多様性が低下するが、SFTやベースモデルよりも効果的な意味的多様性が得られる。これらの発見は、多種多様な高品質な出力を必要とするアプリケーションに重要な意味を持つ。
論文参考訳（メタデータ） (2025-04-16T23:02:23Z)
Knowledge-Aware Iterative Retrieval for Multi-Agent Systems [0.0]
本稿では,新しい大規模言語モデル (LLM) によるエージェントフレームワークを提案する。動的に進化する知識を活用することで、クエリを反復的に洗練し、文脈的証拠をフィルタリングする。提案システムは、更新されたコンテキストの競合的および協調的な共有をサポートする。
論文参考訳（メタデータ） (2025-03-17T15:27:02Z)
Measuring Data Diversity for Instruction Tuning: A Systematic Analysis and A Reliable Metric [48.81957145701228]
サンプルレベルの「ノーベルティ」に基づく新しい多様性指標を提案する。我々は,NovellSumが精度よく多様性の変動を捉え,命令調整モデルの性能と0.97の相関性が得られることを示す。
論文参考訳（メタデータ） (2025-02-24T14:20:22Z)
SC-Rec: Enhancing Generative Retrieval with Self-Consistent Reranking for Sequential Recommendation [18.519480704213017]
SC-Recは2つの異なる項目の指標と複数のプロンプトテンプレートから多様な嗜好知識を学習する統合レコメンデータシステムである。 SC-Recはシーケンシャルレコメンデーションのための最先端の手法よりも優れており、モデルの様々な出力から補完的な知識を効果的に取り入れている。
論文参考訳（メタデータ） (2024-08-16T11:59:01Z)
PromptDSI: Prompt-based Rehearsal-free Instance-wise Incremental Learning for Document Retrieval [47.13111745988827]
Differentiable Search Index (DSI) は、事前訓練された言語モデル(PLM)を用いて、外部インデックスに依存しない効率的な文書検索を行う。本稿では,インクリメンタルな学習文書検索のためのプロンプトベースのリハーサルフリーアプローチであるPromptDSIを紹介する。
論文参考訳（メタデータ） (2024-06-18T13:25:18Z)
De-DSI: Decentralised Differentiable Search Index [0.0]
De-DSIは、情報検索のための真の分散化で大きな言語モデルを融合するフレームワークである。分散された環境での差別化検索インデックス(DSI)の概念を使用して、新しいユーザクエリとドキュメント識別子を効率的に接続する。
論文参考訳（メタデータ） (2024-04-18T14:51:55Z)
MMA-DFER: MultiModal Adaptation of unimodal models for Dynamic Facial Expression Recognition in-the-wild [81.32127423981426]
実世界のアプリケーションでは,音声およびビデオデータに基づくマルチモーダル感情認識が重要である。近年の手法は、強力なマルチモーダルエンコーダの事前学習に自己教師付き学習(SSL)の進歩を活用することに重点を置いている。 SSL-pre-trained disimodal encoders を用いて,この問題に対する異なる視点とマルチモーダル DFER の性能向上について検討する。
論文参考訳（メタデータ） (2024-04-13T13:39:26Z)
DCID: Deep Canonical Information Decomposition [84.59396326810085]
本稿では,2つの1次元目標変数間で共有される信号の同定について考察する。そこで本研究では,地中トラスラベルの存在下で使用可能な評価指標であるICMを提案する。また、共有変数を学習するための単純かつ効果的なアプローチとして、Deep Canonical Information Decomposition (DCID)を提案する。
論文参考訳（メタデータ） (2023-06-27T16:59:06Z)
Representation Online Matters: Practical End-to-End Diversification in Search and Recommender Systems [8.296711988456762]
本稿では,検索結果とレコメンデーションの表現を改善するために,エンドツーエンドの多様化を導入する。 Pinterestプラットフォーム上でスケーラブルな多様化メカニズムを開発し、実験し、展開します。当社のアプローチは,ユーティリティメトリクスに対する肯定的な影響とユーザ満足度の向上を伴って,多様性指標を大幅に改善しています。
論文参考訳（メタデータ） (2023-05-24T19:43:26Z)
Transformer Memory as a Differentiable Search Index [102.41278496436948]
本稿では,文字列クエリを関連するドシデントに直接マップするテキストからテキストモデルを学ぶ新しいパラダイムであるdiffariable Search Index (DSI)を紹介する。文書とその識別子の表現方法、訓練手順のバリエーション、モデルとコーパスサイズ間の相互作用について検討する。
論文参考訳（メタデータ） (2022-02-14T19:12:43Z)
Channel Exchanging Networks for Multimodal and Multitask Dense Image Prediction [125.18248926508045]
本稿では,マルチモーダル融合とマルチタスク学習の両方に適用可能な,自己適応的でパラメータフリーなチャネル交換ネットワーク(CEN)を提案する。 CENは異なるモダリティのワーク間でチャネルを動的に交換する。濃密な画像予測を応用するために、CENの有効性は4つの異なるシナリオで検証される。
論文参考訳（メタデータ） (2021-12-04T05:47:54Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。