論文の概要: On the Robustness of Generative Retrieval Models: An Out-of-Distribution Perspective

• arxiv url: http://arxiv.org/abs/2306.12756v1
• Date: Thu, 22 Jun 2023 09:18:52 GMT
• ステータス: 処理完了
• システム内更新日: 2023-06-23 14:54:59.378727
• Title: On the Robustness of Generative Retrieval Models: An Out-of-Distribution Perspective
• Title（参考訳）: 生成的検索モデルのロバスト性について : 分散性の観点から
• Authors: Yu-An Liu, Ruqing Zhang, Jiafeng Guo, Wei Chen, Xueqi Cheng
• Abstract要約: 本研究では,高密度検索モデルに対する生成的検索モデルのロバスト性について検討する。 実験結果から, 生成的検索モデルのOODロバスト性には強化が必要であることが示唆された。
• 参考スコア（独自算出の注目度）: 65.16259505602807
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently, we have witnessed generative retrieval increasingly gaining attention in the information retrieval (IR) field, which retrieves documents by directly generating their identifiers. So far, much effort has been devoted to developing effective generative retrieval models. There has been less attention paid to the robustness perspective. When a new retrieval paradigm enters into the real-world application, it is also critical to measure the out-of-distribution (OOD) generalization, i.e., how would generative retrieval models generalize to new distributions. To answer this question, firstly, we define OOD robustness from three perspectives in retrieval problems: 1) The query variations; 2) The unforeseen query types; and 3) The unforeseen tasks. Based on this taxonomy, we conduct empirical studies to analyze the OOD robustness of several representative generative retrieval models against dense retrieval models. The empirical results indicate that the OOD robustness of generative retrieval models requires enhancement. We hope studying the OOD robustness of generative retrieval models would be advantageous to the IR community.
• Abstract（参考訳）: 近年,情報検索(IR)分野において,識別子を直接生成して文書を検索する生成検索が注目されるようになっている。 これまでのところ、効率的な生成検索モデルの開発に多くの努力が注がれている。 堅牢性の観点からは注意が払われていない。 新しい検索パラダイムが現実世界のアプリケーションに入ると、アウト・オブ・ディストリビューション(ood)の一般化、すなわちどのように生成的検索モデルを新しいディストリビューションに一般化するかを測定することも重要です。 この質問に答えるために、まず3つの観点からOODのロバスト性を定義します。 1) クエリのバリエーション。 2) 予期せぬクエリタイプ,及び 3) 予期せぬタスク。 本分類法に基づき,複数の代表的な生成的検索モデルのoodロバスト性を分析するための経験的研究を行った。 実験結果から, 生成的検索モデルのOODロバスト性には強化が必要であることが示唆された。 生成的検索モデルのOODロバスト性の研究は、IRコミュニティにとって有利であると期待する。

関連論文リスト

• Bridging Search and Recommendation in Generative Retrieval: Does One Task Help the Other? [9.215695600542249]
  検索とレコメンデーションのための生成的検索は、アイテムを検索する上で有望なパラダイムである。 これらの生成システムは、様々な情報検索タスクを単一のモデルにまとめる上で重要な役割を果たす。 本稿では,このような統合されたアプローチが,IRタスクの検索・推薦においてタスク固有モデルより優れているかどうかを考察する。
  論文  参考訳（メタデータ） (2024-10-22T08:49:43Z)
• Robust Neural Information Retrieval: An Adversarial and Out-of-distribution Perspective [111.58315434849047]
  ニューラルネットワーク検索モデル(IR)モデルの堅牢性は、大きな注目を集めている。 我々は、IRの堅牢性を多面的概念とみなし、敵攻撃、アウト・オブ・ディストリビューション(OOD)シナリオ、パフォーマンスのばらつきに対してその必要性を強調している。 我々は,既存の手法,データセット,評価指標について詳細な議論を行い,大規模言語モデルの時代における課題や今後の方向性に光を当てる。
  論文  参考訳（メタデータ） (2024-07-09T16:07:01Z)
• Think-then-Act: A Dual-Angle Evaluated Retrieval-Augmented Generation [3.2134014920850364]
  大型言語モデル(LLM)は時相の誤りや幻覚的内容の生成といった課題に直面していることが多い。 二重角評価による検索拡張生成フレームワーク textitThink-then-Act を提案する。
  論文  参考訳（メタデータ） (2024-06-18T20:51:34Z)
• Optimizing OOD Detection in Molecular Graphs: A Novel Approach with Diffusion Models [71.39421638547164]
  本稿では,入力分子と再構成グラフの類似性を比較する補助拡散モデルに基づくフレームワークを用いてOOD分子を検出することを提案する。 IDトレーニングサンプルの再構成に向けた生成バイアスのため、OOD分子の類似度スコアは検出を容易にするためにはるかに低い。 本研究は,PGR-MOOD(PGR-MOOD)とよばれる分子OOD検出のためのプロトタイプグラフ再構成のアプローチを開拓し,3つのイノベーションを生かした。
  論文  参考訳（メタデータ） (2024-04-24T03:25:53Z)
• Model Reprogramming Outperforms Fine-tuning on Out-of-distribution Data in Text-Image Encoders [56.47577824219207]
  本稿では,侵入的微調整技術に関連する隠れたコストを明らかにする。 ファインチューニングのための新しいモデル再プログラミング手法を導入し、それをリプログラマと呼ぶ。 我々の経験的証拠は、Re Programmerは侵入力が少なく、より優れた下流モデルが得られることを示している。
  論文  参考訳（メタデータ） (2024-03-16T04:19:48Z)
• A Survey on Evaluation of Out-of-Distribution Generalization [41.39827887375374]
  アウト・オブ・ディストリビューション(OOD)の一般化は複雑で基本的な問題である。 本報告は,OOD評価の総合的な評価を行うための最初の試みである。 我々は,OOD性能試験,OOD性能予測,OOD固有の特性評価という3つのパラダイムに分類した。
  論文  参考訳（メタデータ） (2024-03-04T09:30:35Z)
• Pseudo-OOD training for robust language models [78.15712542481859]
  OOD検出は、あらゆる産業規模のアプリケーションに対する信頼性の高い機械学習モデルの鍵となるコンポーネントである。 In-distribution(IND)データを用いて擬似OODサンプルを生成するPOORE-POORE-POSthoc pseudo-Ood Regularizationを提案する。 我々は3つの現実世界の対話システムに関する枠組みを広く評価し、OOD検出における新たな最先端技術を実現した。
  論文  参考訳（メタデータ） (2022-10-17T14:32:02Z)
• Are Sample-Efficient NLP Models More Robust? [90.54786862811183]
  サンプル効率(所定のID精度に到達するために必要なデータ量)とロバスト性(OOD評価モデルの評価方法)の関係について検討する。 高いサンプル効率は、いくつかのモデリング介入やタスクにおいて、より平均的なOODロバスト性にのみ相関するが、それ以外は相関しない。 これらの結果から,サンプル効率向上のための汎用手法は,データセットとタスクに依存した汎用的なOODロバスト性向上をもたらす可能性が示唆された。
  論文  参考訳（メタデータ） (2022-10-12T17:54:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。