論文の概要: On the Robustness of Generative Information Retrieval Models

• arxiv url: http://arxiv.org/abs/2412.18768v1
• Date: Wed, 25 Dec 2024 03:51:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-30 17:24:19.761037
• Title: On the Robustness of Generative Information Retrieval Models
• Title（参考訳）: 生成情報検索モデルのロバスト性について
• Authors: Yu-An Liu, Ruqing Zhang, Jiafeng Guo, Changjiang Zhou, Maarten de Rijke, Xueqi Cheng,
• Abstract要約: 生成情報検索方法は、識別子を直接生成して文書を検索する。 生成IRモデルのアウト・オブ・ディストリビューションの一般化、すなわち、そのようなモデルが新しい分布にどのように一般化されるかを評価することは重要である。 我々は,検索問題におけるOODシナリオに焦点をあてる: (i)クエリのバリエーション, (ii)未知のクエリタイプ, (iii)未知のタスク, (iv)コーパス拡張。
• 参考スコア（独自算出の注目度）: 103.64767016243015
• License:
• Abstract: Generative information retrieval methods retrieve documents by directly generating their identifiers. Much effort has been devoted to developing effective generative IR models. Less attention has been paid to the robustness of these models. It is critical to assess the out-of-distribution (OOD) generalization of generative IR models, i.e., how would such models generalize to new distributions? To answer this question, we focus on OOD scenarios from four perspectives in retrieval problems: (i)query variations; (ii)unseen query types; (iii)unseen tasks; and (iv)corpus expansion. Based on this taxonomy, we conduct empirical studies to analyze the OOD robustness of representative generative IR models against dense retrieval models. Our empirical results indicate that the OOD robustness of generative IR models is in need of improvement. By inspecting the OOD robustness of generative IR models we aim to contribute to the development of more reliable IR models. The code is available at \url{https://github.com/Davion-Liu/GR_OOD}.
• Abstract（参考訳）: 生成情報検索方法は、識別子を直接生成して文書を検索する。 効率的な生成IRモデルの開発に多くの努力が注がれている。 これらのモデルの堅牢性にはあまり注意が払われていない。 生成IRモデルのアウト・オブ・ディストリビューション(OOD)一般化を評価することは重要である。 この質問に答えるために、我々は検索問題における4つの視点からOODシナリオに注目した。 (i)クエリのバリエーション (ii)見知らぬクエリタイプ (三)見知らぬ仕事、及び (4)コーパス拡張。 この分類法に基づいて、我々は、高密度検索モデルに対する代表生成IRモデルのOODロバスト性を分析するための実証的研究を行った。 実験の結果, 生成IRモデルのOODロバスト性は改善が必要であることが示唆された。 生成IRモデルのOODロバスト性を調べることにより、より信頼性の高いIRモデルの開発に寄与することを目指している。 コードは \url{https://github.com/Davion-Liu/GR_OOD} で公開されている。

関連論文リスト

• Can OOD Object Detectors Learn from Foundation Models? [56.03404530594071]
  アウト・オブ・ディストリビューション(OOD)オブジェクト検出は、オープンセットのOODデータがないため、難しい課題である。 テキストから画像への生成モデルの最近の進歩に触発されて,大規模オープンセットデータを用いて訓練された生成モデルがOODサンプルを合成する可能性について検討した。 SyncOODは,大規模基盤モデルの能力を活用するシンプルなデータキュレーション手法である。
  論文  参考訳（メタデータ） (2024-09-08T17:28:22Z)
• Robust Neural Information Retrieval: An Adversarial and Out-of-distribution Perspective [111.58315434849047]
  ニューラルネットワーク検索モデル(IR)モデルの堅牢性は、大きな注目を集めている。 我々は、IRの堅牢性を多面的概念とみなし、敵攻撃、アウト・オブ・ディストリビューション(OOD)シナリオ、パフォーマンスのばらつきに対してその必要性を強調している。 我々は,既存の手法,データセット,評価指標について詳細な議論を行い,大規模言語モデルの時代における課題や今後の方向性に光を当てる。
  論文  参考訳（メタデータ） (2024-07-09T16:07:01Z)
• RewardBench: Evaluating Reward Models for Language Modeling [100.28366840977966]
  本稿では,報酬モデル評価のためのベンチマークデータセットとコードベースであるRewardBenchを紹介する。 データセットは、チャット、推論、安全性にまたがる、プロンプト・チョーゼン・リジェクトされたトリオのコレクションである。 RewardBenchのリーダーボードでは、様々な方法で訓練された報酬モデルを評価する。
  論文  参考訳（メタデータ） (2024-03-20T17:49:54Z)
• A Survey on Evaluation of Out-of-Distribution Generalization [41.39827887375374]
  アウト・オブ・ディストリビューション(OOD)の一般化は複雑で基本的な問題である。 本報告は,OOD評価の総合的な評価を行うための最初の試みである。 我々は,OOD性能試験,OOD性能予測,OOD固有の特性評価という3つのパラダイムに分類した。
  論文  参考訳（メタデータ） (2024-03-04T09:30:35Z)
• On the Robustness of Generative Retrieval Models: An Out-of-Distribution Perspective [65.16259505602807]
  本研究では,高密度検索モデルに対する生成的検索モデルのロバスト性について検討する。 実験結果から, 生成的検索モデルのOODロバスト性には強化が必要であることが示唆された。
  論文  参考訳（メタデータ） (2023-06-22T09:18:52Z)
• Models Out of Line: A Fourier Lens on Distribution Shift Robustness [29.12208822285158]
  分散外(OOD)データに対するディープニューラルネットワーク(DNN)の精度向上は、現実世界の応用におけるディープラーニング(DL)の受容に不可欠である。 近年、OODの堅牢性を改善するためにいくつかの有望なアプローチが開発されている。 効果的なロバスト性を監視するために必要なOODデータとモデル特性の条件について、いまだに明確な理解が得られていない。
  論文  参考訳（メタデータ） (2022-07-08T18:05:58Z)
• Entity-Conditioned Question Generation for Robust Attention Distribution in Neural Information Retrieval [51.53892300802014]
  教師付きニューラル情報検索モデルでは,通過トークンよりも疎注意パターンを学習することが困難であることを示す。 目的とする新しい合成データ生成手法を用いて、与えられた通路内の全てのエンティティに対して、より均一で堅牢な参加をニューラルIRに教える。
  論文  参考訳（メタデータ） (2022-04-24T22:36:48Z)
• BEIR: A Heterogenous Benchmark for Zero-shot Evaluation of Information Retrieval Models [41.45240621979654]
  情報検索のための異種ベンチマークであるBEIRを紹介する。 ゼロショット評価設定における9つの最先端の検索モデルの有効性を検討する。 Dense-Retrievalモデルは計算効率が良いが、他のアプローチでは性能が劣ることが多い。
  論文  参考訳（メタデータ） (2021-04-17T23:29:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。