論文の概要: How Generative IR Retrieves Documents Mechanistically

• arxiv url: http://arxiv.org/abs/2503.19715v1
• Date: Tue, 25 Mar 2025 14:41:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:53:20.975044
• Title: How Generative IR Retrieves Documents Mechanistically
• Title（参考訳）: 生成IRがドキュメントを機械的に検索する方法
• Authors: Anja Reusch, Yonatan Belinkov,
• Abstract要約: Generative Information Retrieval (GenIR) は、トランスフォーマーエンコーダ-デコーダモデルがクエリに基づいて文書のランキングを予測する新しいパラダイムである。 本研究は、機械的解釈可能性に基づく手法を適用して、GenIRモデルの内部検索過程を研究する。
• 参考スコア（独自算出の注目度）: 41.661577386460436
• License:
• Abstract: Generative Information Retrieval (GenIR) is a novel paradigm in which a transformer encoder-decoder model predicts document rankings based on a query in an end-to-end fashion. These GenIR models have received significant attention due to their simple retrieval architecture while maintaining high retrieval effectiveness. However, in contrast to established retrieval architectures like cross-encoders or bi-encoders, their internal computations remain largely unknown. Therefore, this work studies the internal retrieval process of GenIR models by applying methods based on mechanistic interpretability, such as patching and vocabulary projections. By replacing the GenIR encoder with one trained on fewer documents, we demonstrate that the decoder is the primary component responsible for successful retrieval. Our patching experiments reveal that not all components in the decoder are crucial for the retrieval process. More specifically, we find that a pass through the decoder can be divided into three stages: (I) the priming stage, which contributes important information for activating subsequent components in later layers; (II) the bridging stage, where cross-attention is primarily active to transfer query information from the encoder to the decoder; and (III) the interaction stage, where predominantly MLPs are active to predict the document identifier. Our findings indicate that interaction between query and document information occurs only in the last stage. We hope our results promote a better understanding of GenIR models and foster future research to overcome the current challenges associated with these models.
• Abstract（参考訳）: Generative Information Retrieval (GenIR) は、トランスフォーマーエンコーダ・デコーダモデルが、エンドツーエンドでクエリに基づいて文書のランキングを予測する新しいパラダイムである。 これらのGenIRモデルは、検索効率を高く保ちながら、単純な検索アーキテクチャのため、大きな注目を集めている。 しかし、クロスエンコーダやバイエンコーダのような確立した検索アーキテクチャとは対照的に、内部計算はほとんど不明である。 そこで本研究では, パッチやボキャブラリ投影などの機械的解釈性に基づく手法を適用することにより, GenIRモデルの内部検索プロセスについて検討する。 我々は、GenIRエンコーダを少ないドキュメントで訓練されたものに置き換えることで、デコーダが検索を成功させる主要なコンポーネントであることを実証する。 パッチ実験の結果,デコーダのすべてのコンポーネントが検索プロセスに必須ではないことがわかった。 より具体的には、デコーダを通るパスを、3段階に分けることができる: (I) 後続のコンポーネントを活性化するための重要な情報に寄与するプライミングステージ、 (II) クロスアテンションが主にエンコーダからデコーダへクエリ情報を転送するブリッジステージ、 (III) MLPが主に文書識別子を予測するためにアクティブであるインタラクションステージ。 以上の結果から,問合せ情報と文書情報の相互作用は最終段階においてのみ発生することが示唆された。 我々は、この結果がGenIRモデルのより良い理解を促進し、これらのモデルに関連する現在の課題を克服するために将来の研究を促進することを願っている。

関連論文リスト

• A Multi-Agent Perspective on Modern Information Retrieval [12.228832858396368]
  大規模言語モデル(LLM)の台頭は情報検索(IR)の新しい時代をもたらした。 このシフトは、長年にわたるIRパラダイムに挑戦し、理論的なフレームワークと実践的な方法論の両方の再評価を要求する。 我々は、クエリエージェント、ドキュメントエージェント、ランサーエージェント間の複雑な相互作用をよりよく捉えるために、マルチエージェントの視点を提唱する。
  論文  参考訳（メタデータ） (2025-02-20T18:17:26Z)
• Hi-Gen: Generative Retrieval For Large-Scale Personalized E-commerce Search [9.381220988816219]
  本稿では,大規模パーソナライズされたEコマース検索システムのための効率的な階層符号化復号生成検索手法(Hi-Gen)を提案する。 まず、メトリック学習を用いて表現学習モデルを構築し、アイテムの識別的特徴表現を学習する。 そこで本研究では,カテゴリ誘導型階層クラスタリング手法を提案する。
  論文  参考訳（メタデータ） (2024-04-24T06:05:35Z)
• Utilizing BERT for Information Retrieval: Survey, Applications, Resources, and Challenges [4.588192657854766]
  本調査は、情報検索(IR)にBERTのような事前訓練されたトランスフォーマーエンコーダを適用するアプローチに焦点を当てる。 i) 長文処理, (ii) 意味情報の統合, (iii) 有効性と効率のバランス, (iv) 用語の重み付け予測, (v) クエリ拡張, (vi) 文書拡張の6つの高レベルカテゴリに分類した。 特定のタスクに対して、細かな調整されたBERTエンコーダは依然としてパフォーマンスが良く、デプロイメントコストも低いことが分かりました。
  論文  参考訳（メタデータ） (2024-02-18T23:22:40Z)
• Challenging Decoder helps in Masked Auto-Encoder Pre-training for Dense Passage Retrieval [10.905033385938982]
  Masked Auto-Encoder (MAE) 事前トレーニングアーキテクチャが最も有望である。 本稿では,デコーダの難易度を高めるために,ポイントワイド相互情報に基づく新しいトークン重要マスキング戦略を提案する。
  論文  参考訳（メタデータ） (2023-05-22T16:27:10Z)
• Tram: A Token-level Retrieval-augmented Mechanism for Source Code Summarization [76.57699934689468]
  ニューラルモデルの性能を高めるために,デコーダ側で詳細なTokenレベル検索強化機構(Tram)を提案する。 文脈的コードセマンティクスの取得におけるトークンレベルの検索の課題を克服するために,コードセマンティクスを個々の要約トークンに統合することを提案する。
  論文  参考訳（メタデータ） (2023-05-18T16:02:04Z)
• CorpusBrain: Pre-train a Generative Retrieval Model for Knowledge-Intensive Language Tasks [62.22920673080208]
  単一ステップ生成モデルは、検索プロセスを劇的に単純化し、エンドツーエンドで最適化することができる。 我々は、事前学習された生成検索モデルをCorpsBrainと名付け、コーパスに関する全ての情報が、追加のインデックスを構築することなく、そのパラメータにエンコードされる。
  論文  参考訳（メタデータ） (2022-08-16T10:22:49Z)
• Autoregressive Search Engines: Generating Substrings as Document Identifiers [53.0729058170278]
  自動回帰言語モデルは、回答を生成するデファクト標準として現れています。 これまでの研究は、探索空間を階層構造に分割する方法を探究してきた。 本研究では,検索空間の任意の構造を強制しない代替として,経路内のすべてのngramを識別子として使用することを提案する。
  論文  参考訳（メタデータ） (2022-04-22T10:45:01Z)
• End-to-End Object Detection with Transformers [88.06357745922716]
  本稿では,オブジェクト検出を直接セット予測問題とみなす新しい手法を提案する。 我々のアプローチは検出パイプラインを合理化し、手作業で設計された多くのコンポーネントの必要性を効果的に除去する。 この新しいフレームワークの主な構成要素は、Detection TRansformerまたはDETRと呼ばれ、セットベースのグローバルな損失である。
  論文  参考訳（メタデータ） (2020-05-26T17:06:38Z)
• Rethinking and Improving Natural Language Generation with Layer-Wise Multi-View Decoding [59.48857453699463]
  シーケンシャル・ツー・シーケンス学習では、デコーダは注意機構に依存してエンコーダから情報を効率的に抽出する。 近年の研究では、異なるエンコーダ層からの表現を多様なレベルの情報に利用することが提案されている。 本稿では, 各デコーダ層に対して, グローバルビューとして機能する最後のエンコーダ層からの表現とともに, ソースシーケンスの立体視のために他のエンコーダ層からのデコーダ層からのデコーダ層を補足するレイヤワイド・マルチビューデコーダを提案する。
  論文  参考訳（メタデータ） (2020-05-16T20:00:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。