論文の概要: Revela: Dense Retriever Learning via Language Modeling

• arxiv url: http://arxiv.org/abs/2506.16552v1
• Date: Thu, 19 Jun 2025 19:13:59 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-23 19:00:05.226835
• Title: Revela: Dense Retriever Learning via Language Modeling
• Title（参考訳）: Revela: 言語モデリングによるDense Retriever Learning
• Authors: Fengyu Cai, Tong Chen, Xinran Zhao, Sihao Chen, Hongming Zhang, Sherry Tongshuang Wu, Iryna Gurevych, Heinz Koeppl,
• Abstract要約: 本稿では,言語モデリングによる自己教師型検索学習のための統合学習フレームワークであるRevelaを紹介する。 一般ドメイン (BEIR) とドメイン固有 (CoIR) のベンチマークで様々なバックボーン上でRevelaを評価する。
• 参考スコア（独自算出の注目度）: 85.12131321155486
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Dense retrievers play a vital role in accessing external and specialized knowledge to augment language models (LMs). Training dense retrievers typically requires annotated query-document pairs, which are costly and hard to obtain in specialized domains such as code-motivating growing interest in self-supervised retriever learning. Since LMs are trained to capture token-level dependencies through a self-supervised learning objective (i.e., next-token prediction), we can analogously cast retrieval as learning dependencies among chunks of tokens. This analogy naturally leads to the question: How can we adapt self-supervised learning objectives in the spirit of language modeling to train retrievers? To answer this question, we introduce Revela, a unified and scalable training framework for self-supervised retriever learning via language modeling. Revela models semantic dependencies among documents by conditioning next-token prediction on both local and cross-document context through an in-batch attention mechanism. This attention is weighted by retriever-computed similarity scores, enabling the retriever to be optimized as part of language modeling. We evaluate Revela on both general-domain (BEIR) and domain-specific (CoIR) benchmarks across various retriever backbones. At a comparable parameter scale, Revela outperforms the previous best method with absolute improvements of 5.2 % (18.3 % relative) and 5.6 % (14.4 % relative) on NDCG@10, respectively, underscoring its effectiveness. Performance increases with model size, highlighting both the scalability of our approach and its promise for self-supervised retriever learning.
• Abstract（参考訳）: デンスレトリバーは、言語モデル(LM)の拡張に外部および専門知識にアクセスする上で重要な役割を担っている。 厳密なレトリバーの訓練には、一般的に注釈付きクエリドキュメントペアが必要であり、コードモチベーションの高まりや自己教師付きレトリバー学習への関心の高まりなど、特殊なドメインで入手するのは費用がかかり難い。 LMは自己教師付き学習目標(次世代の予測)を通じてトークンレベルの依存関係をキャプチャするために訓練されるため、トークンチャンク間の学習依存性として検索を類似的にキャストすることができる。 言語モデリングの精神に自己教師型学習目標を適応させるにはどうすればよいのか? この質問に答えるために,言語モデリングによる自己教師型レトリバー学習のための,統一的でスケーラブルなトレーニングフレームワークであるRevelaを紹介した。 Revelaは文書間のセマンティック依存関係を、バッチ内のアテンションメカニズムを通じて、ローカルおよびクロスドキュメントのコンテキストで次トーケン予測を条件付けることによってモデル化する。 この注意は、レトリバーが計算した類似度スコアによって重み付けされ、レトリバーを言語モデリングの一部として最適化することができる。 一般ドメイン (BEIR) とドメイン固有 (CoIR) のベンチマークで様々なバックボーン上でRevelaを評価する。 同等のパラメータスケールで、Revela は NDCG@10 上で、それぞれ 5.2 % (18.3 %) と 5.6 % (14.4 %) の絶対的な改善により、従来のベストメソッドよりも優れており、その効果を裏付けている。 モデルのサイズによってパフォーマンスが向上し、私たちのアプローチのスケーラビリティと自己教師型レトリバー学習の約束の両方を強調します。

関連論文リスト

• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• Training a Utility-based Retriever Through Shared Context Attribution for Retrieval-Augmented Language Models [51.608246558235166]
  SCARLetは、RALMsでユーティリティベースのレトリバーをトレーニングするためのフレームワークである。 マルチタスクの一般化とパッセージ間相互作用という2つの重要な要素が組み込まれている。 ドメイン内とドメイン外の両方で、さまざまなタスクにまたがる10のデータセットに対するアプローチを評価します。
  論文  参考訳（メタデータ） (2025-04-01T09:28:28Z)
• SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models [88.29990536278167]
  SPaRは、木探索の自己精製を統合して、有効かつ同等な選好ペアを得るセルフプレイフレームワークである。 実験により,SPaRで誘導された3回の反復で訓練されたLLaMA3-8Bモデルが,一般機能を失うことなくIFEvalベンチマークでGPT-4-Turboを上回った。
  論文  参考訳（メタデータ） (2024-12-16T09:47:43Z)
• Efficient Length-Generalizable Attention via Causal Retrieval for Long-Context Language Modeling [42.67141329779589]
  Grouped Cross Attentionは、トレーニング前のコンテキスト長の1000倍に一般化することができる。 実験により,16Mコンテキスト長のパスキー検索において,GAAに基づくモデルがほぼ完全であることが示された。
  論文  参考訳（メタデータ） (2024-10-02T15:18:34Z)
• Learning to Retrieve Iteratively for In-Context Learning [56.40100968649039]
  イテレーティブ検索は、ポリシー最適化によるイテレーティブな意思決定を可能にする、新しいフレームワークである。 テキスト内学習例を構成するための反復型検索器をインスタンス化し,様々な意味解析タスクに適用する。 ステートエンコーディングのためのパラメータを4M追加するだけで、オフザシェルフの高密度レトリバーをステートフル反復レトリバーに変換する。
  論文  参考訳（メタデータ） (2024-06-20T21:07:55Z)
• Generate to Understand for Representation [3.5325087487696463]
  GURは、言語モデリングと対照的な学習目標を単一のトレーニングステップで組み合わせた事前トレーニングフレームワークである。 GURはラベル付きトレーニングデータなしで印象的な結果を実現し、ゼロショット設定でリコールベンチマークでレシーバーとして、トレーニング済みのすべてのベースラインを上回ります。
  論文  参考訳（メタデータ） (2023-06-14T06:00:18Z)
• BRENT: Bidirectional Retrieval Enhanced Norwegian Transformer [1.911678487931003]
  検索ベースの言語モデルは、質問応答タスクにますます採用されている。 我々はREALMフレームワークを適用し,ノルウェー初の検索モデルを開発した。 本研究では,このような学習により,抽出質問応答における読み手のパフォーマンスが向上することを示す。
  論文  参考訳（メタデータ） (2023-04-19T13:40:47Z)
• Can Retriever-Augmented Language Models Reason? The Blame Game Between the Retriever and the Language Model [33.729248437727634]
  事前訓練された言語モデルをレトリバーで拡張することは、共通のNLP問題を効果的に解決する可能性を示している。 我々は,一般的な検索言語モデルであるkNN-LM,REALM,DPR+FiD,Contriever+ATLAS,Contriever+Flan-T5の長所と短所を評価する。
  論文  参考訳（メタデータ） (2022-12-18T19:27:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。