論文の概要: Learning Retrieval Models with Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2603.13277v1
• Date: Fri, 27 Feb 2026 10:50:54 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-23 08:17:42.257358
• Title: Learning Retrieval Models with Sparse Autoencoders
• Title（参考訳）: スパースオートエンコーダを用いた検索モデル学習
• Authors: Thibault Formal, Maxime Louis, Hervé Dejean, Stéphane Clinchant,
• Abstract要約: SPLAREは、SAEベースのLSRモデルをトレーニングする方法である。 SPLARE は語彙ベースの LSR を多言語およびドメイン外設定で一貫して上回ることを示す。
• 参考スコア（独自算出の注目度）: 9.69714089726174
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Sparse autoencoders (SAEs) provide a powerful mechanism for decomposing the dense representations produced by Large Language Models (LLMs) into interpretable latent features. We posit that SAEs constitute a natural foundation for Learned Sparse Retrieval (LSR), whose objective is to encode queries and documents into high-dimensional sparse representations optimized for efficient retrieval. In contrast to existing LSR approaches that project input sequences into the vocabulary space, SAE-based representations offer the potential to produce more semantically structured, expressive, and language-agnostic features. Building on this insight, we introduce SPLARE, a method to train SAE-based LSR models. Our experiments, relying on recently released open-source SAEs, demonstrate that this technique consistently outperforms vocabulary-based LSR in multilingual and out-of-domain settings. SPLARE-7B, a multilingual retrieval model capable of producing generalizable sparse latent embeddings for a wide range of languages and domains, achieves top results on MMTEB's multilingual and English retrieval tasks. We also developed a 2B-parameter variant with a significantly lighter footprint.
• Abstract（参考訳）: スパースオートエンコーダ (SAE) は、Large Language Models (LLM) が生み出す高密度表現を解釈可能な潜在機能に分解する強力なメカニズムを提供する。 我々は,SAEがLSR(Learned Sparse Retrieval)の自然な基盤であり,その目的が,効率的な検索に最適化された高次元スパース表現にクエリやドキュメントをエンコードすることにあることを示唆する。 入力シーケンスを語彙空間に投影する既存のLSRアプローチとは対照的に、SAEベースの表現は、より意味的に構造化され、表現され、言語に依存しない特徴を生み出す可能性がある。 本稿では,この知見に基づいて,SAEに基づくLSRモデルの学習手法であるSPLAREを紹介する。 我々の実験は、最近リリースされたオープンソースのSAEを頼りにしており、この手法が多言語およびドメイン外設定において語彙ベースのLSRを一貫して上回っていることを実証している。 SPLARE-7Bは、多言語および英語検索タスクにおいて、多言語およびドメインに対して一般化可能なスパース潜伏埋め込みを生成することができる多言語検索モデルである。 また,フットプリントが大幅に軽量な2Bパラメータも開発した。

関連論文リスト

• Unveiling Language-Specific Features in Large Language Models via Sparse Autoencoders [41.1110443501488]
  SAEから得られる特徴の単言語性を評価するための新しい指標を提案する。 これらのSAE特徴を非難することは、LLMの1つの言語における能力を大幅に低下させるだけであり、他の言語はほとんど影響を受けないことが示されている。 我々はこれらSAEから派生した言語固有の特徴を活用してステアリングベクターを強化し,LLMによる言語制御を実現する。
  論文  参考訳（メタデータ） (2025-05-08T10:24:44Z)
• LUSIFER: Language Universal Space Integration for Enhanced Multilingual Embeddings with Large Language Models [89.13128402847943]
  LUSIFERは,LLMをベースとした多言語タスクの埋め込みモデルに,多言語監視を必要とせずに適用可能なゼロショット方式である。 LUSIFERのアーキテクチャは多言語エンコーダを組み、言語ユニバーサル学習者として機能し、埋め込み固有のタスクに最適化されたLLMベースの埋め込みモデルと組み合わせている。 5つの主要な埋め込みタスク、123の多様なデータセット、14言語にわたるカバレッジを含む新しいベンチマークを導入する。
  論文  参考訳（メタデータ） (2025-01-01T15:43:07Z)
• Language Representations Can be What Recommenders Need: Findings and Potentials [57.90679739598295]
  先進的なLM表現から線形にマッピングされた項目表現は、より優れたレコメンデーション性能が得られることを示す。 この結果は、先進言語表現空間と効果的な項目表現空間との同型性を示唆している。 本研究は,自然言語処理とリコメンデーションシステムコミュニティの両方に刺激を与える言語モデリングと行動モデリングの関連性を強調した。
  論文  参考訳（メタデータ） (2024-07-07T17:05:24Z)
• Incorporating Linguistic Knowledge for Abstractive Multi-document Summarization [20.572283625521784]
  ニューラルネットワークに基づく抽象的多文書要約(MDS)モデルを開発した。 依存関係情報を言語誘導型注意機構に処理する。 言語信号の助けを借りて、文レベルの関係を正しく捉えることができる。
  論文  参考訳（メタデータ） (2021-09-23T08:13:35Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。