Fugu-MT 論文翻訳(概要): From Tokens to Concepts: Leveraging SAE for SPLADE

論文の概要: From Tokens to Concepts: Leveraging SAE for SPLADE

arxiv url: http://arxiv.org/abs/2604.21511v1
Date: Thu, 23 Apr 2026 10:13:21 GMT
ステータス: 翻訳完了
システム内更新日: 2026-04-24 14:40:06.440887
Title: From Tokens to Concepts: Leveraging SAE for SPLADE
Title（参考訳）: トークンからコンセプトへ: SPLADEのSAE活用
Authors: Yuxuan Zong, Mathias Vast, Basile Van Cooten, Laure Soulier, Benjamin Piwowarski,
Abstract要約: Sparse Auto-Encoders (SAE) を用いて学習した意味概念の潜在空間をバックボーン語彙に置き換えることを提案する。実験の結果,SAE-SPLADEはドメイン内タスクと外部タスクの両方において,SPLADEに匹敵する検索性能が得られた。
参考スコア（独自算出の注目度）: 13.391558235359753
License: http://creativecommons.org/licenses/by/4.0/
Abstract: Learned Sparse IR models, such as SPLADE, offer an excellent efficiency-effectiveness tradeoff. However, they rely on the underlying backbone vocabulary, which might hinder performance (polysemicity and synonymy) and pose a challenge for multi-lingual and multi-modal usages. To solve this limitation, we propose to replace the backbone vocabulary with a latent space of semantic concepts learned using Sparse Auto-Encoders (SAE). Throughout this paper, we study the compatibility of these 2 concepts, explore training approaches, and analyze the differences between our SAE-SPLADE model and traditional SPLADE models. Our experiments demonstrate that SAE-SPLADE achieves retrieval performance comparable to SPLADE on both in-domain and out-of-domain tasks while offering improved efficiency.
Abstract（参考訳）: SPLADEのような学習されたスパースIRモデルは、優れた効率効率性トレードオフを提供する。しかし、それらはバックボーンの語彙に依存しており、パフォーマンス(多義性と同義語)を阻害し、多言語および多モーダルの使用に挑戦する。この制限を解決するために,スパースオートエンコーダ(SAE)を用いて学習した意味概念の潜在空間にバックボーン語彙を置き換えることを提案する。本稿では,これら2つの概念の整合性について検討し,SAE-SPLADEモデルと従来のSPLADEモデルの違いを分析した。実験の結果,SAE-SPLADEはドメイン内タスクとドメイン外タスクの両方でSPLADEに匹敵する検索性能を実現し,効率が向上した。

関連論文リスト

Learning Retrieval Models with Sparse Autoencoders [9.69714089726174]
SPLAREは、SAEベースのLSRモデルをトレーニングする方法である。 SPLARE は語彙ベースの LSR を多言語およびドメイン外設定で一貫して上回ることを示す。
論文参考訳（メタデータ） (2026-02-27T10:50:54Z)
Vision-Free Retrieval: Rethinking Multimodal Search with Textual Scene Descriptions [81.33113485830711]
視覚言語モデルに対して,視覚のない単一エンコーダ検索パイプラインを導入する。 VLLM生成した構造化画像記述の助けを借りてテキストからテキストへ移行する。提案手法は,複数検索および構成性ベンチマークにおいて,最先端のゼロショット性能を実現する。
論文参考訳（メタデータ） (2025-09-23T16:22:27Z)
The Role of Vocabularies in Learning Sparse Representations for Ranking [0.08949202626090576]
SPLADEモデルにおける語彙の役割と検索効率と有効性との関係について検討する。 100Kサイズの出力語彙を持つBERTモデルを構築し、ESPLADE事前学習法とランダムに1つを構築した。実験により, プルーニングを施すと, 通常のSPLADEモデルに比べて2つのモデルが有効であることが確認された。
論文参考訳（メタデータ） (2025-09-20T10:44:26Z)
Decoding Dense Embeddings: Sparse Autoencoders for Interpreting and Discretizing Dense Retrieval [15.665567982431924]
本稿では,Dense Passage Retrieval(DPR)モデルに対する新しい解釈可能性フレームワークを提案する。我々は,各潜伏概念の自然言語記述を生成し,DPRモデルの密埋め込みと問合せ文書類似度スコアの両方の人間の解釈を可能にする。概念レベルスパース検索(CL-SR)は,語彙や意味的ミスマッチ間の堅牢な性能を維持しつつ,高いインデックス空間と計算効率を実現する。
論文参考訳（メタデータ） (2025-05-28T02:50:17Z)
Underlying Semantic Diffusion for Effective and Efficient In-Context Learning [113.4003355229632]
Underlying Semantic Diffusion (US-Diffusion)は、セマンティック学習、計算効率、文脈内学習能力を高める拡張拡散モデルである。本稿では,フィードバック信号を利用したフィードバック支援学習(FAL)フレームワークを提案する。また,高雑音レベルの時間ステップで高密度サンプリングを行うためのプラグイン・アンド・プレイの効率的なサンプリング戦略(ESS)を提案する。
論文参考訳（メタデータ） (2025-03-06T03:06:22Z)
Align-SLM: Textless Spoken Language Models with Reinforcement Learning from AI Feedback [50.84142264245052]
テキストレス音声言語モデル(SLM)のセマンティック理解を強化するためのAlign-SLMフレームワークを導入する。提案手法は、与えられたプロンプトから複数の音声継続を生成し、意味的指標を用いて、直接選好最適化(DPO)のための選好データを生成する。語彙および構文モデリングのためのZeroSpeech 2021ベンチマーク、意味的コヒーレンスのためのStoryClozeデータセットの音声バージョン、GPT4-oスコアや人間評価などの音声生成指標を用いて、フレームワークの評価を行った。
論文参考訳（メタデータ） (2024-11-04T06:07:53Z)
Advancing Semantic Textual Similarity Modeling: A Regression Framework with Translated ReLU and Smooth K2 Loss [3.435381469869212]
本稿では,Sentence-BERT STSタスクのための革新的な回帰フレームワークを提案する。これは2つの単純で効果的な損失関数、Translated ReLUとSmooth K2 Lossを提案する。実験結果から,本手法は7つのSTSベンチマークにおいて有意な性能を達成できることが示された。
論文参考訳（メタデータ） (2024-06-08T02:52:43Z)
Enhancing Modern Supervised Word Sense Disambiguation Models by Semantic Lexical Resources [11.257738983764499]
現在、Word Sense Disambiguation (WSD) の監視モデルは、最も人気のあるベンチマークで最先端の結果をもたらす。我々は、WordNetとWordNet Domainsという2つの人気のあるSLRを利用する「モダンな」教師付きWSDモデルを強化する。本研究では,単語埋め込みやリカレントニューラルネットワークの混合によって符号化された局所的文脈との相互作用について,異なるタイプの意味的特徴の影響について検討する。
論文参考訳（メタデータ） (2024-02-20T13:47:51Z)
Layer-Wise Analysis of Self-Supervised Acoustic Word Embeddings: A Study on Speech Emotion Recognition [54.952250732643115]
連続表現から派生した長さの固定長特徴である音響単語埋め込み(AWE)について検討し,その利点について検討した。 AWEは以前、音響的識別可能性の把握に有用であることを示した。以上の結果から,AWEが伝達する音響的文脈が明らかになり,高い競争力を持つ音声認識精度が示された。
論文参考訳（メタデータ） (2024-02-04T21:24:54Z)
Meta-Learning with Variational Semantic Memory for Word Sense Disambiguation [56.830395467247016]
メタ学習環境におけるWSDのセマンティックメモリモデルを提案する。我々のモデルは階層的変動推論に基づいており、ハイパーネットワークを介して適応的なメモリ更新ルールを組み込んでいる。極めて少ないシナリオでの効果的な学習を支援するために,本モデルがWSDで最先端の技術を数ショットで実現していることを示す。
論文参考訳（メタデータ） (2021-06-05T20:40:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。