論文の概要: Decoding Dense Embeddings: Sparse Autoencoders for Interpreting and Discretizing Dense Retrieval

• arxiv url: http://arxiv.org/abs/2506.00041v1
• Date: Wed, 28 May 2025 02:50:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-04 21:47:32.083225
• Title: Decoding Dense Embeddings: Sparse Autoencoders for Interpreting and Discretizing Dense Retrieval
• Title（参考訳）: Decoding Dense Embeddings:Dense Retrievalの解釈と識別のためのスパースオートエンコーダ
• Authors: Seongwan Park, Taeklim Kim, Youngjoong Ko,
• Abstract要約: 本稿では,Dense Passage Retrieval(DPR)モデルに対する新しい解釈可能性フレームワークを提案する。 我々は,各潜伏概念の自然言語記述を生成し,DPRモデルの密埋め込みと問合せ文書類似度スコアの両方の人間の解釈を可能にする。 概念レベルスパース検索(CL-SR)は,語彙や意味的ミスマッチ間の堅牢な性能を維持しつつ,高いインデックス空間と計算効率を実現する。
• 参考スコア（独自算出の注目度）: 13.31210969917096
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Despite their strong performance, Dense Passage Retrieval (DPR) models suffer from a lack of interpretability. In this work, we propose a novel interpretability framework that leverages Sparse Autoencoders (SAEs) to decompose previously uninterpretable dense embeddings from DPR models into distinct, interpretable latent concepts. We generate natural language descriptions for each latent concept, enabling human interpretations of both the dense embeddings and the query-document similarity scores of DPR models. We further introduce Concept-Level Sparse Retrieval (CL-SR), a retrieval framework that directly utilizes the extracted latent concepts as indexing units. CL-SR effectively combines the semantic expressiveness of dense embeddings with the transparency and efficiency of sparse representations. We show that CL-SR achieves high index-space and computational efficiency while maintaining robust performance across vocabulary and semantic mismatches.
• Abstract（参考訳）: 強力な性能にもかかわらず、DPR(Dense Passage Retrieval)モデルは解釈可能性の欠如に悩まされている。 本研究では,Sparse Autoencoders (SAEs) を利用した新しい解釈可能性フレームワークを提案する。 我々は,各潜伏概念の自然言語記述を生成し,DPRモデルの密埋め込みと問合せ文書類似度スコアの両方の人間の解釈を可能にする。 さらに,抽出された潜在概念を直接インデックス単位として利用する検索フレームワークであるConcept-Level Sparse Retrieval (CL-SR)を紹介する。 CL-SRは密埋め込みの意味表現とスパース表現の透明性と効率を効果的に組み合わせている。 CL-SRは語彙や意味的ミスマッチ間の堅牢な性能を維持しつつ,高いインデックス空間と計算効率を実現する。

関連論文リスト

• I Predict Therefore I Am: Is Next Token Prediction Enough to Learn Human-Interpretable Concepts from Data? [76.15163242945813]
  大規模言語モデル (LLM) は、多くの人が知能の形式を示すと結論づけている。 本稿では,潜在離散変数として表現される人間解釈可能な概念に基づいてトークンを生成する新しい生成モデルを提案する。
  論文  参考訳（メタデータ） (2025-03-12T01:21:17Z)
• Disentangling Dense Embeddings with Sparse Autoencoders [0.0]
  スパースオートエンコーダ(SAE)は、複雑なニューラルネットワークから解釈可能な特徴を抽出する可能性を示している。 大規模言語モデルからの高密度テキスト埋め込みに対するSAEの最初の応用の1つを提示する。 その結果,解釈可能性を提供しながら意味的忠実さを保っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-08-01T15:46:22Z)
• Hierarchical Indexing for Retrieval-Augmented Opinion Summarization [60.5923941324953]
  本稿では,抽出アプローチの帰属性と拡張性と,大規模言語モデル(LLM)の一貫性と拡散性を組み合わせた,教師なし抽象的意見要約手法を提案する。 我々の方法であるHIROは、意味的に整理された離散的な階層を通して文を経路にマッピングするインデックス構造を学習する。 推測時にインデックスを投入し、入力レビューから人気意見を含む文群を識別し、検索する。
  論文  参考訳（メタデータ） (2024-03-01T10:38:07Z)
• Interpreting CLIP with Sparse Linear Concept Embeddings (SpLiCE) [22.364723506539974]
  ここでは,CLIPの潜在空間のセマンティック構造を利用して解釈可能であることを示す。 本稿では,CLIP表現を,人間の解釈可能な概念の疎線形結合に変換するための新しい手法Sparse Linear Concept Embeddingsを提案する。
  論文  参考訳（メタデータ） (2024-02-16T00:04:36Z)
• Prompt-based Logical Semantics Enhancement for Implicit Discourse Relation Recognition [4.7938839332508945]
  Inlicit Discourse Relation Recognition (IDRR) のための Prompt-based Logical Semantics Enhancement (PLSE) 法を提案する。 提案手法は,事前学習した言語モデルに対する対話関係に関する知識を,素早い接続予測によってシームレスに注入する。 PDTB 2.0 と CoNLL16 データセットによる実験結果から,本手法は現状の最先端モデルに対して優れた一貫した性能を発揮することが示された。
  論文  参考訳（メタデータ） (2023-11-01T08:38:08Z)
• Scalable Learning of Latent Language Structure With Logical Offline Cycle Consistency [71.42261918225773]
  概念的には、LOCCOは、トレーニング対象のセマンティクスを使用してラベルなしテキストのアノテーションを生成する、自己学習の一形態と見なすことができる。 追加ボーナスとして、LOCCOによって生成されたアノテーションは、神経テキスト生成モデルをトレーニングするために自明に再利用することができる。
  論文  参考訳（メタデータ） (2023-05-31T16:47:20Z)
• What Are You Token About? Dense Retrieval as Distributions Over the Vocabulary [68.77983831618685]
  本稿では,2つのエンコーダが生成するベクトル表現を,モデルの語彙空間に投影することで解釈する。 得られたプロジェクションは、リッチな意味情報を含み、それらの間の接続を描画し、スパース検索を行う。
  論文  参考訳（メタデータ） (2022-12-20T16:03:25Z)
• Improve Variational Autoencoder for Text Generationwith Discrete Latent Bottleneck [52.08901549360262]
  変分オートエンコーダ(VAE)は、エンドツーエンドの表現学習において必須のツールである。 VAEは強い自己回帰デコーダで潜伏変数を無視する傾向がある。 よりコンパクトな潜在空間において暗黙的な潜在特徴マッチングを強制する原理的アプローチを提案する。
  論文  参考訳（メタデータ） (2020-04-22T14:41:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。