論文の概要: Aligning Sentence Embeddings to Human Concepts via Sparse Autoencoders

• arxiv url: http://arxiv.org/abs/2607.00023v1
• Date: Fri, 19 Jun 2026 02:39:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-05 17:01:29.62958
• Title: Aligning Sentence Embeddings to Human Concepts via Sparse Autoencoders
• Title（参考訳）: スパースオートエンコーダによる人間概念への文埋め込みの調整
• Abstract要約: そこで本稿では,Top-k Sparse Autoencoders (SAEs) を用いた文変換器(例えばE5)の高密度表現を人間解釈可能な概念に分解する手法を提案する。 これらの不整合特徴が,特定の意味的,構文的,実践的なカテゴリと一致していることが実証された。 以上の結果から,SAEをベースとした分解は,透明でステアブルなニューラル情報検索に有効な経路であることが示唆された。
• 参考スコア（独自算出の注目度）: 5.053354418366577
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Dense sentence embeddings are fundamental to modern Retrieval-Augmented Generation (RAG) systems but suffer from a lack of interpretability due to feature superposition. This opacity hinders the alignment of retrieval processes with human intent, as the entangled representations are difficult to analyze or control. In this work, we propose a method to disentangle the dense representations of sentence transformers (e.g., E5) into human-interpretable concepts using Top-k Sparse Autoencoders (SAEs). We demonstrate that these disentangled features align with specific semantic, syntactic, and pragmatic categories. Furthermore, we introduce an activation steering mechanism that allows for precise intervention in the retrieval process. By clamping specific latent features, we show that it is possible to re-rank search results to better align with user constraints without retraining the backbone model. Our findings suggest that SAE-based decomposition offers a viable path toward transparent and steerable neural information retrieval.
• Abstract（参考訳）: 複雑な文の埋め込みは、現代の検索・拡張生成システム(RAG)の基本であるが、特徴重畳による解釈性の欠如に悩まされている。 この不透明さは、絡み合った表現が分析や制御が難しいため、検索プロセスと人間の意図との整合を妨げる。 本研究では,Top-k Sparse Autoencoders (SAEs) を用いた文変換器(例:E5)の高密度表現を人間の解釈可能な概念に分解する手法を提案する。 これらの不整合特徴が,特定の意味的,構文的,実践的なカテゴリと一致していることが実証された。 さらに,検索プロセスに正確な介入を可能にするアクティベーションステアリング機構を導入する。 特定の潜在機能をクランプすることで、検索結果を再ランクして、バックボーンモデルを再トレーニングすることなく、ユーザの制約に合うようにすることができることを示す。 以上の結果から,SAEをベースとした分解は,透明でステアブルなニューラル情報検索に有効な経路であることが示唆された。

関連論文リスト

• Decoupling Semantics and Logic: A Training-Free Coarse-to-Fine Pipeline for Video Retrieval-Augmented Generation [5.263138429758972]
  本稿では,Multimodal Retrieval (MAGMaR)によるマルチモーダル生成に関する第2回ワークショップのシステム記述について述べる。 言語間の長いビデオ理解,厳密なペルソナの定着,ゼロ・ハロシン化時間的接地といった重要な課題に対処するため,2段階のビデオRAGパイプラインを提案する。 我々のアーキテクチャは、認知的論理的推論から、モダリティを意識した分業を通じて意味的検索を戦略的に分離する。
  論文  参考訳（メタデータ） (2026-06-06T01:17:40Z)
• Reward-Guided Semantic Evolution for Test-time Adaptive Object Detection [82.2968697030677]
  Grounding DINOのような視覚言語モデル(VLM)を用いたオープン語彙オブジェクト検出は、テスト時間分布シフト時の性能劣化に悩まされる。 Reward-Guided Semantic Evolution (RGSE) は、テスト時にテキストの埋め込みを直接洗練するトレーニング不要のフレームワークである。
  論文  参考訳（メタデータ） (2026-05-06T06:17:41Z)
• Beyond Semantic Similarity: Rethinking Retrieval for Agentic Search via Direct Corpus Interaction [127.64173950476702]
  エージェントが直接、汎用端末ツールを用いて、生コーパスを直接検索する直接コーパス間相互作用(DCI)について検討する。 このアプローチではオフラインインデックスを必要とせず、ローカルコーパスの進化に自然に適応する。 IRベンチマークとエンドツーエンドのエージェント検索タスク全体にわたって、この単純なセットアップは、強いスパース、密度、リランクベースラインよりも大幅に優れています。
  論文  参考訳（メタデータ） (2026-05-03T19:13:11Z)
• AlignSAE: Concept-Aligned Sparse Autoencoders [47.18866175760984]
  本稿では,SAE の機能と定義オントロジーを"pre-train, then-train" カリキュラムで整合させる手法である AlignSAE を紹介する。 初期教師なしトレーニングフェーズの後、特定の概念を専用潜在スロットにバインドするために教師付きポストトレーニングを適用する。 この分離により、非関係な特徴から干渉することなく、特定の関係を検査・制御できる解釈可能なインターフェースが生成される。
  論文  参考訳（メタデータ） (2025-12-01T18:58:22Z)
• Interpreting CFD Surrogates through Sparse Autoencoders [6.842974489069953]
  本研究では,計算流体力学(CFD)で用いられるグラフベースの代理モデルに対するポストホック解釈可能性フレームワークを導入する。 事前訓練されたサロゲートのノード埋め込み空間における過剰な基底を得ることにより、解釈可能な潜在特徴の辞書を抽出する。 このアプローチは、渦や流れ構造のような物理的現象に整合した単意味概念の同定を可能にする。
  論文  参考訳（メタデータ） (2025-07-21T21:09:45Z)
• Decoding Dense Embeddings: Sparse Autoencoders for Interpreting and Discretizing Dense Retrieval [15.665567982431924]
  本稿では,Dense Passage Retrieval(DPR)モデルに対する新しい解釈可能性フレームワークを提案する。 我々は,各潜伏概念の自然言語記述を生成し,DPRモデルの密埋め込みと問合せ文書類似度スコアの両方の人間の解釈を可能にする。 概念レベルスパース検索(CL-SR)は,語彙や意味的ミスマッチ間の堅牢な性能を維持しつつ,高いインデックス空間と計算効率を実現する。
  論文  参考訳（メタデータ） (2025-05-28T02:50:17Z)
• Disentangling Dense Embeddings with Sparse Autoencoders [0.0]
  スパースオートエンコーダ(SAE)は、複雑なニューラルネットワークから解釈可能な特徴を抽出する可能性を示している。 大規模言語モデルからの高密度テキスト埋め込みに対するSAEの最初の応用の1つを提示する。 その結果,解釈可能性を提供しながら意味的忠実さを保っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-08-01T15:46:22Z)
• Sparse Feature Circuits: Discovering and Editing Interpretable Causal Graphs in Language Models [55.19497659895122]
  本稿ではスパース特徴回路の発見と適用方法を紹介する。 これらは言語モデルの振る舞いを説明するための人間の解釈可能な特徴の因果関係の著作である。
  論文  参考訳（メタデータ） (2024-03-28T17:56:07Z)
• Tuning-Free Accountable Intervention for LLM Deployment -- A Metacognitive Approach [55.613461060997004]
  大規模言語モデル(LLM)は、自然言語処理タスクの幅広い領域にわたる変換的進歩を触媒している。 我々は,自己認識型誤り識別と訂正機能を備えたLLMを実現するために,textbfCLEARと呼ばれる革新的なテキストメタ認知手法を提案する。
  論文  参考訳（メタデータ） (2024-03-08T19:18:53Z)
• Adversarial Semantic Data Augmentation for Human Pose Estimation [96.75411357541438]
  本研究では,セマンティックデータ拡張法 (SDA) を提案する。 また,適応的セマンティックデータ拡張 (ASDA) を提案する。 最先端の結果は、挑戦的なベンチマークで得られます。
  論文  参考訳（メタデータ） (2020-08-03T07:56:04Z)
• Closed-Form Factorization of Latent Semantics in GANs [65.42778970898534]
  画像合成のために訓練されたGAN(Generative Adversarial Networks)の潜在空間に、解釈可能な次元の豊富なセットが出現することが示されている。 本研究では,GANが学習した内部表現について検討し,その基礎となる変動要因を教師なしで明らかにする。 本稿では,事前学習した重みを直接分解することで,潜在意味発見のためのクローズドフォーム因数分解アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-07-13T18:05:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。