論文の概要: ExpertLens: Visualizing Embedding Spaces for Post-Hoc Explainability in MoE Enhanced Retrievers
- arxiv url: http://arxiv.org/abs/2609.06155v1
- Date: Sat, 05 Sep 2026 15:55:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-10 19:44:08.210837
- Title: ExpertLens: Visualizing Embedding Spaces for Post-Hoc Explainability in MoE Enhanced Retrievers
- Title（参考訳）: ExpertLens: MoE強化レトリバーにおけるポストホック説明可能性のための埋め込みスペースの可視化
- Abstract要約: ExpertLensは、Mixture-of-Experts(MoE)強化された高密度検索のためのポストホックな説明可能性フレームワークである。
本稿では,ExpertLensが組込み空間構造と検索効率を継続的に改善することを示す。
- 参考スコア（独自算出の注目度）: 45.67070112128053
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Neural models, including dense retrievers, have been widely adopted in Information Retrieval (IR), often delivering state-of-the-art performance. Despite their effectiveness, these models operate as black boxes, limiting the interpretability of their ranking decisions. Existing post-hoc explainability methods for neural rankers primarily focus on feature-level attributions, which can be insufficient to capture the complexity of learned embedding spaces. In this work, we propose ExpertLens, a post-hoc explainability framework for Mixture-of-Experts (MoE)-enhanced dense retrievers that shifts focus from local scalar feature importance to representation-level global interpretability. ExpertLens leverages discriminative embedding space visualizations jointly with automatically extracted Concept Activation Vectors to reveal how expert routing drives embedding space formulation and retrieval effectiveness. Experiments across five IR benchmarks and two MoE-enhanced dense retrievers show that expert routing consistently improves embedding space structure, positioning queries and their relevant documents into better-defined geometric neighborhoods. Analysis of expert subspaces further reveals general-purpose dominant experts, along with minority experts exhibiting distinct linguistic specialization, with subspaces arranged according to multi-semantic concept similarity. Our code is publicly available.
- Abstract（参考訳）: 密度の高いレトリバーを含むニューラルモデルは、しばしば最先端のパフォーマンスを提供するインフォメーション・レトリヴァル(IR)で広く採用されている。
その効果にもかかわらず、これらのモデルはブラックボックスとして機能し、ランキング決定の解釈可能性を制限する。
ニューラルローダの既存のポストホックな説明可能性法は主に特徴レベルの属性に焦点を当てており、これは学習された埋め込み空間の複雑さを捉えるのに不十分である。
本研究では,Mixture-of-Experts (MoE) 強化された高密度検索のためのポストホックな説明可能性フレームワークであるExpertLensを提案する。
ExpertLensは、自動的に抽出されたConcept Activation Vectorsと共同で、差別的な埋め込み空間の可視化を活用して、専門家のルーティングが埋め込み空間の定式化と検索の有効性をいかに駆動するかを明らかにする。
5つのIRベンチマークと2つのMoE強化された高密度検索実験により、専門家のルーティングは、埋め込み空間構造、クエリの配置、関連するドキュメントをよりよく定義された幾何学的近傍に一貫して改善することが示された。
専門家のサブスペースの分析により、汎用的な支配的な専門家がさらに明らかになり、少数派の専門家は言語的な特殊化を示し、サブスペースは多面的な概念の類似性に従って配置される。
私たちのコードは公開されています。
関連論文リスト
- Towards a Statistical Understanding of Mixture-of-Experts [9.70213785111328]
Mixture-of-experts (MoE)アーキテクチャは、入力依存のルーティングを通じて専門家予測器のコレクションを組み合わせることで、モデル容量を増加させる。
我々は、MoEを局所化集約の一形態とみなし、この局所化が近似-推定-計算のトレードオフをどう見直すかを示す。
我々はまた、入力空間の幾何学を通してゲーティングを解釈し、局所的な専門家の利点のある領域にルーティング性能を関連付けるとともに、DeepSeekMoEのようなアーキテクチャで採用されている共有専門家が、どのように共通の予測構造を抽出できるかを示す。
論文 参考訳（メタデータ） (2026-09-03T08:03:16Z) - Unleashing Multimodal Large Language Models for Training-free HOI Detection in the Wild [49.77540427384148]
本稿では,基礎モデルの汎用的マルチモーダル推論能力を野生でのHOI検出に伝達する,訓練不要なエージェント型フレームワークであるAgenHoIを提案する。
不完全な相互作用発見と複雑な場面におけるあいまいな局所化の課題に対処するために,2つの重要なメカニズムを導入する。
AgentHOIは、リアルタイム設定において、最先端の教師付きおよび弱教師付きメソッドよりも優れたパフォーマンスを実現する。
論文 参考訳（メタデータ） (2026-07-15T14:30:20Z) - Beyond Routing: Characterising Expert Tuning and Representation in Vision Mixture-of-Experts [0.0]
Mixture-of-Experts (MoE)モデルは、専門家にルートされるカテゴリの分析によってしばしば解釈される。
我々は、自然画像と専門家の専門性に対して対照的な目標を掲げて、スパースゲートの畳み込み型MoEモデルを訓練する。
我々は、最もエキサイティングな入力を用いて、専門家ごとのカテゴリ分離性、および専門家ごとのチューニングを測定する。
論文 参考訳（メタデータ） (2026-05-20T01:55:40Z) - Spatial-VLN: Zero-Shot Vision-and-Language Navigation With Explicit Spatial Perception and Exploration [16.651645602449577]
大規模言語モデル(LLM)を利用した視覚・言語ナビゲーション(VLN)エージェントは、一般化が優れているが、空間認識が不十分である。
本稿では,これらの課題を克服するための知覚誘導探索フレームワークであるSpatial-VLNを提案する。
論文 参考訳（メタデータ） (2026-01-19T06:53:02Z) - Visual Exploration of Feature Relationships in Sparse Autoencoders with Curated Concepts [8.768503486874623]
利用可能なすべての機能を同時に視覚化する試みよりも、キュレートされた概念とその対応するSAE機能を優先する集中探索フレームワークを提案する。
本稿では,トポロジに基づく視覚符号化と次元の縮小を組み合わせ,局所的・グローバル的関係を忠実に表現するインタラクティブな可視化システムを提案する。
論文 参考訳（メタデータ） (2025-11-08T15:36:57Z) - Beyond Redundancy: Diverse and Specialized Multi-Expert Sparse Autoencoder [59.89996751196727]
スパースオートエンコーダ(SAE)は、大規模な言語モデルを解釈するための強力なツールとして登場した。
SAEの隠蔽層は、空間的制約を満たすために高い次元性を持ち、結果として禁止的なトレーニングと推論コストをもたらす。
近年のMixture of Experts (MoE) アプローチは、SAEsによってゲートアクティベーションを持つより狭い専門家ネットワークにこの問題に対処しようとしている。
本稿では,(1)専門化を促進するために意味的に重み付けされた専門家サブセットを同時に関与する複数の専門家活性化,(2)適応的な高周波スケーリングによって多様性を高める特徴スケーリングという2つの重要なイノベーションを提案する。
論文 参考訳（メタデータ） (2025-11-07T22:19:34Z) - SSR: Enhancing Depth Perception in Vision-Language Models via Rationale-Guided Spatial Reasoning [48.64616652818972]
本稿では,生深度データを構造化・解釈可能なテキスト論理に変換する新しいフレームワークを提案する。
これらのテキストの有理は、空間的推論能力を著しく向上させる意味のある中間表現として機能する。
中間空間推論アノテーションを付加した100万スケールの視覚言語推論データセットであるSSR-CoTを提案する。
論文 参考訳（メタデータ） (2025-05-18T14:40:16Z) - Robust Saliency-Aware Distillation for Few-shot Fine-grained Visual
Recognition [57.08108545219043]
サンプルが少ない新しいサブカテゴリを認識することは、コンピュータビジョンにおいて不可欠で挑戦的な研究課題である。
既存の文献は、ローカルベースの表現アプローチを採用することでこの問題に対処している。
本稿では,ロバスト・サリエンシ・アウェア蒸留法(RSaD)を提案する。
論文 参考訳（メタデータ） (2023-05-12T00:13:17Z) - MoEC: Mixture of Expert Clusters [93.63738535295866]
Sparsely Mixture of Experts (MoE)は、安価な計算オーバーヘッドを持つ有望なスケーリング能力のため、大きな関心を集めている。
MoEは密度の高い層をスパースの専門家に変換し、ゲートルーティングネットワークを使用して専門家を条件付きで活性化させる。
しかし、専門家の数が増加するにつれて、乱雑なパラメータを持つMoEはデータアロケーションの過度な調整とスパースに悩まされる。
論文 参考訳（メタデータ） (2022-07-19T06:09:55Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。