論文の概要: Interpret and Control Dense Retrieval with Sparse Latent Features

• arxiv url: http://arxiv.org/abs/2411.00786v1
• Date: Thu, 17 Oct 2024 14:59:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-10 13:03:17.276466
• Title: Interpret and Control Dense Retrieval with Sparse Latent Features
• Title（参考訳）: スパース遅延特徴を用いた解釈・制御距離検索
• Authors: Hao Kang, Tevin Wang, Chenyan Xiong,
• Abstract要約: 本稿では,スパース・オートエンコーダ (SAE) を用いた新しい手法を提案する。 実験結果から, 学習した潜在スパース特徴と再構成された埋め込みはともに, 元の高密度ベクトルとほぼ同じ精度を保っていることが明らかとなった。
• 参考スコア（独自算出の注目度）: 18.843817998618384
• License:
• Abstract: Dense embeddings deliver strong retrieval performance but often lack interpretability and controllability. This paper introduces a novel approach using sparse autoencoders (SAE) to interpret and control dense embeddings via the learned latent sparse features. Our key contribution is the development of a retrieval-oriented contrastive loss, which ensures the sparse latent features remain effective for retrieval tasks and thus meaningful to interpret. Experimental results demonstrate that both the learned latent sparse features and their reconstructed embeddings retain nearly the same retrieval accuracy as the original dense vectors, affirming their faithfulness. Our further examination of the sparse latent space reveals interesting features underlying the dense embeddings and we can control the retrieval behaviors via manipulating the latent sparse features, for example, prioritizing documents from specific perspectives in the retrieval results.
• Abstract（参考訳）: デンス埋め込みは強力な検索性能を提供するが、解釈可能性や制御性に欠けることが多い。 本稿では,スパース・オートエンコーダ (SAE) を用いた新しい手法を提案する。 我々の重要な貢献は検索指向のコントラッシブ・ロスの発達であり、検索作業においてスパース・ラテント特徴が有効であり、解釈に意味のあるものであることを保証します。 実験の結果,学習した疎水性特徴と再構成された埋め込みはともに,元の高密度ベクトルとほぼ同一の精度を維持し,その忠実さを裏付けることがわかった。 余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余剰余成分を定め, 余剰余剰余剰余剰余剰余成分を定め, 余剰余剰余剰余剰余剰余成分を定式化し, 余剰余剰余成分を定式化する。

関連論文リスト

• Disentangling Dense Embeddings with Sparse Autoencoders [0.0]
  スパースオートエンコーダ(SAE)は、複雑なニューラルネットワークから解釈可能な特徴を抽出する可能性を示している。 大規模言語モデルからの高密度テキスト埋め込みに対するSAEの最初の応用の1つを提示する。 その結果,解釈可能性を提供しながら意味的忠実さを保っていることが明らかとなった。
  論文  参考訳（メタデータ） (2024-08-01T15:46:22Z)
• Transcending Forgery Specificity with Latent Space Augmentation for Generalizable Deepfake Detection [57.646582245834324]
  LSDAと呼ばれる簡易で効果的なディープフェイク検出器を提案する。 より多様な偽の表現は、より一般化可能な決定境界を学べるべきである。 提案手法は驚くほど有効であり, 広く使用されている複数のベンチマークで最先端の検出器を超越することを示す。
  論文  参考訳（メタデータ） (2023-11-19T09:41:10Z)
• Discovering Object-Centric Generalized Value Functions From Pixels [17.10287710842919]
  本研究では,対象物から意味のある特徴を発見し,時間的コヒーレントな「探索」関数に翻訳する手法を提案する。 また,探索された一般値関数を解析し,学習された表現が解釈可能であるだけでなく,高速な適応を容易にするタスク間で不変なオブジェクトを中心にしていることを示す。
  論文  参考訳（メタデータ） (2023-04-27T00:34:24Z)
• ReDFeat: Recoupling Detection and Description for Multimodal Feature Learning [51.07496081296863]
  我々は、相互重み付け戦略による多モーダル特徴学習の検出と記述の独立した制約を再定義する。 本研究では,大きな受容場を有し,学習可能な非最大抑制層を備える検出器を提案する。 我々は,特徴マッチングと画像登録タスクにおける特徴量を評価するために,クロス可視,赤外線,近赤外,合成開口レーダ画像ペアを含むベンチマークを構築した。
  論文  参考訳（メタデータ） (2022-05-16T04:24:22Z)
• Robust Depth Completion with Uncertainty-Driven Loss Functions [60.9237639890582]
  本研究では,不確実性による損失関数を導入し,深度補修の堅牢性を改善し,深度補修の不確実性に対処する。 提案手法は,KITTI深度評価ベンチマークでテストされ,MAE, IMAE, IRMSEの計測値を用いて最先端のロバスト性性能を達成した。
  論文  参考訳（メタデータ） (2021-12-15T05:22:34Z)
• Practical Benefits of Feature Feedback Under Distribution Shift [23.615375479758452]
  機能フィードバック手法は、様々な自然なドメイン外データセットにおいて、より優れた性能を発揮することを示す。 対照的に、自然言語の推論タスクでは、パフォーマンスは相容れない。
  論文  参考訳（メタデータ） (2021-10-14T17:35:23Z)
• Exploring Set Similarity for Dense Self-supervised Representation Learning [96.35286140203407]
  本研究では,高密度自己教師型表現学習のためのtextbfset textbfsimilarity (SetSim) を提案する。 ピクセルワイドの類似性学習をセットワイドに一般化し,よりセマンティックな情報や構造的な情報を含むため,ロバスト性を向上させる。 具体的には、ビューの注意的特徴に頼って対応する集合を定め、不適切な対応を引き起こす可能性のあるノイズの多い背景をフィルタリングする。
  論文  参考訳（メタデータ） (2021-07-19T09:38:27Z)
• Toward Understanding the Feature Learning Process of Self-supervised Contrastive Learning [43.504548777955854]
  本研究では,その特徴学習過程を解析することにより,ニューラルネットワークの特徴表現のコントラスト学習について検討する。 textbfReLUネットワークを用いたコントラスト学習は、適切な拡張が採用されれば、所望のスパース特徴を確実に学習できることを実証する。
  論文  参考訳（メタデータ） (2021-05-31T16:42:09Z)
• Reciprocal Feature Learning via Explicit and Implicit Tasks in Scene Text Recognition [60.36540008537054]
  本研究では,従来のテキスト認識における文字数カウントという暗黙のタスクを,追加的な注釈コストなしで発掘する。 両タスクの機能を適切に活用するために,2分岐の相反的特徴学習フレームワークを設計する。 7つのベンチマークの実験では、テキスト認識と新しい文字カウントタスクの両方において提案手法の利点が示されている。
  論文  参考訳（メタデータ） (2021-05-13T12:27:35Z)
• Representation Learning for Sequence Data with Deep Autoencoding Predictive Components [96.42805872177067]
  本稿では,シーケンスデータの有用な表現が潜在空間における単純な構造を示すべきという直感に基づく,シーケンスデータの自己教師型表現学習法を提案する。 我々は,過去と将来のウィンドウ間の相互情報である潜在特徴系列の予測情報を最大化することにより,この潜時構造を奨励する。 提案手法は,ノイズの多い動的システムの潜時空間を復元し,タスク予測のための予測特徴を抽出し,エンコーダを大量の未ラベルデータで事前訓練する場合に音声認識を改善する。
  論文  参考訳（メタデータ） (2020-10-07T03:34:01Z)
• Learning Sparse Sentence Encoding without Supervision: An Exploration of Sparsity in Variational Autoencoders [36.60504726767521]
  空間性は、固定次元のベクトルにおけるデータの効率的な表現を学習するための効果的な帰納バイアスである。 本稿では,画像領域でよく研究されているVAEフレームワーク内の空間性について検討する。 3つのデータセットにまたがるテキスト分類における空間性の影響を考察する。
  論文  参考訳（メタデータ） (2020-09-25T20:08:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。