論文の概要: Map of Encoders -- Mapping Sentence Encoders using Quantum Relative Entropy

• arxiv url: http://arxiv.org/abs/2602.08740v1
• Date: Mon, 09 Feb 2026 14:41:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-10 20:26:25.301991
• Title: Map of Encoders -- Mapping Sentence Encoders using Quantum Relative Entropy
• Title（参考訳）: エンコーダのマップ-量子相対エントロピーを用いた文エンコーダのマッピング
• Authors: Gaifan Zhang, Danushka Bollegala,
• Abstract要約: 1101の公開文エンコーダをカバーするエンコーダのマップを構築する。 このマップは,類似属性を持つエンコーダが地図上に近接して位置するエンコーダ間の様々な関係を正確に反映する。
• 参考スコア（独自算出の注目度）: 23.18985488473778
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose a method to compare and visualise sentence encoders at scale by creating a map of encoders where each sentence encoder is represented in relation to the other sentence encoders. Specifically, we first represent a sentence encoder using an embedding matrix of a sentence set, where each row corresponds to the embedding of a sentence. Next, we compute the Pairwise Inner Product (PIP) matrix for a sentence encoder using its embedding matrix. Finally, we create a feature vector for each sentence encoder reflecting its Quantum Relative Entropy (QRE) with respect to a unit base encoder. We construct a map of encoders covering 1101 publicly available sentence encoders, providing a new perspective of the landscape of the pre-trained sentence encoders. Our map accurately reflects various relationships between encoders, where encoders with similar attributes are proximally located on the map. Moreover, our encoder feature vectors can be used to accurately infer downstream task performance of the encoders, such as in retrieval and clustering tasks, demonstrating the faithfulness of our map.
• Abstract（参考訳）: 本稿では,各文エンコーダが他の文エンコーダと関連して表現されるエンコーダのマップを作成することにより,文エンコーダを大規模に比較・可視化する手法を提案する。 具体的には,まず文集合の埋め込み行列を用いて文エンコーダを表現し,各行が文の埋め込みに対応する。 次に、その埋め込み行列を用いて文エンコーダのペアワイズ内積(PIP)行列を計算する。 最後に、各文エンコーダの特徴ベクトルを作成し、その量子相対エントロピー(QRE)を単位ベースエンコーダに対して反映する。 我々は,1101個の公開文エンコーダをカバーするエンコーダのマップを構築し,事前学習された文エンコーダの景観の新たな視点を提供する。 このマップは,類似属性を持つエンコーダが地図上に近接して位置するエンコーダ間の様々な関係を正確に反映する。 さらに,エンコーダの特徴ベクトルを用いて,検索タスクやクラスタリングタスクなどのエンコーダの下流タスク性能を正確に推定し,地図の忠実さを示す。

関連論文リスト

• A blockBP decoder for the surface code [0.0]
  本稿では,テンソル・ネットワーク・デコーダの精度と信念伝達アルゴリズムの効率性と並列性を組み合わせた表面符号のための新しいデコーダを提案する。 したがって、デコーダは、縮退した最大可能性復号化フレームワークで動作する信念伝播復号器である。
  論文  参考訳（メタデータ） (2024-02-07T13:32:32Z)
• DecoderLens: Layerwise Interpretation of Encoder-Decoder Transformers [6.405360669408265]
  本稿では,エンコーダ・デコーダ変換器を簡易に解析する手法を提案する。 LogitLens(デコーダのみのトランスフォーマー)にインスパイアされたこの手法では、デコーダが中間エンコーダ層を横断的に表現できるようにする。 質問応答,論理的推論,音声認識,機械翻訳を訓練したモデルに適用したDecoderLensの結果を報告する。
  論文  参考訳（メタデータ） (2023-10-05T17:04:59Z)
• MaskOCR: Text Recognition with Masked Encoder-Decoder Pretraining [68.05105411320842]
  本稿では,従来のエンコーダ・デコーダ認識フレームワークにおいて,視覚と言語を事前学習するための新しいアプローチであるMaskOCRを提案する。 マスク付き画像モデリング手法を用いて、未ラベルのテキスト画像の集合を用いて特徴エンコーダを事前学習する。 テキストデータを合成されたテキスト画像に変換し、視覚と言語のデータモダリティを統一し、シーケンスデコーダの言語モデリング能力を向上する。
  論文  参考訳（メタデータ） (2022-06-01T08:27:19Z)
• StolenEncoder: Stealing Pre-trained Encoders [62.02156378126672]
  我々は、事前訓練された画像エンコーダを盗むStolenEncoderと呼ばれる最初の攻撃を提案する。 以上の結果から,StolenEncoderが盗んだエンコーダは,ターゲットエンコーダと同じような機能を持つことがわかった。
  論文  参考訳（メタデータ） (2022-01-15T17:04:38Z)
• Dense Coding with Locality Restriction for Decoder: Quantum Encoders vs. Super-Quantum Encoders [67.12391801199688]
  我々は、デコーダに様々な局所性制限を課すことにより、濃密な符号化について検討する。 このタスクでは、送信者アリスと受信機ボブが絡み合った状態を共有する。
  論文  参考訳（メタデータ） (2021-09-26T07:29:54Z)
• Small Lesion Segmentation in Brain MRIs with Subpixel Embedding [105.1223735549524]
  ヒト脳のMRIスキャンを虚血性脳梗塞と正常組織に分割する方法を提案する。 本稿では,空間展開埋め込みネットワークによって予測を導出する標準エンコーダデコーダの形式でニューラルネットワークアーキテクチャを提案する。
  論文  参考訳（メタデータ） (2021-09-18T00:21:17Z)
• Dynamic Neural Representational Decoders for High-Resolution Semantic Segmentation [98.05643473345474]
  動的ニューラル表現デコーダ(NRD)と呼ばれる新しいデコーダを提案する。 エンコーダの出力上の各位置がセマンティックラベルの局所的なパッチに対応するので、この研究では、これらの局所的なパッチをコンパクトなニューラルネットワークで表現する。 このニューラル表現により、意味ラベル空間に先行する滑らかさを活用することができ、デコーダをより効率的にすることができる。
  論文  参考訳（メタデータ） (2021-07-30T04:50:56Z)
• On Sparsifying Encoder Outputs in Sequence-to-Sequence Models [90.58793284654692]
  我々はTransformerをテストベッドとして、エンコーダとデコーダの間にあるゲートの層を導入します。 ゲートは、パリシティ誘導L0ペナルティの期待値を用いて正規化される。 このスペーサー化が2つの機械翻訳と2つの要約タスクに与える影響について検討する。
  論文  参考訳（メタデータ） (2020-04-24T16:57:52Z)
• Encoder blind combinatorial compressed sensing [5.177947445379688]
  線形測定のみからスパース符号の集合を復元するデコーダを設計する際の問題点を考察する。 本稿では,Decoder-Expander Based Factorisationという計算効率のよいデコードアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2020-04-10T16:26:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。