論文の概要: ISBC: Interpretable Sparse Binary Coding of Pretrained Text Embeddings

• arxiv url: http://arxiv.org/abs/2611.00999v2
• Date: Tue, 03 Nov 2026 08:24:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-13 08:38:30.383855
• Title: ISBC: Interpretable Sparse Binary Coding of Pretrained Text Embeddings
• Title（参考訳）: ISBC: 事前訓練されたテキスト埋め込みの解釈可能なスパースバイナリコーディング
• Abstract要約: 我々は,分類ラベルや下流結果のない凍結埋め込みから,小さなバイナリ次元の集合を学習するインタープリタブルスパースバイナリ符号化(ISBC)を導入する。 トレーニング可能なエンコーダとアフィンデコーダは、リコンストラクションと、アクティビティ、ファクタ利用、依存性、アクティベーションの不確実性の制御を結合する。 コーパス、バックボーン、コード構成にまたがるこれらの表現を、再構成、幾何学、予測プローブ、文書検査を通じて評価する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pretrained text embeddings encode semantic structure in high-dimensional continuous spaces whose coordinates are difficult to interpret. We introduce Interpretable Sparse Binary Coding (ISBC), which learns a small set of binary dimensions from frozen embeddings without taxonomy labels or downstream outcomes. A trainable encoder and affine decoder combine reconstruction with controls on activity, factor utilization, dependence, and activation uncertainty. Individual bits and their conjunctions select overlapping document groups; complete activation profiles provide finer contexts for conditional comparisons. We evaluate these representations across corpora, backbones, and code configurations through reconstruction, geometry, predictive probes, and document inspection. Empirical cases identify both distinctions within existing categories and shared content across their boundaries. In a mixed-domain corpus, the most frequent profiles predominantly identify source collections, while selected within-source comparisons reveal sentiment and migration contrasts. Selected associations persist in additional documents encoded without refitting. In an engagement application, bits alone improve prediction of log-transformed outcomes over a constant reference, while their combinations identify within-event content contrasts associated with engagement. The results support using binary coordinates and their combinations for empirical interpretation, with complete profiles providing a fine, partly initialization-dependent description rather than a unique discrete taxonomy.
• Abstract（参考訳）: 事前制約されたテキスト埋め込みは、座標の解釈が難しい高次元連続空間における意味構造を符号化する。 我々は,分類ラベルや下流結果のない凍結埋め込みから,小さなバイナリ次元の集合を学習するインタープリタブルスパースバイナリ符号化(ISBC)を導入する。 トレーニング可能なエンコーダとアフィンデコーダは、リコンストラクションと、アクティビティ、ファクタ利用、依存性、アクティベーションの不確実性の制御を結合する。 個々のビットとその結合は重なり合う文書群を選択し、完全なアクティベーションプロファイルは条件比較のためのより詳細なコンテキストを提供する。 コーパス,バックボーン,コード構成にまたがるこれらの表現を,再構成,幾何学,予測プローブ,文書検査を通じて評価する。 経験的ケースは、既存のカテゴリ内の区別と、境界を越えて共有されたコンテンツの両方を識別する。 混合ドメインコーパスでは、最も頻度の高いプロファイルは、主にソースコレクションを識別するが、ソース内比較の選択は、感情とマイグレーションのコントラストを示す。 選択された協会は、修正することなくエンコードされた追加の文書に留まった。 エンゲージメントアプリケーションでは、ビットだけが一定の参照よりもログ変換結果の予測を改善し、その組み合わせはエンゲージメントに関連するイントラストを識別する。 結果は、バイナリ座標とそれらの組み合わせを経験的解釈に使用することをサポートし、完全なプロファイルは、独特な個別の分類学ではなく、微細で部分的に初期化に依存した記述を提供する。

関連論文リスト

• Contextual Document Embeddings [77.22328616983417]
  本稿では,コンテキスト化された文書埋め込みのための2つの補完手法を提案する。 第一に、文書近傍を明示的にバッチ内コンテキスト損失に組み込む別のコントラスト学習目標である。 第二に、隣接する文書情報をエンコードされた表現に明示的にエンコードする新しいコンテキストアーキテクチャ。
  論文  参考訳（メタデータ） (2024-10-03T14:33:34Z)
• CoT-MoTE: Exploring ConTextual Masked Auto-Encoder Pre-training with Mixture-of-Textual-Experts for Passage Retrieval [23.69812399753584]
  コンテクチュアル・マスク付きオートエンコーダは,モノリシックなデュアルエンコーダのコンテクスト前処理におけるボトルネックの表現に有効であることが証明されている。 We propose to Pre-train Contextual Masked Auto-Encoder with Mixture-of-Textual-Experts (CoT-MoTE)。
  論文  参考訳（メタデータ） (2023-04-20T10:12:09Z)
• A Comparative Study on Structural and Semantic Properties of Sentence Embeddings [77.34726150561087]
  本稿では,関係抽出に広く利用されている大規模データセットを用いた実験セットを提案する。 異なる埋め込み空間は、構造的および意味的特性に対して異なる強度を持つことを示す。 これらの結果は,埋め込み型関係抽出法の開発に有用な情報を提供する。
  論文  参考訳（メタデータ） (2020-09-23T15:45:32Z)
• Extractive Summarization as Text Matching [123.09816729675838]
  本稿では,ニューラル抽出要約システムの構築方法に関するパラダイムシフトを作成する。 抽出した要約タスクを意味テキストマッチング問題として定式化する。 我々はCNN/DailyMailの最先端抽出結果を新しいレベル(ROUGE-1の44.41)に推し進めた。
  論文  参考訳（メタデータ） (2020-04-19T08:27:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。