論文の概要: Semantically Rich, Metrically Affect-Blind: A Geometric Blind Spot in Modern Text Embedders
- arxiv url: http://arxiv.org/abs/2610.32122v1
- Date: Fri, 23 Oct 2026 03:50:48 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 01:38:06.337261
- Title: Semantically Rich, Metrically Affect-Blind: A Geometric Blind Spot in Modern Text Embedders
- Title（参考訳）: 感性豊かなメカニカル・アフェクト・ブラインド:現代テキストエンベッドダーの幾何学的ブラインドスポット
- Abstract要約: Sentiment-Injected Sentence Embeddings (SISE) は、CPU上の数秒間、凍結エンコーダ上に小さな(0.13M-0.69M-パラメータ)教師付きヘッドをトレーニングする。
我々はCPU再生可能なパイプラインと再利用可能な診断ツールであるAttribute Alignment Gapをリリースする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We report a systematic dissociation in modern text embedders: sentiment is almost perfectly decodable from their embeddings, yet almost entirely absent from their metric. Across eleven frozen encoders spanning 2021 to 2026, including 2026-generation models and the 4B-parameter LLM embedder Qwen3-Embedding-4B, a linear probe recovers sentence polarity at up to 91.3% accuracy while cosine similarity separates polarity by a margin of only 0.003-0.064. Qwen3-Embedding-4B, the strongest probe in the panel, reaches 91.3% probe accuracy but only 64.3 retrieval MAP. Because retrieval, clustering, deduplication, and retrieval-augmented generation operate on the metric rather than on a trained probe, these systems are effectively blind to information their encoder demonstrably contains. A task-conditioning control suggests this reflects the pretraining objective rather than a prompting artifact: conditioning Jina-v5 on its classification task rather than its retrieval task recovers only about half of the MAP gain that injection achieves on the same weights (63.2 to 73.8, versus 85.1), and leaves the alignment gap essentially unchanged. Sentiment-Injected Sentence Embeddings (SISE) train a small (0.13M-0.69M-parameter) supervised-contrastive head on a frozen encoder in seconds on a CPU, using the labelled training set. The head improves every encoder released since 2022 on full-data probe accuracy (up to +5.8 points), retrieval MAP (up to +26.0) and polarity margin (7-61x). This is a specialization, not a free gain: the compact 128-d head loses 38-41 Spearman points on STS-B, while a fused variant that concatenates it with the base embedding loses 2.4-12.0. With the head, a 0.6B encoder at 128 dimensions matches a 4B encoder given the same head (91.8 vs. 90.3 MAP). We release a CPU-reproducible pipeline and a reusable diagnostic, the Attribute Alignment Gap.
- Abstract（参考訳）: 感情は、その埋め込みからほぼ完全に排除可能であるが、その指標からはほとんど完全には欠落している。
2021年から2026年までの11個の冷凍エンコーダ(2026世代モデルと4Bパラメータの組込みQwen3-Embedding-4Bを含む)は、線形プローブで最大91.3%の精度で文の極性を回復し、コサイン類似度は0.003-0.064のマージンで極性を分離する。
パネルで最も強力なプローブであるQwen3-Embedding-4Bは、91.3%のプローブ精度を持つが、64.3の検索MAPしか得られない。
検索,クラスタリング,復号化,および検索拡張生成は,訓練されたプローブではなく,メトリック上で動作するため,エンコーダが明らかに含んでいる情報に対して,これらのシステムは事実上盲目である。
検索タスクよりも分類タスクでJina-v5を条件付けすると、同じ重量(63.2から73.8、85.1)で注入されるMAPゲインの約半分が回復し、アライメントギャップは基本的に変化しない。
Sentiment-Injected Sentence Embeddings (SISE) は、ラベル付きトレーニングセットを使用して、冷凍エンコーダ上の小さな (0.13M-0.69M-parameter) 監督型ヘッドをCPU上で数秒で訓練する。
ヘッドは2022年以降、全データプローブ精度(+5.8ポイントまで)、MAP(+26.0まで)、極性マージン(7-61x)でリリースされた全てのエンコーダを改善する。
コンパクトな128-dヘッドはSTS-Bで38-41のスピアマンポイントを失う一方、ベース埋め込みと結合する融合変種は2.4-12.0を失う。
頭部では、128次元の0.6Bエンコーダは同じ頭部(91.8対90.3MAP)の4Bエンコーダと一致する。
我々はCPU再生可能なパイプラインと再利用可能な診断ツールであるAttribute Alignment Gapをリリースする。
関連論文リスト
- FETALFusion: Resolution-Aware State-Space Modeling for Multi-Domain Fetal Head Segmentation [22.643964229988267]
胎児頭部分節のためのデュアルパスCNN-MambaエンコーダであるFETALFusionを提案する。
4方向のステートスペーススキャンを2つの高解像度ステージでのみ適用する。
FETALFusionのDiceスコアは0.963、HD95は2.10mmで、テスト時間拡張やドメインラベルはない。
論文 参考訳（メタデータ） (2026-10-13T08:35:30Z) - DeBERTa-ConPara: Attack-Aware and Deployment-Realistic Detection of AI-Generated Text [42.255101883505056]
DeBERTa-ConParaは,HC3 Plus,M4,MAGE,RAIDで学習した文脈変換器エンコーダと,攻撃対応Unicode前処理を組み合わせたデプロイメント指向検出器である。
我々の中心的な発見は、前処理が適用された場所によって反対方向に作用することである。
2つの配置の因子的変化は、正規化推論による生のトレーニングを最高の設定として独立に識別する。
12種類の攻撃クラスのうち、ホモグリーフとゼロ幅空間の挿入は11.05%から1.12%から96.98%に増加した。
論文 参考訳（メタデータ） (2026-10-01T00:57:33Z) - Solution for UCF UrbanTwin LUMPI Track: Sim-to-Real Urban LiDAR 3D Object Detection [54.03436243843709]
UCF UrbanTwin Sim2Real LiDAR Challenge at the 6th DriveX Workshop, ECCV 2026。
検出器は合成データのみに基づいて訓練され、50個の実LiDARフレームで評価される。
ポイントクラウドリアリズムに対して、別の50フレームの合成提案が評価される。
論文 参考訳（メタデータ） (2026-09-07T15:03:36Z) - When Graph-JEPA Learns the Wrong Thing: Diagnosing and Repairing Category-Conditional Collapse [3.0255780640228984]
共同埋め込み予測アーキテクチャは線形探索と有効ランクによってほぼ普遍的に選択される。
本報告では,表現中に使用可能なインスタンス情報がゼロである場合に,両者が正常に読まれる事例を報告する。
Graph-JEPAは、サブグラフの残りの側面から1つのマスクされたアスペクトを予測し、線形プローブ精度0.871と有効ランク18-47を達成する。
再現性監査とターゲットゲートを備えたハーネスをリリースする。
論文 参考訳（メタデータ） (2026-08-20T19:22:49Z) - The Recall Trap: A Recall-Maximizing Retriever Configuration Reduces Issue Resolution in Fixed-Budget Code Context [45.88028371034407]
コード修復における制御ケーススタディを報告し,新しい現象ではない。
私たちは、同じスタック上の1つのフラグ(1チャンク毎の重複)を切り替えます。
BM25(3.2pp、重要なパラダイム間相互作用)を逆転させる。
厳格な固定予算では、ファイルごとのハードダイドプリケートや、タスクに対するA/Bパッケージングポリシは、メトリックフラグを調整しないことが示されます。
論文 参考訳（メタデータ） (2026-08-14T19:22:50Z) - Tactus: Open-Vocabulary Object Recognition from Low-Cost Pressure Arrays [0.0]
圧力データのみからテキストクエリに回答するオープンモデルであるTactusを提示する。
187のトレーニング記録、144kの未ラベルの同センサーフレームで事前トレーニングされたマスク付きオートエンコーダ、センサー独自のキャリブレーションアフィン。
重み、コード、モデルがプラグインするメモリ層は、オープンにリリースされる。
論文 参考訳（メタデータ） (2026-08-04T06:08:21Z) - Where Quality Breaks in Compressed Short-Text Generation: Staged Bottleneck Localization [0.0]
短文ジェネレータは生成開始前に情報を破棄したり、潜時ジェネレータが弱いコードを生成する。
この問題を,階層型VQ-VAE-2とマスク付き離散拡散発生器から構築した64-to-16 TinyStoriesケーススタディで検討した。
我々は,1つの外部GPT-2スコアラで再構成精度,潜時生成品質,補助潜時診断を分離するステージド検証プロトコルを使用する。
論文 参考訳（メタデータ） (2026-07-27T09:02:44Z) - Efficient Visual Pointing for Embodied AI:Agent-Driven Data Synthesis, Cross-Block Attention, and Iterative Correction [55.11480729304395]
PointArena 2026は77.2%の精度でベンチマークで2位である。
ap proachは3つの障害モードをターゲットにしている。第一に、エージェント駆動のシンセシスは大きなセマンティクスとアンカー相対的な候補プールを構築する。
次に、determinis tic steerable-dataパイプラインは、認証された10,000サンプルのメインセットと、マスク、テンプレート、パス検証を使用するリザーブサンプルを生成する。
論文 参考訳（メタデータ） (2026-06-29T06:39:03Z) - MIRAGE: A Polarity-Flipping Encoding Subspace in LLM Agents [2.896184275229374]
LLMエージェントは機密データを隠蔽的に符号化する。
その結果出力は出力側検出を回避するが、基礎となる計算は行わない。
両信号を利用した2チャンネルリアルタイムモニタであるMIRAGEを構築した。
論文 参考訳（メタデータ） (2026-06-09T01:45:19Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳（メタデータ） (2026-05-20T19:08:38Z) - ZenBrain: A Neuroscience-Inspired 7-Layer Memory Architecture for Autonomous AI Systems [51.56484100374058]
LongMemEval-500では、ZenBrainは長いコンテキストのオラクルのバイナリ・ジャッジの精度を4.5pp以内と一致させる。
ZenBrainは7層の神経科学にインスパイアされたメモリアーキテクチャである。
論文 参考訳（メタデータ） (2026-04-26T20:39:19Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。