論文の概要: Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings
- arxiv url: http://arxiv.org/abs/2609.28290v1
- Date: Wed, 23 Sep 2026 15:36:20 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-25 00:05:18.098485
- Title: Computation Over Geometry: Meaning Identity Is Computed, Not Shipped in the Embeddings
- Title（参考訳）: 幾何学に関する計算:「アイデンティティ」の意味は計算され、埋め込みには搭載されない
- Abstract要約: 両文が1つのフォワードパスを共有すると、アイデンティティが計算される。
アイデンティティは、どちらかの文ベクトルの特性ではなく、安価な演算子である。
BGE-reranker-large は 0.94 であり、MS-MARCO と Jina は 0.55-0.64 である。
- 参考スコア（独自算出の注目度）: 2.1291393112295935
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Meaning identity (whether two sentences say the same thing after wording changes) is treated in retrieval and RAG as a geometric fact about independently encoded sentence vectors. We show that, for frozen off-the-shelf encoders and language models, it is not: identity is computed when both sentences share one forward pass, and is not a property of the embedding geometry those systems ship. On overlap-matched PAWS-X, purpose-built encoders (BGE, E5, GTE, MiniLM, E5-Mistral-7B) reach English confirm AUC only 0.55-0.65 (dense peak 0.70). Independently encoded last-token states of Llama 3, Mistral, and Qwen do no better; late fusion of the two vectors stays near chance. The same probe on a joint forward pass reaches 0.90-0.96 from 1.5B to 32B, collapses under partner shuffle, is mid-depth, saturates near 0.94 by 3B, and appears more weakly in GPT-2 XL (0.76). The gap holds beyond Llama-style models on other causal LMs, bidirectional encoders (DeBERTa, RoBERTa), and encoder-decoders (Flan-T5, T5, BART). Fixed or linear readers over frozen independent encodings never unlock identity; nonlinear pair readers recover part of it only on the full 49k-pair PAWS train split (0.68-0.87). Off-the-shelf rerankers split: BGE-reranker-large reaches 0.94, while MS-MARCO and Jina stay at 0.55-0.64. Independently trained families compute the same relation and a 1.5B joint reader can distill it from unlabelled teacher scores, while no linear function of the teachers own independent vectors can. Bi-encoders can be fine-tuned to fit PAWS (0.87-0.93), but transfer and STS-B suffer. Cosine compares wording neighbourhoods; identity is a cheap computed operator, not a property of either sentence vector.
- Abstract（参考訳）: 単語変更後に2つの文が同じことを言うかどうか)の意味は検索において扱われ、RAGは独立に符号化された文ベクトルに関する幾何学的事実として扱われる。
凍結した既成エンコーダや言語モデルでは、両方の文が1つの前方通過を共有した場合にアイデンティティが計算され、それらシステムが出荷する埋め込み幾何学の特性ではないことが示される。
重なり合ったPAWS-Xでは、目的のエンコーダ(BGE、E5、GTE、MiniLM、E5-Mistral-7B)が英語に到達し、AUCは0.55-0.65(密度ピーク0.70)しか確認できなかった。
独立にエンコードされたラマ3、ミストラル、クウェンの最終的な状態は良くない。
ジョイントフォワードパス上の同じプローブは1.5Bから32Bまでの0.90-0.96に達し、パートナーシャッフルの下で崩壊し、0.94×3B近く飽和し、GPT-2 XL (0.76) でより弱い。
このギャップは、他の因果的LM上のLlamaスタイルモデル、双方向エンコーダ(DeBERTa、RoBERTa)、エンコーダデコーダ(Flan-T5、T5、BART)を超える。
凍結された独立したエンコーディングに対する固定または線形の読者はIDを解き放たず、非線形のペアリーダーは49k対のPAWS列車の分割(0.68-0.87)でのみその一部を回収する。
BGE-reranker-large は 0.94 であり、MS-MARCO と Jina は 0.55-0.64 である。
独立した訓練を受けた家族は、同じ関係を計算し、1.5Bのジョイントリーダーは、教師が持つ独立したベクトルの線形関数が存在しない間、教師のスコアからそれを抽出することができる。
バイエンコーダは PAWS (0.87-0.93) に適合するように微調整できるが、転送とSTS-Bは苦しむ。
同一性は安価な演算子であり、いずれかの文ベクトルの特性ではない。
関連論文リスト
- Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。
生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。
現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
論文 参考訳（メタデータ） (2026-08-17T09:53:27Z) - WDL-OPD: Weak-Driven On-Policy Distillation via Mixture-Constrained Co-Training [48.290951447286744]
WDL-OPDは2つの訓練可能なポリシーを持つ混合制約付き協調訓練法である。
アンカーポリシはロールアウト毎に生成し、補助ポリシは同じ訪問状態を評価し、それらのトークン分布の幾何学的混合を逆KLで凍結教師にマッチングする。
凍結はPD$2とW2S-OPDと密接に関連するアンカープラスコントラストのプロキシターゲットを回復させるが,ジョイントトレーニングは静的デルタが表現できない分岐レベル自由度を生成する。
論文 参考訳（メタデータ） (2026-08-10T11:22:53Z) - TokenPrint: A Calibrated Token-Space Fingerprint for Language-Model Provenance [8.657685524975246]
そこで本研究では,250個の固定知識プローブによって抽出された隠れ状態の語彙予測値のトップ$kをベースとした無訓練指紋を提案する。
文書化された関係を持つ9家系(0.6B--32B)のオープンウェイトモデル32種について評価を行った。
論文 参考訳（メタデータ） (2026-08-08T13:56:39Z) - Support Operation Factorization: Compositional Readout of Frozen Vision Encoders under Controlled Interventions [87.95757610455173]
我々は、x演算グリッドとSO-OPFをサポートするために、インジェクティブに整合した残余セルアウトプロトコルを導入する。
グリッドが分かっているときにキャリアがホールドアウトバインディングを構成するかどうか、フラットなセルラベルからグリッドを回収できるかどうかという2つの質問を分離する。
論文 参考訳（メタデータ） (2026-08-06T15:38:55Z) - Answer First, Reason Later: Commitment Order in Diffusion LLMs [8.902793668615567]
マスケ拡散言語モデル(dLLM)は任意の順序でトークンをコミットすることができる。
推論タスクにおいて、この自由はむしろ失敗の軸であることを示す。
論文 参考訳（メタデータ） (2026-08-06T07:25:04Z) - Misalignment Has a Personality: A Big Five Account of Emergent Misalignment [2.1117030125341385]
違和感は人格の変化のように振る舞う
我々は、グレード付き3段階の介入を用いて、ビッグファイブの個性ベクトルを抽出する。
校正された人格ベクトルは、不透明な安全現象を人間に適応可能な診断プロファイルに変換する。
論文 参考訳（メタデータ） (2026-07-29T01:48:03Z) - Function-Aware Fill-in-the-Middle as Mid-Training for Coding Agent Foundation Models [49.259951930558]
コーディングエージェントは、継続的な推論に外部ツールリターンを統合する必要がある。
我々は,中等教育における機能意識の充足を通じてこれを活用する。
論文 参考訳（メタデータ） (2026-07-14T07:44:26Z) - Amplifying, Not Learning: Fine-Tuned AI Text Detectors Amplify a Pretrained Direction [51.56484100374058]
テキスト検出器は、事前訓練された典型軸を増幅する。
タスク監督前の生エンコーダでは、3つのアーキテクチャでNYT-vs-HC3 AUROC 0.806/0.944/0.834を達成する。
RoBERTaベースでは、生のプロジェクションは微調整を超えるが、RoBERTaベースでは、フル微調整は、試験された流線型人口の双方で生よりも識別を小さくする。
論文 参考訳（メタデータ） (2026-05-20T19:08:38Z) - The Geometry of Forgetting: Temporal Knowledge Drift as an Independent Axis in LLM Representations [50.43168858368539]
大規模言語モデルは自信を持って時代遅れの回答を生成し、既存の方法では検出できない。
これは工学的な失敗ではなく構造的な失敗であり、時間的ドリフトは、幾何的に残留流の方向として、正確性と不確実性の両方に符号化される。
論文 参考訳（メタデータ） (2026-05-09T22:27:31Z) - Reducing Maintenance Burden in Behaviour-Driven Development: A Paraphrase-Robust Duplicate-Step Detector with a 1.1M-Step Open Benchmark [1.9537983097153042]
振る舞い駆動開発スイートは、ドキュメント化されたメンテナンスコストとステップ重複の重複を蓄積します。
私たちはこれまでで最大の組織横断的なBDDステップコーパスをリリースします。
論文 参考訳（メタデータ） (2026-04-22T11:44:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。