論文の概要: Exact semantic readout from compressed vector representations

• arxiv url: http://arxiv.org/abs/2609.18047v1
• Date: Wed, 16 Sep 2026 02:51:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-20 08:55:53.616606
• Title: Exact semantic readout from compressed vector representations
• Title（参考訳）: 圧縮ベクトル表現からの厳密な意味的読み出し
• Abstract要約: 圧縮ベクトル表現が有限レキシコンの真理条件の正確な線形あるいはアフィンの読み出しを許容する場合を特徴付ける。 二項関係の場合、恒等性や厳密な全順序の正確な双線型読み出しには線形独立な実体ベクトルが必要である。 GloVe と word2vec による実験は、正確なアフィン回収、線形分離性、保留予測を区別する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We characterize when compressed vector representations admit exact linear or affine readouts of a finite lexicon's truth conditions: one fixed map per predicate, sending each entity vector to the corresponding truth vector. A necessary and sufficient row-space condition determines existence; the augmented truth matrix has rank r, giving minimum dimension r in the linear case, and r-1 in the affine. Exact readouts return values in a shared truth basis on which Boolean connectives act unchanged; separability alone requires an intervening threshold. For binary relations, exact bilinear readout of identity or strict total order requires linearly independent entity vectors. Experiments with GloVe and word2vec distinguish exact affine recovery, linear separability, and held-out prediction: most predicates are strictly separable, but none admits an exact affine readout from the pretrained embeddings. Supervised transductive training attains exact affine recovery to numerical precision at every tested dimension meeting the bound. At the embeddings' original dimension, geometries constrained to exact linear recovery retain 98-99 percent of the pretrained variance on the feature norms, and 80-83 percent on the WordNet lexicon.
• Abstract（参考訳）: 圧縮ベクトル表現が有限レキシコンの真理条件の正確な線形あるいはアフィンの読み出しを許容する場合、述語毎の固定写像が1つあり、各実体ベクトルを対応する真理ベクトルに送信する。 必要かつ十分な行空間条件が存在を決定づける; 強化真理行列はランク r を持ち、線型の場合で最小次元 r を与え、アフィンでは r-1 を与える。 Exact readouts return value in a shared truth basis that Boolean Connectives act constant; separability alone need an intervening threshold。 二項関係の場合、恒等性や厳密な全順序の正確な双線型読み出しには線形独立な実体ベクトルが必要である。 GloVe と word2vec による実験では、正確なアフィンの回収、線形分離性、保留予測を区別する:ほとんどの述語は厳密に分離可能であるが、事前訓練された埋め込みからの正確なアフィンの読み出しは認めていない。 監督されたトランスダクティブトレーニングは、境界を満たす全ての試験次元において、正確なアフィン回復と数値的精度を達成する。 埋め込み元の次元では、正確な線形リカバリに制約されたジオメトリは、特徴ノルムの事前訓練された分散の98-99%を保ち、WordNetレキシコンでは80-83パーセントを保っている。

関連論文リスト

• Exact ReLU realization of affine one-dimensional refinement iterates via residual memory and offset frames [0.0]
  有限支持行列マスクを用いたベクトル値アフィン精製作用素 [ (W)(t)=sum_jinmathbbZ A_j(Mt-j)+B(t), ] について検討する。 Mge 3) に対し、すべての有限アフィンイテレートは、深さが (O(n)) である正確な固定幅 ReLU を実現する。 また、固定有限次元連続片方向線型スパンにおける項を強制する段階依存拡張も証明する。
  論文  参考訳（メタデータ） (2026-07-22T13:51:38Z)
• Exact Convex Reformulations of Linear Neural Networks via Completely Positive Lifting [7.433931244705935]
  この損失下での深い線形ネットワークの問題は、持ち上げられた空間円錐の正確な再構成を許容することを示す。 結果として生じる神経表現は難解であるが、線形因子とコ陽性プログラミングを結びつける。
  論文  参考訳（メタデータ） (2026-05-17T23:20:50Z)
• Geometric Factual Recall in Transformers [57.48371649045765]
  一般的な見解では、内部の重み行列は埋め込みのペアに対する連想記憶として捉えられ、事実の数と線形にスケールする記憶数を必要とする。 我々は、学習した埋め込みが直接構造を符号化する、別のエンフェロメトリックな形態の記憶の理論的、実証的な説明を開発する。 単層変圧器が被写体から共有属性集合へのランダムベクトルを記憶しなければならない制御環境では、対数埋め込み次元が十分であることを示す。 これらの結果をマルチホップ設定に拡張し、証明可能なチェーン・オブ・シークレットによる構築を提供する。
  論文  参考訳（メタデータ） (2026-05-12T17:22:22Z)
• PRISM: Parallel Residual Iterative Sequence Model [52.26239951489612]
  我々はこの緊張を解決するためにPRISM(Parallel Residual Iterative Sequence Model)を提案する。 PRISMは、パラレル化可能な形で多段階精製の重要な構造特性を捉える、ソルバに着想を得た帰納バイアスを導入している。 この定式化が Rank-$L$ の蓄積を達成することを証明し、更新多様体を単一ステップの Rank-$1$ ボトルネックを超えて構造的に拡張する。
  論文  参考訳（メタデータ） (2026-02-11T12:39:41Z)
• A vector logic for intensional formal semantics [0.0]
  形式的意味論と分布的意味論は言語的意味に対する異なるアプローチである。 本稿では,これらのフレームワークが,強勢意味論と構造的に互換性があることを実証する。
  論文  参考訳（メタデータ） (2026-02-03T00:24:37Z)
• Equivalent Linear Mappings of Large Language Models [0.5076419064097734]
  我々は変換器の特性を利用して全ての演算を$A(x) cdot x$と表現し、$A(x)$は入力依存の線形変換を表し、$x$は線形経路を保存する。 この線形構造を公開するために、入力シーケンスに関して勾配の成分を戦略的に切り離し、推論中に計算された値で$A(x)$項を凍結する。 この分離されたヤコビアンは入力トークンごとに1つの線形作用素で出力を再構成し、これは Qwen 3 と Gemma 3 と Llama 3 に対して Qwen 3 14B まで示される。
  論文  参考訳（メタデータ） (2025-05-30T07:08:33Z)
• Relative intrinsic dimensionality is intrinsic to learning [49.5738281105287]
  本稿では,データ分布の固有次元の概念を導入し,データの分離性特性を正確に把握する。 この本質的な次元に対して、上の親指の規則は法則となり、高本質的な次元は高度に分離可能なデータを保証する。 本稿では,2進分類問題における学習と一般化の確率について,上界と下界の両方に相対固有次元を与えることを示す。
  論文  参考訳（メタデータ） (2023-10-10T10:41:45Z)
• Random extrapolation for primal-dual coordinate descent [61.55967255151027]
  本稿では,データ行列の疎度と目的関数の好適な構造に適応する,ランダムに外挿した原始-双対座標降下法を提案する。 一般凸凹の場合, 主対差と目的値に対するシーケンスのほぼ確実に収束と最適サブ線形収束率を示す。
  論文  参考訳（メタデータ） (2020-07-13T17:39:35Z)
• Eigendecomposition-Free Training of Deep Networks for Linear Least-Square Problems [107.3868459697569]
  我々は、ディープネットワークのトレーニングに固有分解のないアプローチを導入する。 この手法は固有分解の明示的な微分よりもはるかに堅牢であることを示す。 我々の手法は収束特性が良く、最先端の結果が得られます。
  論文  参考訳（メタデータ） (2020-04-15T04:29:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。