論文の概要: When Cosine Similarity Fails to Reflect Linearly Accessible Structure in Dialogue Models

• arxiv url: http://arxiv.org/abs/2609.22522v1
• Date: Fri, 18 Sep 2026 19:29:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.427038
• Title: When Cosine Similarity Fails to Reflect Linearly Accessible Structure in Dialogue Models
• Title（参考訳）: 対話モデルにおけるコサイン類似性が線形アクセシブル構造を反映しない場合
• Abstract要約: コサイン類似性は、トランスフォーマー表現の分析に広く用いられている。 本研究では,対話条件付き大規模言語モデルにおいて,この仮定がいつ失敗するかを考察する。 その結果,コサインの類似性は,その構造が線形アクセス可能であっても,対話表現におけるタスク整列構造を反映できないことがわかった。
• 参考スコア（独自算出の注目度）: 32.7114174898989
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Cosine similarity is widely used to analyze transformer representations, implicitly assuming that similarity reflects task-relevant structure. We study when this assumption fails in dialogue-conditioned large language models. Across three 7-8B chat-tuned models, ambient cosine similarity substantially underestimates linearly decodable persona structure on the same hidden states; numerically, linear probe AUC is in the 0.73-0.97 range while cosine kNN is in the 0.56-0.77 range on a 30-class task. A low-dimensional supervised subspace recovers much of this gap, whereas a matched-rank PCA subspace does not and in some cases degrades performance. This mismatch is regime-dependent: it is absent in single-sentence sentiment classification (SST-5), and a matched-cardinality control rules out attribute cardinality as a confound. The gap does not systematically increase across dialogue turns, and the task-aligned subspace remains stable over time. However, two of three models violate a pre-registered within-subspace separability invariance criterion (|Delta AUC| <= 0.03), and one model violates a pre-registered turn-invariance criterion (|Delta L| <= 0.05). These results show that cosine similarity can fail to reflect task-aligned structure in dialogue representations even when that structure is linearly accessible.
• Abstract（参考訳）: コサイン類似性は、タスク関連構造を反映していることを暗黙的に仮定して、トランスフォーマー表現の分析に広く用いられている。 本研究では,対話条件付き大規模言語モデルにおいて,この仮定がいつ失敗するかを考察する。 3つの7-8Bチャットチューニングモデルにおいて、周囲のコサイン類似性は同じ隠蔽状態において線形にデオード可能なペルソナ構造を実質的に過小評価し、数値的には線形プローブAUCは0.73-0.97の範囲、コサインkNNは0.56-0.77の範囲にある。 低次元の教師付き部分空間はこのギャップの多くを回復するが、マッチしたランクのPCA部分空間は無く、場合によっては性能が低下する。 このミスマッチは、単文感情分類(SST-5)に欠落しており、一致した心性制御は、属性の濃度を不一致として除外する。 このギャップは対話のターン間で体系的に増加せず、タスク整列部分空間は時間とともに安定している。 しかし、3つのモデルのうち2つのモデルは、予め登録された内部空間分離性不変性基準(|Delta AUC| <= 0.03)に反し、1つのモデルは、事前登録されたターン不変性基準(|Delta L| <= 0.05)に反する。 これらの結果から,コサインの類似性は,その構造が線形アクセス可能であっても,対話表現におけるタスク整列構造を反映できない可能性が示唆された。

関連論文リスト

• SAM3-LoRA: Parameter-Efficient Adaptation of a Concept-Promptable Foundation Model for Multi-Class Structural Defect Segmentation [0.0]
  本研究は,多層構造欠陥セグメンテーションにおけるローランド適応(LoRA)をSAM3に適用する。 本稿では,COCOスタイルのクラスラベルインスタンスセグメンテーションから直接,概念実証可能なモデルをトレーニングする監督手順について述べる。
  論文  参考訳（メタデータ） (2026-08-31T23:19:59Z)
• Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
  内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。 生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。 現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
  論文  参考訳（メタデータ） (2026-08-17T09:53:27Z)
• Mapping and Measuring the Behavioral Evolution of Large Language Models [28.603443859513153]
  ベンチマークのリーダーボードは、言語モデルのパフォーマンスを概説するが、その振る舞いが他のモデルとどのように関係しているか、世代によって異なる。 1万のプロンプトの共有バンクに対する応答を用いて、6つのファミリーから32モデルの出力挙動を特徴付ける。
  論文  参考訳（メタデータ） (2026-08-11T15:07:28Z)
• Rank-Aware Hyperbolic Alignment for Vision-Language Dataset Distillation [54.74045834035952]
  視覚言語データセット蒸留(VLDD)は、大きな画像テキストのペア化されたデータセットを小さな合成ペアに圧縮する。 階層幾何学と明示的なアライメント・キャパシティ制御を組み合わせたランク認識型双曲アライメント(RAHA)を提案する。 RAHAは、競争力のあるクロスモーダル検索と、固定予算下での転送インジケータの改善を示す。
  論文  参考訳（メタデータ） (2026-06-28T15:41:31Z)
• The Representational Limit of Scalar Interactions: An Interventional Decomposition [9.850981754860754]
  署名されたペア相互作用スコアが、一意性(U)、冗長性(R)、シナジー(S)を根本的に説明することを証明する。 介入マスクによる推定により,機能当たりのU/R/Sプロファイルを推定する,ポストホックかつリトレーニング不要な予測可能性分解であるHi-Fiを導入する。
  論文  参考訳（メタデータ） (2026-06-17T15:21:28Z)
• Measuring the Symmetry--Data Exchange Rate [0.2538209532048867]
  同一の軌道サイズと一致した計算値を持つ間違った群制御は制約を伴わないよりも悪いことを示す。 相対交換率beta_diff = 1.28は、理論ブートストラップ1.0と符号と桁違いに一致している。 手法的貢献 -- 共有拡散の欠点をキャンセルする相対レート推定器、間違ったグループ制御、および予め特定された失敗分類 - は、強度をパラメータ化できる帰納バイアスに転送される。
  論文  参考訳（メタデータ） (2026-05-31T08:17:40Z)
• Investigating Anisotropy in Visual Grounding under Controlled Counterfactual Perturbations [1.423280626666929]
  接地モデルは意味的にミスマッチしたキャプションで評価されることは滅多にない。 本研究は, 埋込異方性が反現実的失敗に寄与するかどうかを考察する。
  論文  参考訳（メタデータ） (2026-05-09T17:54:31Z)
• Beyond Instance Discrimination: Relation-aware Contrastive Self-supervised Learning [75.46664770669949]
  本稿では,関係認識型コントラスト型自己教師型学習(ReCo)をインスタンス関係に統合するために提案する。 当社のReCoは、常に顕著なパフォーマンス改善を実現しています。
  論文  参考訳（メタデータ） (2022-11-02T03:25:28Z)
• Duality-Induced Regularizer for Semantic Matching Knowledge Graph Embeddings [70.390286614242]
  本稿では, 類似のセマンティクスを持つエンティティの埋め込みを効果的に促進する新しい正規化器(duality-induced RegulArizer (DURA))を提案する。 実験により、DURAは、最先端のセマンティックマッチングモデルの性能を一貫して改善することを示した。
  論文  参考訳（メタデータ） (2022-03-24T09:24:39Z)
• Spatially relaxed inference on high-dimensional linear models [48.989769153211995]
  本研究では,空間的に制約されたクラスタリング,統計的推論,アンサンブルを組み合わせ,複数のクラスタリング推論解を集約するアンサンブルクラスタリング推論アルゴリズムの特性について検討する。 アンサンブルクラスタ推論アルゴリズムは,最大クラスター径に等しい$delta$-FWERの標準仮定で$delta$-FWERを制御することを示す。
  論文  参考訳（メタデータ） (2021-06-04T16:37:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。