論文の概要: Representation Measurements Under Function-Preserving Reparameterizations
- arxiv url: http://arxiv.org/abs/2608.27020v1
- Date: Thu, 27 Aug 2026 12:05:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-28 16:30:58.380642
- Title: Representation Measurements Under Function-Preserving Reparameterizations
- Title（参考訳）: 関数保存型パラメータ化における表現計測
- Abstract要約: 並列解析に基づくコンポーネント数と決定は、モデルの明確に定義された特性よりも隠れ協調的な選択を反映できることを示す。
中心のみの制御は基準駆動効果を分離し、観測スペクトルが変化していないにもかかわらず1200の成分のうち1,141個が変化する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Hidden coordinates are not uniquely determined by a language model's input--output function, so representation-derived measurements should be invariant to function-preserving changes of basis. This study shows that column-permutation parallel analysis violates function-preserving reparameterization invariance because its reference distribution and selected component count can change while the model function and observed covariance spectrum remain fixed. More generally, a data-internal reference procedure cannot simultaneously preserve every coordinate marginal, remain orthogonally equivariant, and remove cross-coordinate covariance. Empirically, across five models, three retrieval domains, and 75 transformations, median component-count disagreement is 0.79 and median fixed-threshold decision disagreement is 0.26. A centering-only control isolates the reference-driven effect, with 1,141 of 1,200 component counts changing despite an unchanged observed spectrum, whereas independent parallel analysis seeds change none of the corresponding decisions. By contrast, orthogonally invariant comparator scores remain numerically stable with similar held-out discrimination. Together, these results show that parallel analysis-derived component counts and decisions can reflect hidden-coordinate choice rather than a well-defined property of the model.
- Abstract（参考訳）: 隠れた座標は言語モデルの入出力関数によって一意に決定されないので、表現に基づく測定は基底の関数保存変化に不変であるべきである。
本研究では, カラム置換並列解析は, モデル関数と観測された共分散スペクトルが固定されている間, 参照分布と選択された成分数を変化させることができるため, 関数保存再パラメータ化不変性に反することを示す。
より一般的に、データ内部参照手順は、すべての座標境界を同時に保存することができず、直交同変のままであり、相互座標の共分散を取り除くことはできない。
経験的には、5つのモデル、3つの検索ドメイン、75の変換において、中央値のコンポーネント数の不一致は0.79であり、中央値の固定閾値の決定の不一致は0.26である。
中心のみの制御は基準駆動効果を分離し、1200の成分のうち1,141個は観測スペクトルが変化しないにもかかわらず変化し、一方独立した並列解析種子は対応する決定を一切変えない。
対照的に、直交不変のコンパレータスコアは、同様のホールドアウト判別で数値的に安定である。
これらの結果から、並列解析に基づく成分数と決定は、モデルの明確に定義された性質よりも隠れ協調的な選択を反映できることが示された。
関連論文リスト
- Causal inference for group-contaminated structured outcomes: observable quotients, lossless reduction and exact randomization inference [0.0]
制限のない観測モデル X = について検討する。
Y(A)はその観測可能な情報を特徴付ける。
商-忠実復元定理は、完全変換実験には商還元が十分であることを示す。
論文 参考訳（メタデータ） (2026-08-12T11:39:50Z) - Sixteen models, fewer than two voices: measuring ensemble dispersion where no answer is uniquely correct [37.64799781700206]
平均して10の家系から抽出された16の言語モデルでは、精神療法ケースの1.69の異なる定式化のセマンティック多様性が生み出された。
アウトプットの分散は多様性と不確実性の両方として測定される。
論文 参考訳（メタデータ） (2026-07-31T20:42:53Z) - Calibrated Similarity for Reliable Geometric Analysis of Embedding Spaces [0.0]
位置相関と局所安定性を保ちながら、ほぼ完璧なキャリブレーションを実現する等調変換を構築する。
我々の貢献はコサインの類似性を置き換えるのではなく、モノトンキャリブレーションによって絶対値の解釈可能性を取り戻すことである。
論文 参考訳（メタデータ） (2026-01-23T17:14:44Z) - Multivariate root-n-consistent smoothing parameter free matching estimators and estimators of inverse density weighted expectations [51.000851088730684]
我々は、パラメトリックな$sqrt n $-rateで収束する、最も近い隣人の新しい修正とマッチング推定器を開発する。
我々は,非パラメトリック関数推定器は含まないこと,特に標本サイズ依存パラメータの平滑化には依存していないことを強調する。
論文 参考訳（メタデータ） (2024-07-11T13:28:34Z) - Collaborative Heterogeneous Causal Inference Beyond Meta-analysis [68.4474531911361]
異種データを用いた因果推論のための協調的逆確率スコア推定器を提案する。
異質性の増加に伴うメタアナリシスに基づく手法に対して,本手法は有意な改善を示した。
論文 参考訳（メタデータ） (2024-04-24T09:04:36Z) - Geometry of Linear Neural Networks: Equivariance and Invariance under Permutation Groups [1.8434042562191815]
置換群の作用の下で同変あるいは不変な函数の部分多様体について検討する。
パラメータ化と等変線形ネットワークの設計に関する結論を導出する。
論文 参考訳（メタデータ） (2023-09-24T19:40:15Z) - Banana: Banach Fixed-Point Network for Pointcloud Segmentation with
Inter-Part Equivariance [31.875925637190328]
本稿では、構成による部分的等式を持つ同変セグメンテーションのためのバナハ不動点ネットワークであるバナナについて述べる。
我々の重要な洞察は、ポイント・パートの割り当てラベルとパー・パートのSE(3)-等分散が同時に共進化する固定点問題を反復的に解決することである。
我々の定式化は自然に部分間等式を厳密に定義し、部分間配置に一般化する。
論文 参考訳（メタデータ） (2023-05-25T17:59:32Z) - Equivariant Disentangled Transformation for Domain Generalization under
Combination Shift [91.38796390449504]
ドメインとラベルの組み合わせは、トレーニング中に観察されるのではなく、テスト環境に現れる。
我々は、同型の概念、同値性、および整合性の定義に基づく結合シフト問題の一意的な定式化を提供する。
論文 参考訳（メタデータ） (2022-08-03T12:31:31Z) - Predicting Out-of-Domain Generalization with Neighborhood Invariance [59.05399533508682]
局所変換近傍における分類器の出力不変性の尺度を提案する。
私たちの測度は計算が簡単で、テストポイントの真のラベルに依存しません。
画像分類,感情分析,自然言語推論のベンチマーク実験において,我々の測定値と実際のOOD一般化との間に強い相関関係を示す。
論文 参考訳（メタデータ） (2022-07-05T14:55:16Z) - Equivariance Discovery by Learned Parameter-Sharing [153.41877129746223]
データから解釈可能な等価性を発見する方法について検討する。
具体的には、モデルのパラメータ共有方式に対する最適化問題として、この発見プロセスを定式化する。
また,ガウスデータの手法を理論的に解析し,研究された発見スキームとオラクルスキームの間の平均2乗ギャップを限定する。
論文 参考訳（メタデータ） (2022-04-07T17:59:19Z) - Eigen Analysis of Self-Attention and its Reconstruction from Partial
Computation [58.80806716024701]
ドット積に基づく自己注意を用いて計算した注意点のグローバルな構造について検討する。
注意点の変動の大部分は低次元固有空間にあることがわかった。
トークンペアの部分的な部分集合に対してのみスコアを計算し、それを用いて残りのペアのスコアを推定する。
論文 参考訳（メタデータ） (2021-06-16T14:38:42Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。