論文の概要: SemRF: A Semantic Reference Frame for Residual-Stream Dynamics in Language Models
- arxiv url: http://arxiv.org/abs/2606.32022v1
- Date: Tue, 30 Jun 2026 17:52:22 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.344369
- Title: SemRF: A Semantic Reference Frame for Residual-Stream Dynamics in Language Models
- Title（参考訳）: SemRF: 言語モデルにおける残留ストリームダイナミクスのためのセマンティック参照フレーム
- Authors: Jian Gu, Aldeida Aleti, Chunyang Chen, Hongyu Zhang,
- Abstract要約: SemRFは、残留力学から意味的計測を分離するアンカーベースの形式主義である。
SemRFはアンカーを修正し、それらに対して状態を測定する。
フレームを固定すると、残差計算は深い意味軌道となる。
- 参考スコア（独自算出の注目度）: 22.84428628659889
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Residual-stream analysis asks how language-model computation evolves across depth, but intermediate decoding requires comparable readout coordinates across layers. If embedding anchors and unembedding readout disagree on the chosen span, apparent motion may reflect measurement drift rather than computation. We introduce \emph{Semantic Reference Frames} (SemRF), an anchor-based formalism separating semantic measurement from residual dynamics. A SemRF fixes anchors and measures states against them. Pseudo-inverse tying gives exact synchronization; under restricted bi-invertibility, SemRF yields stable semantic-basis coordinates, distortion bounds, and near-identity changes. With the frame fixed, residual computation becomes a depthwise semantic trajectory. The anchors induce a semantic Voronoi diagram: distance, or evidence such as logits, assigns each layer to a coarse cell, while coordinates retain within-cell motion and margins. We define layerwise steps, contribution profiles, and imbalance diagnostics, then use the Voronoi trace to define a margin-relaxed tube. The canonical trace is the minimum-action path inside this tube; when nonempty with positive quadratic weight, it is unique and obeys a discrete spline equation away from active constraints. Excess action controls step, curvature, and profile mismatch. Low curvature implies piecewise-linear compressibility and local knowledge density: lower trace complexity means fewer semantic knots. Through the parameter-to-trajectory map, this gives a conditional link to parameter efficiency: among admissible settings fitting data, lower-action and lower-complexity traces use fewer semantic degrees of freedom. The guarantees require controlled interface error and small projection residual under explicit tube constraints.
- Abstract（参考訳）: 残留ストリーム解析は、言語モデル計算が深さにわたってどのように進化するかを問うが、中間復号には層間の読み出し座標が同等である。
アンカーの埋め込みと未埋め込みの読み出しが選択されたスパンに一致しない場合、見かけの運動は計算よりも計測のドリフトを反映する可能性がある。
本稿では, セマンティック・レファレンス・フレーム(SemRF)を導入し, セマンティック・ダイナミックスからセマンティック・計測を分離するアンカー・ベース・フォーマリズムについて述べる。
SemRFはアンカーを修正し、それらに対して状態を測定する。
擬逆タイピングは正確な同期を与える; 制限された双可逆性の下で、SemRF は安定なセマンティック基底座標、歪み境界、および近接アイデンティティ変化をもたらす。
フレームを固定すると、残差計算は深い意味軌道となる。
アンカーは意味的なボロノイ図を導き出す: 距離やロジットのような証拠は各層を粗い細胞に割り当て、座標はセル内の動きとマージンを保持する。
階層的なステップ,コントリビューションプロファイル,不均衡診断を定義した上で,Voronoiトレースを用いて境界緩和管を定義する。
正の二次重みを持つ空でない場合、それは一意であり、アクティブな制約から離れた離散スプライン方程式に従う。
過剰なアクションコントロール ステップ、曲率、プロファイルミスマッチ。
低曲率とは、断片的な線形圧縮性と局所的な知識密度を意味する:低トレースの複雑さは意味の結び目を減らすことを意味する。
パラメータ・ツー・トラジェクトリ・マップを通じて、パラメータ効率に条件付きリンクを与える:許容可能な設定データの中で、低アクションと低複雑さのトレースは、より少ない意味論的な自由度を使用する。
保証には制御されたインタフェースエラーと明示的なチューブ制約の下での小さな投影残差が必要である。
関連論文リスト
- Geodesic Flow Matching for Denoising High-Dimensional Structured Representations [1.267635674675289]
連続領域に対しては、空間意味ポインタ(SSP)がこのフレームワークを拡張し、変数を連続トロイド多様体にマッピングする。
フローマッチングのような標準的なアプローチは、平坦なユークリッド幾何学を仮定するが、これは有効なSSP状態に課される幾何学的制約を考慮できない。
ユークリッド線型補間子が多様体の内部を切断し、正確な復号に必要な位相と大きさ構造を破壊する。
論文 参考訳（メタデータ） (2026-05-29T18:28:41Z) - Metric--Phase Fields: Decoupling Distance and Sign for Thin-Structure Reconstruction from Unoriented Point Clouds [67.30236447078187]
本稿では,距離近接を位相相から分離する非結合な暗黙的表現であるMetric-Phase Fields (MPFs)を紹介する。
合成および走査された薄殻形状と薄板形状の両方の実験により、MPFは最近のSDF法よりも薄くて層状構造を忠実に保存することが示された。
論文 参考訳（メタデータ） (2026-05-25T07:08:57Z) - Reading Calibrated Uncertainty from Language Model Trajectories [46.663987199083245]
モデルの内部アクティベーションを調査する手法は、生の隠れた状態を不透明なスナップショットにフィードし、表現が形成される層回りの軌跡を暗黙的に残す。
我々は11のスケール不変な幾何学的特徴を抽出し、層ごとの更新の累積経路をトレースし、それらをスパース線形プローブに供給する。
このプローブは、最大21のAURCポイントでベースラインスケーリングを行い、選択的な棄権下でMPPより優れる。
論文 参考訳（メタデータ） (2026-05-19T19:24:29Z) - Provable Sparse Inversion and Token Relabel Enhanced One-shot Federated Learning with ViTs [77.42033827176806]
ワンショットフェデレートラーニング(One-Shot Federated Learning)は、単一のコミュニケーションラウンドでグローバルモデルを学ぶ中央サーバが、有望なパラダイムとして登場したものだ。
本稿では,合成画像の全パッチをフル活用してグローバルモデルをトレーニングする,新しいフェデレーションモデルインバージョンとトークンリラベルフレームワークを提案する。
論文 参考訳（メタデータ） (2026-05-11T15:49:08Z) - Recovering Physical Dynamics from Discrete Observations via Intrinsic Differential Consistency [12.266189649117003]
我々は地域の監督をグローバルな構造的制約に置き換える。
この特性からの偏差が2つの目的に作用する時間条件のセカント速度場を訓練する。
トレーニング正則化器として、時間スケールで一貫して構成されるフローに仮説空間を限定する。
論文 参考訳（メタデータ） (2026-05-08T20:24:32Z) - Unbiased Gradient Estimation for Event Binning via Functional Backpropagation [64.88399635309918]
バックプロパゲーション中に弱微分を合成することにより任意の双対関数の非バイアス勾配推定のための新しいフレームワークを提案する。
自己監督型光流ではECEが9.4%,SLAMでは5.1%低下し,事象に基づく視覚知覚において大きなメリットが示された。
論文 参考訳（メタデータ） (2026-02-13T04:05:03Z) - Asymptotic Semantic Collapse in Hierarchical Optimization [0.5729426778193398]
マルチエージェント言語システムは、共有された支配的コンテキストが個々の意味論を徐々に吸収する障害モードを示すことができる。
階層最適化における漸近的セマンティック崩壊(Asymptotic Semantic Collapse in Hierarchical Optimization)という名でこの効果を研究する。
我々は、周辺エージェントノードとの繰り返しの相互作用が、グローバルな損失を最小限に抑えるアライメントを駆動していることを示す。
論文 参考訳（メタデータ） (2026-02-01T00:02:01Z) - Riemannian Flow Matching for Disentangled Graph Domain Adaptation [51.98961391065951]
グラフドメイン適応(GDA)は典型的には、ユークリッド空間におけるグラフ埋め込みの整列に逆学習を使用する。
DisRFMは、埋め込みとフローベースのトランスポートを統一する幾何学的なGDAフレームワークである。
論文 参考訳（メタデータ） (2026-01-31T11:05:35Z) - Verifying Closed-Loop Contractivity of Learning-Based Controllers via Partitioning [52.23804865017831]
本稿では,ニューラルネットワークによるパラメータ化を行う非線形制御系における閉ループ収縮の検証問題に対処する。
我々は、対称メッツラー行列の優越的固有値が非正であることを確かめるために、閉ループの縮約性に対するトラクタブルでスケーラブルな十分条件を導出する。
論文 参考訳（メタデータ） (2025-12-01T23:06:56Z) - Learning by Neighbor-Aware Semantics, Deciding by Open-form Flows: Towards Robust Zero-Shot Skeleton Action Recognition [41.77490816513839]
ゼロショットスケルトン動作認識のための新しい手法を,$texttt$textbfFlora$$として提案する。
具体的には、方向対応の地域意味論と相互整合性目標を取り入れたテキスト意味論を実践する。
3つのベンチマークデータセットによる実験により,本手法の有効性が検証された。
論文 参考訳（メタデータ） (2025-11-12T14:54:53Z) - SimT: Handling Open-set Noise for Domain Adaptive Semantic Segmentation [58.61946589036262]
本稿では,ブラックボックスモデルを用いて,擬似ラベル付きターゲットデータのみにアクセス可能な実用的なドメイン適応(DA)セマンティックセマンティックセマンティクス問題について検討する。
ドメインギャップと2つのドメイン間のラベルシフトのため、擬似ラベル付きターゲットデータには、クローズドセットとオープンセットのラベルノイズが混在している。
DAセマンティックセグメンテーションにおける混合雑音分布をモデル化し、SimTの推定として問題を定式化するための単純なノイズ遷移行列(SimT)を提案する。
論文 参考訳（メタデータ） (2022-03-29T02:48:08Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。