論文の概要: When a Conceptor Complement Becomes Gain: Operator Geometry and Behavioral Attribution in Language Models
- arxiv url: http://arxiv.org/abs/2610.16325v1
- Date: Mon, 12 Oct 2026 07:43:46 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-15 21:06:15.328223
- Title: When a Conceptor Complement Becomes Gain: Operator Geometry and Behavioral Attribution in Language Models
- Title(参考訳): 概念補完が向上する時--言語モデルにおける演算子幾何学と行動属性
- Abstract要約: 全体としての干渉比較は, 適合行列に対して, それ自体が生成する振舞いによっては不可能であることを示す。
以上の結果から, 全体の干渉比較が, 適合行列に対してそれ自体が生成する挙動を達成できない理由が示唆された。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: When a steering intervention changes a language model's behavior, which part of the intervention deserves the credit? We test this question for a target-centered, scaled conceptor complement by removing its fitted covariance filter while preserving the same target-specific center and gain. At the original aperture $α=.05$ and gain $β=2$, all 21 fitted maps across three models and seven targets expand every direction at the generation intervention layers. The matrix correction is $0.093\%$--$7.815\%$ of the matched-control displacement on held-out extraction activations. In 480 paired comparisons within a 1,920-response study, retaining the matrix changes many individual texts but does not establish a consistent additional target-suppression benefit on the four-target panel. A geometric aperture sweep shows that the operating regime changes with the filter setting. Separately, an invertible soft filter preserves what an unrestricted affine readout can recover, whereas dedicated erasure methods reduce prediction by newly fitted probes. Together, the results show why a whole-intervention comparison cannot by itself attribute generated behavior to the fitted matrix: analyze the complete transformation, hold shared components fixed, and test its output consequences directly.
- Abstract(参考訳): ステアリング介入が言語モデルの振る舞いを変えるとき、その介入のどの部分が信用に値するのか?
我々は、同じターゲット固有の中心と利得を保ちながら、適合した共分散フィルタを除去し、ターゲット中心でスケールされた概念補間を検証した。
当初のアパーチャはα=.05$、ゲインはβ=2$で、3つのモデルと7つのターゲットにまたがった21の地図はすべて、世代間干渉層で全ての方向を拡大する。
行列補正は、ホールドアウト抽出活性化に対する一致制御変位の0.093\%$--7.815\%$である。
1,920対の回答による480対の比較では、行列は多数の個々のテキストを変化させるが、4つのターゲットパネルに一貫した目標抑圧の利点を確立できない。
幾何開口スイープは、フィルタ設定によって動作状態が変化することを示す。
別として、可逆性軟フィルタは、制限のないアフィンの読み出しが回復できるものを保存し、一方、専用消去法は新しく装着されたプローブによる予測を減少させる。
この結果から, 完全変換の解析, 共有コンポーネントの固定, 出力結果の直接的検証など, 全体の干渉比較が, 自身で生成する振る舞いを適合行列に属性付けできないことが示唆された。
関連論文リスト
- TileSkipper: Region-Adaptive Tile Pruning for 3D Gaussian Splatting [60.48772713715659]
TileSkipperは凍結チェックポイントに対して、ガウス単位の静的カットオフポリシーを選択する。
Mip-NeRF 360、Tants & Temples、Deep Blendingの13のシーンで、固定政治のAccuTileスイープは、標準解像度で1.088times$、幅で1.238times$3840Pixelsというデータセットとマクロのスピードアップを提供する。
論文 参考訳(メタデータ) (2026-10-07T03:01:51Z) - SQUARE: Structured Quantum Representation Adapters as Compact Quadratic Feature Maps for Frozen Language Models [50.300302932452006]
凍結言語モデル(LM)は、下流の再ランク付け、スコアリング、嗜好モデリングのための固定された特徴抽出器として、ますます使われている。
本稿では、ボトルネックベクトルを振幅符号化し、パラメータ化量子回路を適用し、その結果の状態を測定する構造量子表現アダプタを提案する。
各基底確率関数は、ちょうどボトルネック座標における正規化された二次形式であり、追加のPauli$Z$読み出しはそれらの確率の線形結合であることを示す。
論文 参考訳(メタデータ) (2026-09-29T09:38:29Z) - When Residualization Helps an Audit: Format Effects, Slice Gains, and Their Limits [0.7734726150561088]
LLMシステムで使用される評価スコアは、測定する品質ではなく、表面形状を追跡することができる。
観測的NLIおよびQA設定では、不随伴アノテータのラベルを用いて評価する前に、保持された複製を凍結し、再評価する。
完全な人口合意は、報告された正のスライスゲインを持つすべての観測条件に該当し、要求内ランキングはそのようなQA設定すべてに該当する。
論文 参考訳(メタデータ) (2026-09-21T07:06:37Z) - The Filter Metric is Safety-Critical: Phantom Advantages in Group-Relative RL under Shaped Rewards [1.667501390377158]
グループ相対的なポリシー最適化は、動的サンプリングによって非コントラストのロールアウトグループを捨てることができる。
我々は,複合形状の報酬の下で,計量述語ミスマッチを同定し,定量化する。
論文 参考訳(メタデータ) (2026-09-12T10:36:55Z) - On-Policy Self-Distillation in Diffusion Models [89.32656931795293]
強化学習は、拡散モデルと人間の好みやタスク固有の目的とを一致させることができるが、エンドポイント報酬は、中間的偏見予測をどのように変更すべきかを規定していない。
そこで我々は、DiffusionOPSDを、画像レベルの報酬誘導を明示的なターゲットに変換して、サンプルクエリにおけるクリーンな出力予測を行うオンライン自己蒸留フレームワークとして導入する。
SD 3.5-Mとステップ蒸留したZ-Image-Turboを用いて、2つのバックボーンと10個の評価器で20の報酬マッチング設定のうち19のファイナルホールトアウトスコアを達成した。
論文 参考訳(メタデータ) (2026-08-25T14:55:24Z) - Sample-Weighted End-to-End Trace-Norm Geometry for Multitask Learning [0.0]
タスク係数から入力空間予測器へのエンド・ツー・エンドマップのサンプルサイズ重み付きトレースノルムについて検討する。
明示的な構成は、線形層をキャンセルするための配向と分解のギャップと指数的な深さのギャップを示す。
論文 参考訳(メタデータ) (2026-08-25T04:35:24Z) - Covariance Last-Layer Ensembles: Function-Space Diversity for Efficient Uncertainty Quantification [0.8803840644459077]
Cov-LLEは、ウェイト・オルソノーマル性が不可能な関数空間の多様性を復元し、マッチした$K$は深いアンサンブルの多様性と校正の多くを回復する。
OCを最終層アンサンブルと見なすと、検出器を2軸の分類に整理する。
論文 参考訳(メタデータ) (2026-07-26T21:56:02Z) - Concepts Whisper While Syntax Shouts: Spectral Anti-Concentration and the Dual Geometry of Transformer Representations [0.0]
5つのアーキテクチャファミリにまたがる残留ストリーム差分ベクトルでは,反集束が観察される。
その結果、コンテクスト化された処理中に意味内容をスペクトル的に静かな領域に回転させることが示唆された。
論文 参考訳(メタデータ) (2026-05-02T21:20:55Z) - Optimal Unconstrained Self-Distillation in Ridge Regression: Strict Improvements, Precise Asymptotics, and One-Shot Tuning [61.07540493350384]
自己蒸留(英: Self-distillation, SD)とは、教師自身の予測と地道の混合で学生を訓練する過程である。
任意の予測リスクに対して、各正規化レベルにおいて、最適に混合された学生がリッジ教師に改善されることが示される。
本稿では,グリッド探索やサンプル分割,再構成なしに$star$を推定する一貫したワンショットチューニング手法を提案する。
論文 参考訳(メタデータ) (2026-02-19T17:21:15Z) - Identifying Intervenable and Interpretable Features via Orthogonality Regularization [48.938969291033665]
我々はデコーダ行列をほぼ直交的な特徴に分解する。
これにより、ターゲットデータセットのパフォーマンスを本質的に変更することなく、機能間の干渉と重畳を低減することができる。
私たちのコードは、$texttthttps://github.com/mrtzmllr/sae-icm$で利用可能です。
論文 参考訳(メタデータ) (2026-02-04T16:29:14Z) - Clustered Switchback Designs for Experimentation Under Spatio-temporal Interference [44.644520116360106]
我々は, 平均治療効果 (GATE) を推定し, 全単位を常に治療やコントロールに曝露した平均結果の差を推定した。
そこで我々は,単位をクラスタにグループ化し,時間ステップをブロックにグループ化する,クラスタ化されたスイッチバック設計を提案する。
良好なクラスタリングを許容するグラフに対して, トラッピングされたHorvitz-Thompson推定器が$tilde O(1/NT)$平均二乗誤差(MSE)を達成することを示す。
我々の結果は、citethu2022switchback、ugander2013graph、citetleung2022rateの結果を同時に一般化する。
論文 参考訳(メタデータ) (2023-12-25T01:00:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。