論文の概要: The Geometry of Updates: Fisher Alignment at Vocabulary Scale
- arxiv url: http://arxiv.org/abs/2606.27242v1
- Date: Thu, 25 Jun 2026 16:30:27 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-06-26 18:46:32.35673
- Title: The Geometry of Updates: Fisher Alignment at Vocabulary Scale
- Title（参考訳）: 更新の幾何学:語彙尺度における魚のアライメント
- Abstract要約: 共有語彙を持つLLMファミリーの訓練不要ソース選択は、科学領域で発生する。
共有出力ヘッド設定では、表現指標(例えば、CKA)が転送には識別できないことを示す。
鍵となるアイデンティティは、ヘッドフィッシャーアライメントは、カーネル間のコサインであり、共同アクティベーション・エラー空間に埋め込むことである。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Training-free source selection for LLM families with shared vocabularies arises in scientific string domains such as SMILES, protein, and genomic sequences, where candidate corpora share a tokenizer but differ in prediction targets. This creates an activation-dark regime: representation-similarity metrics can be uninformative without assumptions about label-conditioned error geometry, while classical update-geometry metrics are computationally prohibitive at vocabulary scale. We show that, in a shared-output head setting, representation metrics (e.g., CKA) are non-identifiable for transfer; models can share identical representations yet have orthogonal head updates. The key identity is that head Fisher alignment is exactly a cosine between kernel mean embeddings in the joint activation-error space, exposing activation, error, and coupling factors rather than requiring a materialized Fisher matrix. FisherSketch estimates this cosine directly in a single streaming pass, making K=128,256 head Fisher alignment practical with a 16 KB task signature (m=4096) and a 192 KB per-task streaming state, small enough to store next to a model hash, but encoding transfer-relevant update structure. Beyond source selection, the same signatures and marginals provide a diagnostic instrument for studying whether LLM task similarity is driven by activations, errors, or their coupling; shared-parameter and internal-layer validations, together with Llama-3.1-8B verbalizer-shift experiments, show that FisherSketch remains informative when activation similarity cannot distinguish tasks.
- Abstract（参考訳）: SMILES、タンパク質、ゲノム配列などの科学的な文字列ドメインでは、候補コーパスがトークン化因子を共有するが、予測ターゲットが異なる。
表現類似度メトリクスはラベル条件付き誤差幾何学の仮定なしでは非形式的であり、古典的な更新幾何学メトリクスはボキャブラリスケールで計算的に禁止される。
我々は、共有出力ヘッド設定において、表現指標(例えば、CKA)が転送には識別できないことを示し、モデルが同一表現を共有できるが、直交ヘッド更新を持つことを示した。
鍵となるアイデンティティは、ヘッドフィッシャーアライメントは、物質化されたフィッシャー行列ではなく、活性化・エラー空間へのカーネル平均埋め込み、アクティベーション、エラー、結合係数の露光という、まさにカーネルの平均埋め込みのコサインであるということである。
FisherSketchはこのコサインを1つのストリーミングパスで直接推定し、K=128,256のヘッドアライメントを16KBのタスクシグネチャ(m=4096)と1タスクあたり192KBのストリーミングステートで実用的なものにした。
Llama-3.1-8Bの発声器シフト実験とともに、LLMタスクの類似性がアクティベーション、エラー、あるいはそれらの結合によって駆動されるかどうかを調べるための診断手段を提供する。
関連論文リスト
- ChorusTIC: Training-Free Multivariate Time Series Classification via Chorus In-Context Learning [52.72143039958434]
異種チャネル構成にまたがるコンテキスト内分類のための分類ネイティブ基盤モデルであるChorusticを導入する。
Chorusticは、可変チャネル構成を元のチャネルカウントとは無関係に固定幅の表現にマッピングする。
コンテキスト由来の分布を使って機能軸を校正し、リーク保護されたコンテキスト内学習を通じてクエリラベルを予測する。
論文 参考訳（メタデータ） (2026-08-25T03:45:24Z) - Is Inference Mediated by Distinct Semantic Structures in LLMs? A Mechanistic Interpretation [34.50304918655722]
トランスフォーマー表現はラベルレベルの情報を運ぶことが知られているが、それらのラベルを生成するセマンティック操作をエンコードしているかどうかは不明である。
一つの意味変換によって異なる制御された前提-仮説ペアを用いて、自然言語推論においてこれを考察する。
論文 参考訳（メタデータ） (2026-05-25T07:21:07Z) - Beyond Activation Alignment: The Geometry of Neural Sensitivity [0.0]
そこで我々は,小摂動を識別する表現能力に着目した,局所的測位可能な情報に基づくフレームワークを提案する。
対称正定値行列の多様体上の対数スペクトル距離を用いてこれらの正規化シグネチャを比較する。
経験的に、このフレームワークは、独立に訓練された人工ニューラルネットワークで対応するレイヤのリカバリを可能にする。
論文 参考訳（メタデータ） (2026-05-04T23:21:24Z) - Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。
本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
論文 参考訳（メタデータ） (2025-10-02T06:25:10Z) - Training-Free Tokenizer Transplantation via Orthogonal Matching Pursuit [45.18582668677648]
大規模言語モデルにおいて,トークン化剤を移植するためのトレーニング不要な手法を提案する。
それぞれの語彙外トークンを,共有トークンの疎線形結合として近似する。
我々は,OMPがベースモデルの性能を最良にゼロショット保存できることを示す。
論文 参考訳（メタデータ） (2025-06-07T00:51:27Z) - With a Little Help from your own Past: Prototypical Memory Networks for
Image Captioning [47.96387857237473]
我々は、他のトレーニングサンプルを処理しながら得られたアクティベーションに注意を向けるネットワークを考案した。
私たちのメモリは、プロトタイプベクトルの定義を通じて過去のキーと値の分布をモデル化します。
本研究では,エンコーダ・デコーダ変換器の性能を3.7 CIDErポイント向上できることを示す。
論文 参考訳（メタデータ） (2023-08-23T18:53:00Z) - Disentanglement via Latent Quantization [60.37109712033694]
本研究では,組織化された潜在空間からの符号化と復号化に向けた帰納的バイアスを構築する。
本稿では,基本データレコーダ (vanilla autoencoder) と潜時再構成 (InfoGAN) 生成モデルの両方に追加することで,このアプローチの広範な適用性を実証する。
論文 参考訳（メタデータ） (2023-05-28T06:30:29Z) - Confident Sinkhorn Allocation for Pseudo-Labeling [40.883130133661304]
半教師付き学習は、ラベル付きデータへの機械学習の依存を減らす重要なツールである。
本稿では,疑似ラベル作成における不確実性の役割を理論的に研究し,CSA(Confident Sinkhorn Allocation)を提案する。
CSAは、信頼度の高いサンプルのみへの最適な輸送を通して、最高の擬似ラベル割り当てを特定する。
論文 参考訳（メタデータ） (2022-06-13T02:16:26Z) - AAformer: Auto-Aligned Transformer for Person Re-Identification [82.45385078624301]
トランスアーキテクチャにおけるアライメント方式を初めて導入する。
本研究では,人体と非人体の両方をパッチレベルで自動的に検出する自動整列トランス (AAformer) を提案する。
AAformerは、部分アライメントを自己アテンションに統合し、出力[PART]を直接検索する機能として使用することができる。
論文 参考訳（メタデータ） (2021-04-02T08:00:25Z) - Provably End-to-end Label-Noise Learning without Anchor Points [118.97592870124937]
本稿では,アンカーポイントを使わずにラベルノイズ学習を実現するためのエンドツーエンドフレームワークを提案する。
提案フレームワークでは,クリーンなクラス後確率が十分に分散している場合,遷移行列を同定できる。
論文 参考訳（メタデータ） (2021-02-04T03:59:37Z) - Predicting What You Already Know Helps: Provable Self-Supervised
Learning [60.27658820909876]
自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。
本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。
複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
論文 参考訳（メタデータ） (2020-08-03T17:56:13Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。