論文の概要: Five Architectures, One Shared Space Cross-Model Representational Alignment Without Weight Merging
- arxiv url: http://arxiv.org/abs/2610.33495v1
- Date: Sat, 24 Oct 2026 06:52:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-27 22:27:13.345261
- Title: Five Architectures, One Shared Space Cross-Model Representational Alignment Without Weight Merging
- Title（参考訳）: 5つのアーキテクチャ、1つの共有スペース・クロスモデル・アライメント ウェイトマージなしで
- Abstract要約: 内部設計が異なる5つのフリーズモデルが、アクティベーションのみで関連付けられるかどうかを問う。
5つのモデルが同じテキストをどう構成するかという統計的に堅牢な対応を見出す。
次に、評価可能なタスクで5つのモデルの中から選択するルータをサポートするかどうかをテストする。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Combining language models is usually done by averaging weights, which works only when the models share a common starting point. We ask whether five frozen, independently trained models with different internal designs (four transformers from four organizations and one state-space model) can be related through their activations alone, with no weight merging. Using permutation tests, an independent replication probe set, depth sweeps, pooling ablations and confound checks, we find statistically robust correspondence between how the five models organize the same text. It is strongest at each model's final layer and weaker for the state-space model, whose weakest pairing is still 35-43 times chance. We use this to build a shared space with Generalized Procrustes Analysis, in which no model is a fixed reference. At the final layer, mean held-out retrieval accuracy over the twenty ordered model pairs is 0.91 to 0.93 on two probe sets (chance 0.03), beating pairwise linear maps (0.82 to 0.85), but the space is worse than those maps in the middle layers. It transfers to ordinary English of unfamiliar grammatical form and fails on mathematical and logical notation. We then test whether the space supports a router that picks among the five models on gradeable tasks. Across four task types we find no case where routing beats always using the strongest model, and we report this as a negative result. A correctness signal that looked strong turned out to be category membership in disguise. All experiments ran on one laptop without a GPU.
- Abstract（参考訳）: 言語モデルの結合は通常、平均的な重み付けによって行われ、モデルが共通の出発点を共有する場合にのみ機能する。
異なる内部設計(4つの組織から4つのトランスフォーマーと1つの状態空間モデル)を持つフリーズモデルと独立に訓練された5つのモデルが、単独でアクティベーションによって関連付けられるかどうかを問う。
置換テスト,独立レプリケーションプローブセット,深度スイープ,プールアブリゲーション,コンファウンドチェックを用いて、5つのモデルが同じテキストをどう構成するかの統計的に堅牢な対応を見出した。
それぞれのモデルの最終層で最強であり、状態空間モデルではより弱く、最も弱いペアリングは35-43倍の確率である。
我々はこれを、モデルが固定参照でない一般化されたProcrustes Analysisで共有空間を構築するために利用する。
最終層では、20の順序のモデル対の平均ホールドアウト精度は、2つのプローブ集合上で0.91〜0.93であり(チャンス0.03)、一対の線形写像(0.82〜0.85)を曲げるが、中層におけるそれらの写像よりも空間は悪い。
未知の文法形式の普通の英語に移行し、数学的および論理的な表記に失敗する。
次に、評価可能なタスクで5つのモデルの中から選択するルータをサポートするかどうかをテストする。
4つのタスクタイプにまたがって、ルーティングが常に最強のモデルを使用するケースは見つからず、これを否定的な結果として報告する。
強いように見える正しさ信号は、偽装のカテゴリーメンバーシップであることが判明した。
実験はすべて、GPUなしで1台のラップトップ上で実行されました。
関連論文リスト
- ProteinGeoBench: Frontier Structural-Biology Agents Are Fluent at Lookup but Lost in Geometry [0.0]
4モデルから4,249回,26モデルから4,486回,タンパク質構造タスクのスイートであるProteinGeoBenchについて検討した。
4つのフロンティアモデルのうち3つは互いに0.031(0.785から0.816)の範囲内にあり、その差は解消されず、第4スコアは0.707、第3スコアは0である。
評価予算にも依存しており、タスク毎に1回実行され、23.9%の複製がまず異なるモデルで実行される。
論文 参考訳（メタデータ） (2026-10-19T17:55:38Z) - Style, Not Self: Surface Cues Explain Zero-Shot Code Attribution by Large Language Models [4.36766480644779]
5つのLCMはMBPP、HumanEval、DS-1000のソリューションを生成し、さらに7つのMBPP、モデルが4つのタスクで評価器として機能する。
単一解法タスクでは、バランスの取れた精度は15のモデルとベンチマークの組み合わせで49-58%である。
名前付きモデルへの帰属はいくつかのペアで成功し、常に他のペアで逆転する。
論文 参考訳（メタデータ） (2026-09-24T16:11:21Z) - Architecture-Dependent Causal Transfer of Activation States Across Large Language Models [51.56484100374058]
内部言語アクティベーション状態は、異なる大きな言語モデル間で因果的に転送することができる。
生成中に投影された活性化をターゲットモデルに注入すると、統計的に有意で事前登録された因果効果が生じる。
現在実装されているLCM間のエンド・ツー・エンドのアクティベーション・ステート・トランスファーは、ユニバーサルではなくアーキテクチャに依存していると結論付けている。
論文 参考訳（メタデータ） (2026-08-17T09:53:27Z) - RigidBench: Evaluating Rigid-Body Physics in Video Generation Models [16.53417077740312]
そこで本研究では,生成した継続と参照ロールアウトを同一の初期フレームと動作記述から比較したシミュレータグラウンドベンチマークを提案する。
同じ100の例で8つのモデルを評価し、これらの側面を分離する10の計測を行った。
完全な微調整により3次元軌道誤差は約20%減少し、SSIMはほとんど変化しない。
論文 参考訳（メタデータ） (2026-08-16T06:05:20Z) - Actions Speak Louder than Words: Measuring Cross-Lingual Policy Retention in Tool-Using Agents [22.30468215041597]
ツール使用エージェントは別の言語で同じタスクを与えられるが、それでも同じステップを踏むだろうか?
アクションポリシーを,8つのモデル,6つの並列ベンチマーク,41の言語で測定対象とする。
論文 参考訳（メタデータ） (2026-08-11T16:18:34Z) - What Iterated Self-Feeding Probes of Language Models Measure, and a test that separates the construction from the model [0.0]
メソッドのクラスは、独自の出力を与えて言語モデルを探索する。
我々は、その問題を鋭くするために選ばれた工事において、そのような調査がどう対処するかを尋ねる。
答えは、見た目が似ている読書において、一度に2つの異なるものを測定することだ。
論文 参考訳（メタデータ） (2026-08-11T14:40:35Z) - Multi-Level Collaboration in Model Merging [56.31088116526825]
本稿では,モデルマージとモデルアンサンブルの本質的な関係について考察する。
これまでの制限が満たされていない場合でも、モデルのマージによって、アンサンブルと同じような、ほぼ同一かつ優れたパフォーマンスを達成する方法がまだ存在することが分かっています。
論文 参考訳（メタデータ） (2025-03-03T07:45:04Z) - Promises and Pitfalls of Generative Masked Language Modeling: Theoretical Framework and Practical Guidelines [74.42485647685272]
GMLM(Generative Masked Language Models)に焦点を当てる。
我々は,マルコフ連鎖の入力として使用されるマスキングにより,データ分布の条件付き確率に適合するモデルを訓練し,モデルからサンプルを抽出する。
我々は,T5モデルを並列デコーディングに適応させ,最小品質の犠牲を伴って機械翻訳における2～3倍の高速化を実現した。
論文 参考訳（メタデータ） (2024-07-22T18:00:00Z) - Unifying Language Learning Paradigms [96.35981503087567]
データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。
本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。
また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
論文 参考訳（メタデータ） (2022-05-10T19:32:20Z) - What do Toothbrushes do in the Kitchen? How Transformers Think our World
is Structured [137.83584233680116]
本稿では,トランスフォーマーに基づく言語モデルがオブジェクト関係に関する知識を抽出するのにどの程度役立つかを検討する。
異なる類似度尺度と組み合わせたモデルが,抽出できる知識の量で大きく異なることを示す。
驚くべきことに、静的モデルは、コンテキスト化されたモデルと同様に、ほぼ同じようにパフォーマンスします。
論文 参考訳（メタデータ） (2022-04-12T10:00:20Z) - AvgOut: A Simple Output-Probability Measure to Eliminate Dull Responses [97.50616524350123]
機能エンジニアリングなしで、どの発話やトークンが退屈であるかを動的に認識する対話モデルを構築します。
最初のモデルMinAvgOutは、各バッチの出力分布を通して、ダイバーシティスコアを直接最大化する。
第2のモデルであるラベルファインチューニング(LFT)は、多様性スコアによって連続的にスケールされたラベルをソースシーケンスにプリペイドし、多様性レベルを制御する。
3つ目のモデルであるRLは強化学習を採用し、多様性スコアを報奨信号として扱う。
論文 参考訳（メタデータ） (2020-01-15T18:32:06Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。