論文の概要: NinaXander: Feasibility and Limits of Composing Frozen Language Models Across Architecture Families via a Shared Latent Space

• arxiv url: http://arxiv.org/abs/2609.38261v1
• Date: Tue, 29 Sep 2026 12:19:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-01 18:57:26.43068
• Title: NinaXander: Feasibility and Limits of Composing Frozen Language Models Across Architecture Families via a Shared Latent Space
• Title（参考訳）: NinaXander: 共有潜在空間を通じたアーキテクチャファミリ間の凍結言語モデル構築の可能性と限界
• Abstract要約: 構成されたモデルは、あるモデルの第一層を実行し、その結果の中間表現をアダプタで一度変換し、他のモデルの残りの層を実行します。 本研究は, 異なる家系の凍結モデルがポストホックに組み換えられるかを検討した。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this paper we propose NinaXander, a series of composed language models obtained by connecting layers of frozen language models from different architecture families with a single trained shared-latent adapter. A composed model runs the first layers of one model, converts the resulting intermediate representation once with the adapter, and then runs the remaining layers of the other model. Once the adapter is trained, several composed models that connect at different layers are obtained without retraining. Using the recurrent RWKV-4-Raven-7B and the Transformer-based Tulu-Pythia-6.9b, abbreviated as RWKV and Pythia, this study examines whether frozen models from different families can be recombined post hoc. The composed models answered multiple-choice questions, and those whose generations we examined produced syntactically well-formed text. The configuration that combines the first 5 layers of Pythia with the remaining 27 layers of RWKV reduced the Transformer key-value (KV) cache by 84.4% with accuracy not significantly different from that of RWKV alone. In multiple-choice accuracy, however, no composed model matched the parent model Pythia, and language-modeling performance decreased sharply on WikiText, a corpus of Wikipedia articles outside the training domain. The correspondence between intermediate representations was also obtained in one favorable case, with a shared tokenizer, the same depth, and the same hidden width, and does not show that the models share a general semantic space.
• Abstract（参考訳）: 本稿では,NinaXanderを提案する。NinaXanderは,異なるアーキテクチャファミリのフリーズ言語モデルの層を,単一のトレーニングされた共有遅延アダプタで接続することによって得られる,一連の合成言語モデルである。 構成されたモデルは、あるモデルの第一層を実行し、その結果の中間表現をアダプタで一度変換し、他のモデルの残りの層を実行します。 アダプタがトレーニングされると、異なるレイヤに接続する複数の構成モデルが再トレーニングせずに取得される。 RWKV-4-Raven-7B と Transformer をベースとした Tulu-Pythia-6.9b を RWKV と Pythia と略して用いて, 異なる家系の凍結モデルを再結合できるかどうかを検討した。 合成されたモデルは複数の選択質問に回答し,その世代を調べた結果,構文的に整形されたテキストが得られた。 最初の5層のPythiaと残りの27層のRWKVを組み合わせた構成により、Transformerキー値(KV)キャッシュは84.4%削減された。 しかし、複数選択精度では、合成モデルは親モデルであるPythiaと一致せず、訓練領域外のウィキペディア記事のコーパスであるWikiTextでは言語モデルの性能が急激に低下した。 中間表現間の対応性も、共有トークン化器、同じ深さ、同じ隠れた幅を持つ1つの有利なケースで得られ、モデルが一般的な意味空間を共有することを示さない。

関連論文リスト

• Discovering Cross-Language Reasoning Invariance in LLMs with Geometry-Invariant Sparse Autoencoders [0.7555681563742543]
  多言語言語モデルが類似した出力しか生成しない共有機能や言語固有の計算に依存しているかどうかを考察する。 このサンプルでは、言語間の機能共有がモデルに依存しており、異なるモデルで異なる深さに現れる。
  論文  参考訳（メタデータ） (2026-08-24T20:17:55Z)
• Exploring Diffusion Transformer Designs via Grafting [82.91123758506876]
  計算予算の少ない新しいアーキテクチャを実現するために,事前に訓練された拡散変換器(DiT)を編集する簡単な手法であるグラフト方式を提案する。 演算子置換からアーキテクチャ再構成に至るまで,事前訓練したDiTをグラフトすることで,新しい拡散モデルの設計を探索できることが示されている。
  論文  参考訳（メタデータ） (2025-06-05T17:59:40Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• Merging Text Transformer Models from Different Initializations [6.576256518248877]
  異なるTransformer minimaが類似した特徴を学習する程度について検討する。 損失景観におけるこれらのミニマの関係を調べるためのモデルマージ手法を提案する。 以上の結果から,これらのモデルのミニマは従来理解されていたよりもシャープで孤立していないことが明らかとなった。
  論文  参考訳（メタデータ） (2024-03-01T21:16:29Z)
• MatFormer: Nested Transformer for Elastic Inference [91.45687988953435]
  MatFormerは、多様なデプロイメント制約にまたがる弾性推論を提供するように設計された、新しいTransformerアーキテクチャである。 MatFormerは、標準的なTransformerモデルにネストフィードフォワードネットワーク(FFN)ブロック構造を組み込むことで、これを実現している。 8億5000万デコーダのみのMatFormer言語モデル(MatLM)により,5億2200万から8億5千万のパラメータにまたがる複数の小さなモデルを抽出できることを示す。
  論文  参考訳（メタデータ） (2023-10-11T17:57:14Z)
• On Robustness of Finetuned Transformer-based NLP Models [11.063628128069736]
  CKAとSTIRの2つの指標を用いて、事前訓練された言語モデルと微調整された言語モデル間の変化を特徴付ける。 GPT-2表現はBERTやT5よりも複数の入力摂動に対して堅牢である。 この研究は、人気のあるTransformerベースのモデルの摂動固有の弱点に関する貴重な洞察を提供する。
  論文  参考訳（メタデータ） (2023-05-23T18:25:18Z)
• Composable Sparse Fine-Tuning for Cross-Lingual Transfer [56.86192078426372]
  事前学習されたモデルのパラメータを微調整することが、伝達学習の主流のアプローチとなっている。 本稿では,これら2つの望ましい特性を持つファインチューニング手法を提案する。 これは、ゼロショットのクロスランガル転送において、大きなマージンでアダプタを上回ります。
  論文  参考訳（メタデータ） (2021-10-14T17:27:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。