論文の概要: One Adapter Pair per Model: A Universal Activation Interface for Language Models

• arxiv url: http://arxiv.org/abs/2608.09521v1
• Date: Mon, 10 Aug 2026 12:21:36 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-11 19:16:37.257934
• Title: One Adapter Pair per Model: A Universal Activation Interface for Language Models
• Title（参考訳）: モデル1つ1つのアダプタペア:言語モデルのためのユニバーサルアクティベーションインタフェース
• Abstract要約: アクティベーションベースのツールは、通常、あるモデルのネイティブな隠れスペースに結びついている。 互換性のある言語モデル間で共通のアクティベーションインターフェースを提供するフレームワークを提案する。
• 参考スコア（独自算出の注目度）: 7.154775354163099
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Activation-based tools are usually tied to one model's native hidden space, requiring probes, sparse autoencoders, and natural-language interpreters to be rebuilt or rediscovered for each new language model. We present a Universal Activation Bus, a framework that provides a common activation interface across compatible language models. Using a small set of source models, we learn a shared dense space together with one lightweight linear encoder--decoder adapter pair per model. After source training, the interface is frozen; a new model joins by fitting only its adapter pair on unlabeled matched text. The resulting interface allows activation-based tools to be shared across connected models, including common probes and SAE features as well as access to an NLA originally trained for a different model. Across five models, semantically related texts form consistent neighborhoods in the shared space, and an onboarded model reuses these tools effectively without retraining them. We further show that an intermediate activation from one model can be used by another model's frozen upper layers to produce predictions. These results establish a stable, model-wise activation contract for reusable tools across compatible language models.
• Abstract（参考訳）: アクティベーションベースのツールは、通常、あるモデルのネイティブな隠れ空間に結びついており、新しい言語モデルごとに、プローブ、スパースオートエンコーダ、自然言語インタープリタを再構築または再発見する必要がある。 互換性のある言語モデル間で共通のアクティベーションインターフェースを提供するフレームワークであるUniversal Activation Busを提案する。 ソースモデルの小さなセットを用いて、モデル毎に1つの軽量線形エンコーダ-デコーダアダプタペアとともに共有密集空間を学習する。 ソーストレーニングの後、インターフェースは凍結される。新しいモデルは、ラベルのないマッチしたテキストにアダプタペアだけを適合させることで結合する。 その結果生まれたインターフェースにより、共通のプローブやSAE機能など、コネクテッドモデル間でアクティベーションベースのツールの共有が可能になり、元々は異なるモデルのためにトレーニングされたNLAへのアクセスが可能になる。 5つのモデルにまたがって、意味論的に関連するテキストが共有空間内の一貫した近傍を形成し、搭載されたモデルがこれらのツールを再訓練することなく効果的に再利用する。 さらに、あるモデルからの中間活性化が、他のモデルの凍結上層によって予測されることを示す。 これらの結果は、互換性のある言語モデルにまたがる再利用可能なツールに対して、安定したモデルワイドアクティベーション契約を確立する。

関連論文リスト

• SharedSAE: One Feature Dictionary Across Language Models [30.4456371305745]
  1つの共有SAEが、モデルごとのSAEのコレクションを置き換えることができることを示す。 提案手法は,共有辞書とモデル固有のエンコーダとデコーダのペアを組み合わせたものである。
  論文  参考訳（メタデータ） (2026-09-03T18:09:41Z)
• One Lens, Many Worlds : A Capability-Typed Interface for World-Model Interpretability [2.550140611921313]
  本稿では,能率型アダプタを中心に構成された,オープンソースの解釈可能性基板WorldModelLensを提案する。 各モデルは、必要な4つのメソッド(エンコード、トランジション、初期状態、サンプル)を実装し、オプションのヘッドセットを宣言する。 単一のフックとキャッシュ層は、タイムインデクシングされたアクティベーション、イマジネーションのロールアウト、このインターフェースに対する介入リプレイを公開する。
  論文  参考訳（メタデータ） (2026-06-07T19:27:04Z)
• From Text to DSL: Evaluating Grammar-Based Model Generation Using Open LLMs [2.5576448583538514]
  大規模言語モデル(LLM)は、モデル駆動のソフトウェアエンジニアリングタスクを自動化する可能性が高まっている。 異なるサイズのオープンソース LLM が,少数ショットプロンプトのみを用いて DSL に適合するモデルを生成することができるかどうかを評価する。
  論文  参考訳（メタデータ） (2026-05-15T11:33:48Z)
• Pretraining Language Models to Ponder in Continuous Space [50.52734567589996]
  単一のトークン生成ステップ内で,前処理を繰り返し呼び出すことによって,この思考プロセスを言語モデルに導入する。 人間のアノテーションを使わずに、自己教師付き学習を通じて、この方法でモデルを学習できることが示される。
  論文  参考訳（メタデータ） (2025-05-27T03:47:33Z)
• OptMerge: Unifying Multimodal LLM Capabilities and Modalities via Model Merging [124.91183814854126]
  モデルマージは、複数のエキスパートモデルをひとつのモデルに組み合わせようとしている。 本稿ではMLLMのトレーニングと評価のタスクを明確に分割したモデルマージ研究のベンチマークを紹介する。 モデルマージは、トレーニングデータを必要とせずに改善されたMLLMを構築するための有望な方法であることがわかった。
  論文  参考訳（メタデータ） (2025-05-26T12:23:14Z)
• ML-SUPERB 2.0: Benchmarking Multilingual Speech Models Across Modeling Constraints, Languages, and Datasets [106.7760874400261]
  本稿では、事前訓練されたSSLと教師付き音声モデルを評価するための新しいベンチマークであるML-SUPERB2.0を提案する。 ML-SUPERBのセットアップよりも性能が向上するが、性能は下流モデル設計に依存している。 また、言語とデータセットのパフォーマンスに大きな違いがあることから、よりターゲットを絞ったアプローチの必要性も示唆されている。
  論文  参考訳（メタデータ） (2024-06-12T21:01:26Z)
• CMULAB: An Open-Source Framework for Training and Deployment of Natural Language Processing Models [59.91221728187576]
  本稿では,NLPモデルのモデル展開と連続的なヒューマン・イン・ザ・ループの微調整を簡単にするオープンソースフレームワークであるCMU言語バックエンドを紹介する。 CMULABは、マルチ言語モデルのパワーを活用して、音声認識、OCR、翻訳、構文解析などの既存のツールを新しい言語に迅速に適応し、拡張することができる。
  論文  参考訳（メタデータ） (2024-04-03T02:21:46Z)
• FiLM: Fill-in Language Models for Any-Order Generation [71.42044325886194]
  Fill-in Language Model (FiLM) は、特定の生成順序に固執することなく任意の位置で柔軟な生成を可能にする新しい言語モデリング手法である。 推論中、FiLMは欠落したフレーズ、文、段落をシームレスに挿入できる。 FiLMは、再構成されたテキストセグメントでトレーニングされた左から右への言語モデルに依存する既存のインフィル手法よりも優れています。
  論文  参考訳（メタデータ） (2023-10-15T19:37:39Z)
• Dataless Knowledge Fusion by Merging Weights of Language Models [47.432215933099016]
  微調整された事前学習言語モデルは、下流のNLPモデルを構築するための主要なパラダイムとなっている。 これは、より優れた単一モデルを生み出すために、個々のモデル間で知識を融合させる障壁を生み出します。 パラメータ空間のモデルをマージするデータレス知識融合法を提案する。
  論文  参考訳（メタデータ） (2022-12-19T20:46:43Z)
• LAMASSU: Streaming Language-Agnostic Multilingual Speech Recognition and Translation Using Neural Transducers [71.76680102779765]
  自動音声認識(ASR)と音声翻訳(ST)はどちらもモデル構造としてニューラルトランスデューサを使用することができる。 ニューラルトランスデューサを用いた多言語音声認識および翻訳モデルであるLAMASSUを提案する。
  論文  参考訳（メタデータ） (2022-11-05T04:03:55Z)
• Language Models are General-Purpose Interfaces [109.45478241369655]
  本稿では,様々な基礎モデルに対する汎用インタフェースとして言語モデルを提案する。 事前訓練されたエンコーダのコレクションは、様々なモダリティ(ビジョンや言語など)を知覚する インタフェースとモジュールエンコーダを協調的に事前学習するための半因果言語モデリング手法を提案する。
  論文  参考訳（メタデータ） (2022-06-13T17:34:22Z)
• Composable Sparse Fine-Tuning for Cross-Lingual Transfer [56.86192078426372]
  事前学習されたモデルのパラメータを微調整することが、伝達学習の主流のアプローチとなっている。 本稿では,これら2つの望ましい特性を持つファインチューニング手法を提案する。 これは、ゼロショットのクロスランガル転送において、大きなマージンでアダプタを上回ります。
  論文  参考訳（メタデータ） (2021-10-14T17:27:29Z)
• Introducing various Semantic Models for Amharic: Experimentation and Evaluation with multiple Tasks and Datasets [19.855120632909124]
  我々はAmharicの異なるセマンティックモデルを導入する。 モデルは word2Vec 埋め込み、分散シソーラス (DT)、コンテキスト埋め込み、DT 埋め込みを使って構築される。 新たに訓練されたモデルは、事前訓練された多言語モデルよりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2020-11-02T17:48:25Z)
• Early Stage LM Integration Using Local and Global Log-Linear Combination [46.91755970827846]
  暗黙のアライメント機構を持つシーケンス対シーケンスモデル(例えば注意)は、従来のハイブリッド隠れマルコフモデル(HMM)に対するパフォーマンスギャップを埋めている。 両方のケースで単語エラー率を改善する重要な要因は、大きなテキストのみのコーパスでトレーニングされた外部言語モデル(LM)を使用することである。 暗黙アライメントに基づくシーケンス・ツー・シーケンスモデルに言語モデルを統合する新しい手法を提案する。
  論文  参考訳（メタデータ） (2020-05-20T13:49:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。