論文の概要: Internalizer: Portable Context-to-Parameter Mapping for Very Large Language Models

• arxiv url: http://arxiv.org/abs/2610.11715v1
• Date: Thu, 08 Oct 2026 11:19:13 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-10 02:36:53.968254
• Title: Internalizer: Portable Context-to-Parameter Mapping for Very Large Language Models
• Title（参考訳）: 内部化器:極大言語モデルのための可搬型コンテキスト・パラメータマッピング
• Abstract要約: internalizerは最先端のポータブルなContext-to-Seekマッピングハイパーネットワークである。 フリーズされた284B-Deep v4 Flash用のドキュメント固有のLoRAアダプタを生成する。 最大4096個のトークンの見えない文書では、生成したアダプタは84.9%のトップ-1と97.8%のトップ5の教師による精度に達した。
• 参考スコア（独自算出の注目度）: 3.1498833540989413
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hypernetworks that map a context directly to a LoRA adapter let a large language model carry that context in its weights, but prior work has demonstrated them only on base models of up to 14 billion parameters. We present the Internalizer, a state-of-the-art, portable Context-to-Parameter Mapping hypernetwork that generates document-specific LoRA adapters for the frozen 284B-parameter DeepSeek v4 Flash, a target two orders of magnitude larger than in any previous work. Most of its parameters live in a model-agnostic trunk with only thin entry and exit layers per base model, so it trains cheaply against small models before being ported to the large one. On unseen documents of up to 4096 tokens, the generated adapters reach 84.9% top-1 and 97.8% top-5 teacher-forced accuracy against 63.4% and 83.5% for the base model, with nothing in the context window but a three-word instruction. Once the hypernetwork is trained, a single forward pass turns any document into an adapter for such a model, which could be served alone for speed or alongside the document in the window to raise accuracy further.
• Abstract（参考訳）: コンテキストをLoRAアダプタに直接マップするHypernetworksは、大きな言語モデルにそのコンテキストを重み付けさせる。 本稿では,284BパラメータのDeepSeek v4 Flash用の文書固有のLoRAアダプタを生成する,最先端でポータブルなContext-to-ParameterマッピングハイパーネットワークであるInternalizerについて述べる。 ほとんどのパラメータはモデルに依存しないトランクに住んでおり、ベースモデルごとに薄いエントリー層と出口層しか持たないため、大きなトランクに移植する前に小さなモデルに対して安価に訓練する。 最大4096個のトークンの目に見えない文書では、生成したアダプタは84.9%のトップ-1と97.8%のトップ5の教師による精度で63.4%、83.5%の精度でベースモデルに到達した。 ハイパーネットワークがトレーニングされると、単一のフォワードパスが任意のドキュメントをそのようなモデルのアダプタに変換します。

関連論文リスト

• Not Every Call Needs a Frontier Model: Per-Call-Site Evaluation of Small Language Models in a Deployed Agentic Home-Automation System [0.27998963147546135]
  我々は、0.8Bから5つのコールサイトにわたるフロンティアホストモデルまで、ホームオートメーションフレームワークの9つのモデルを評価する。 私たちは、すべてのサイトにおいて、能力は同じように順序付けられておらず、大きなモデルが一様に改善されていないことに気付きました。
  論文  参考訳（メタデータ） (2026-10-06T19:18:59Z)
• COPEX: Benchmarking LLM Robustness to Adversarial Context Across Model Context Protocol Layers [2.933308760339497]
  大規模言語モデルは、モデルコンテキストプロトコル(MCP)システムにおけるツールの使用をますます仲介する。 既存のベンチマークでは、デプロイされたエージェント、ガードレールによるモデルの感受性の混在、オーケストレーション、一般的なタスク能力を評価している。 周辺エージェントスタックを固定し,ツール選択モデルのみを変更することでモデルをMPPクライアントとして分離するベンチマークであるCOPEXを導入する。
  論文  参考訳（メタデータ） (2026-10-03T08:44:20Z)
• Interfaze: The Future of AI is built on Task-Specific Small Models [0.25489046505746704]
  現代LLMアプリケーションをコンテキスト上で構築および動作する問題として扱うシステムであるInterfazeを提案する。 このスタックの上に薄いコントローラがあり、単一のOpenAIスタイルのエンドポイントを公開する。 このアーキテクチャでは、Interfaze-BetaはMMLU-Proで83.6%、MMLUで91.4%、GPQA-Diamondで81.3%、LiveCodeBench v5で57.8%、AIME-2025で90.0%を達成している。
  論文  参考訳（メタデータ） (2026-02-04T00:36:37Z)
• Less is More: Making Smaller Language Models Competent Subgraph Retrievers for Multi-hop KGQA [51.3033125256716]
  本研究では,小言語モデルで処理される条件生成タスクとして,サブグラフ検索タスクをモデル化する。 2億2千万のパラメータからなる基本生成部分グラフ検索モデルでは,最先端モデルと比較して競合検索性能が向上した。 LLMリーダを接続した最大の3Bモデルは、WebQSPとCWQベンチマークの両方で、SOTAのエンドツーエンドパフォーマンスを新たに設定します。
  論文  参考訳（メタデータ） (2024-10-08T15:22:36Z)
• VimTS: A Unified Video and Image Text Spotter for Enhancing the Cross-domain Generalization [115.64739269488965]
  VimTSは、異なるタスク間のより良い相乗効果を達成することにより、モデルの一般化能力を高める。 本研究では,コンテンツ変形場(CoDeF)アルゴリズムを利用した合成ビデオテキストデータセット(VTD-368k)を提案する。 ICDAR2015ビデオとDSText v2では,ビデオレベルのクロスドメイン適応に対して,従来のエンドツーエンドビデオスポッティング手法を超越している。
  論文  参考訳（メタデータ） (2024-04-30T15:49:03Z)
• Alexa Teacher Model: Pretraining and Distilling Multi-Billion-Parameter Encoders for Natural Language Understanding Systems [63.713297451300086]
  本研究では,700Mから9.3Bまでの非埋め込みパラメータ数を持つ事前学習エンコーダの大規模実験結果について述べる。 その後、17M-170Mパラメータからより小さなモデルに蒸留し、仮想アシスタントシステムの自然言語理解(NLU)コンポーネントに応用した。
  論文  参考訳（メタデータ） (2022-06-15T20:44:23Z)
• AdaMix: Mixture-of-Adapter for Parameter-efficient Tuning of Large Language Models [119.7093605087114]
  大規模なトレーニング済み言語モデルをダウンストリームタスクに微調整するには、数億のパラメータを更新する必要がある。 これにより、各タスクのモデルの重みの大量コピーを格納するためのサービスコストが増大するだけでなく、数発のタスク適応中に不安定を示す。 パラメータや計算コストを2つの重要な手法で増大させることなく、アダプタ容量を改善するための新しいメカニズムを導入する。
  論文  参考訳（メタデータ） (2022-05-24T23:41:22Z)
• Recurrent multiple shared layers in Depth for Neural Machine Translation [11.660776324473645]
  本稿では,トランスフォーマーのエンコーダブロックとデコーダブロックを奥行き方向にループする再帰機構を持つ深層モデルを提案する。 深層トランス (20層エンコーダ, 6層デコーダ) と比較して, モデル性能と推論速度は類似しているが, モデルパラメータは前者の54.72%である。
  論文  参考訳（メタデータ） (2021-08-23T21:21:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。