論文の概要: On the Opportunities and Challenges of Prefill-to-Autoregressive Cross-Model Transfer

• arxiv url: http://arxiv.org/abs/2611.06976v1
• Date: Wed, 04 Nov 2026 13:33:47 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-11-06 21:50:50.419474
• Title: On the Opportunities and Challenges of Prefill-to-Autoregressive Cross-Model Transfer
• Title（参考訳）: プレフィル・ツー・オートレグレッシブ・クロスモデル転送の可能性と課題
• Abstract要約: Prefill-to-Autoregressive Cross-model Transfer (PACT) は、より大きなモデルのプロンプト表現とより小さなモデルの効率的な生成を結合する。 我々はPLatourを紹介した。PLatourはオープンソースのPACTフレームワークで,タスク報酬を直接トレーニングした軽量なゼロ回帰線形ブリッジを通じてフリーズモデルを接続する。 PLatourは、生成タスクにおけるオープンソースのベースラインを大幅に上回り、より小さな送信機を用いて、共有数学とコーディングベンチマークに関するMosikの報告結果を上回っている。
• 参考スコア（独自算出の注目度）: 35.667097198980734
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Prefill-to-Autoregressive Cross-model Transfer (PACT), a form of latent communication between language models, combines a larger model's prompt representations with a smaller model's efficient generation, offering a promising way to balance capability and inference cost. However, existing systems provide limited support for independently evaluating large-small model collaboration, and improved task performance alone does not establish whether the receiver benefits from the sender's information. We introduce PLatour, an open-source PACT framework that connects frozen models through lightweight, zero-initialized linear bridges trained directly with task rewards and supports hybrid-attention architectures. PLatour significantly outperforms open-source baselines on generation tasks and surpasses Mostik's reported results on shared mathematics and coding benchmarks using a substantially smaller sender. However, controlled experiments show that the gains on some tasks can be reproduced by uninformative sender signals, self-communication, or receiver-only training. We find that trainable bridges can act as parameter-efficient adaptation mechanisms without exploiting useful sender information. We therefore propose PACT-Check to quantify how much of a trained PACT system's gain genuinely comes from communication. Finally, we discuss the opportunities and challenges of PACT systems. Code is available at https://github.com/zhenyi4/platour.
• Abstract（参考訳）: 言語モデル間の遅延通信の形式であるPrefill-to-Autoregressive Cross-model Transfer (PACT)は、より大きなモデルのプロンプト表現とより小さなモデルの効率的な生成を組み合わせ、能力と推論コストのバランスをとるための有望な方法を提供する。 しかし、既存のシステムでは、大規模モデルコラボレーションを独立して評価するための限定的なサポートを提供しており、タスク性能の改善だけでは、受信者が送信者の情報から恩恵を受けるかどうかを確定できない。 我々はPLatourを紹介した。PLatourはオープンソースのPACTフレームワークで、タスク報酬を直接訓練した軽量なゼロ初期化線形ブリッジを通じて凍結モデルと接続し、ハイブリッドアテンションアーキテクチャをサポートする。 PLatourは、生成タスクにおけるオープンソースのベースラインを大幅に上回り、より小さな送信機を用いて、共有数学とコーディングベンチマークに関するMosikの報告結果を上回っている。 しかし、制御された実験により、一部のタスクの利得は、非形式的な送信信号、自己伝達、受信者のみの訓練によって再現できることが示された。 トレーニング可能なブリッジは,有用な送信者情報を活用することなく,パラメータ効率のよい適応機構として機能することを発見した。 そこで我々はPACT-Checkを提案する。 最後に,PACTシステムの可能性と課題について論じる。 コードはhttps://github.com/zhenyi4/platour.comから入手できる。

関連論文リスト

• Think Before You Speak: Enabling Training-Free Latent Communication Between Language Models [0.6091702876917281]
  CacheFuseは、上流モデルのKVキャッシュで下流モデルを拡張するためのトレーニング不要のメソッドである。 単一モデルベースラインと比較して最大8.6ポイントの精度を示し,マルチモデル推論におけるテキストベース通信に比べて最大12.2倍のTTFT高速化を示した。
  論文  参考訳（メタデータ） (2026-10-12T04:40:48Z)
• Before Thinking, Learn to Decide: Proactive Routing for Efficient Visual Reasoning [87.18590662029432]
  本稿では,プロアクティブルーティングパラダイムであるPRPを提案する。このパラダイムは,ドラフトモデルとターゲットモデルの両方の能力を評価することで,早期意思決定を可能にする。 筆者らの試案であるレーティング学習 (DRL) は内部信頼度推定器を内蔵し, 共同レーティング学習 (JRL) は対象モデルが与えられたクエリをどの程度処理できるかを予測する。 これらの評価により、詳細なインスタンスレベルの textbfProactive Routing が可能になり、全体的なパフォーマンスを損なうことなく、推論を大幅に高速化できる。
  論文  参考訳（メタデータ） (2026-06-29T12:30:24Z)
• Benchmarking Few-shot Transferability of Pre-trained Models with Improved Evaluation Protocols [123.73663884421272]
  より強力な事前訓練モデルと改良された適応アルゴリズムによって、わずかなショット転送が革新されている。 FEWTRANSは10種類のデータセットを含む総合的なベンチマークである。 FEWTRANS をリリースすることにより,数発の転写学習研究において再現性の向上を合理化するための厳密な "ルーラー" の提供を目指す。
  論文  参考訳（メタデータ） (2026-02-28T05:41:57Z)
• NExT-OMNI: Towards Any-to-Any Omnimodal Foundation Models with Discrete Flow Matching [64.10695425442164]
  NExT-OMNI(英語版)は、離散フローパラダイムによる統一モデリングを実現するオープンソース・オムニモーダル・ファンデーション・モデルである。 NExT-OMNIは、大規模なインターリーブ付きテキスト、画像、ビデオ、オーディオデータに基づいて訓練され、マルチモーダル生成および理解ベンチマーク上で競合するパフォーマンスを提供する。 さらなる研究を進めるために、トレーニングの詳細、データプロトコル、およびコードとモデルチェックポイントの両方をオープンソース化する。
  論文  参考訳（メタデータ） (2025-10-15T16:25:18Z)
• Towards a Foundation Model for Communication Systems [16.85529517183343]
  本研究では,コミュニケーションデータの基礎モデルに向けて一歩踏み出した。 本稿では,トークン化,位置埋め込み,マルチモーダリティ,可変特徴量,正規化など,重要な課題に対処する手法を提案する。 本研究では,送信ランク,選択したプリコーダ,ドップラー拡散,遅延プロファイルなど,複数の特徴を推定できることを実証的に実証する。
  論文  参考訳（メタデータ） (2025-05-20T16:52:11Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• MACP: Efficient Model Adaptation for Cooperative Perception [23.308578463976804]
  協調機能を備えた単エージェント事前学習モデルを備えたMACPという新しいフレームワークを提案する。 提案手法は,協調観測を効果的に活用し,他の最先端手法より優れていることを示す。
  論文  参考訳（メタデータ） (2023-10-25T14:24:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。