論文の概要: Privacy-preserving inference on hosted models: a learned input-embedding transform for frozen Qwen3.8-27B

• arxiv url: http://arxiv.org/abs/2610.27817v1
• Date: Tue, 20 Oct 2026 08:08:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.714442
• Title: Privacy-preserving inference on hosted models: a learned input-embedding transform for frozen Qwen3.8-27B
• Title（参考訳）: ホストモデルにおけるプライバシ保護推論:冷凍Qwen3.8-27Bのための学習入力埋め込み変換
• Abstract要約: 言語モデルは、公開ルックアップテーブルを用いて、テキストを正確に1回だけベクトルに変換する。 私たちは、そのステップをローカルに実行し、ベクターが周辺を離れる前に、訓練された小さなネットワークを介してベクターを渡す。 ホストは変換されたベクトル上で凍結した27Bモデルを実行し、テキストやトークンIDを受信しない。 我々は,前KLユーティリティ項を補助項と組み合わせて,凍結モデルに対する変換を定式判定として訓練する。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Every prompt sent to a hosted language model is readable by whoever runs it. We study whether the prompt can remain on the client while the host receives transformed vectors that stand in for it. A language model converts text to vectors exactly once, with a public lookup table; we perform that step locally and pass the vectors through a small trained network (55.6M parameters) before they leave the perimeter. The host runs a frozen 27B model (Qwen3.8-27B) on the transformed vectors and never receives text or token ids. We train the transform against the frozen model as a fixed judge, combining a forward-KL utility term with an auxiliary term that pushes each vector away from its original direction. On 1,490 MMLU questions held out from training, the transform costs 1.5 points of accuracy (80.7% vs. 82.3%), breaking 68 of the 1,226 questions the unmodified model answers correctly (5.5%), while 30.1% of content tokens no longer decode to their original token under a nearest-neighbour lookup.
• Abstract（参考訳）: ホストされた言語モデルに送信されるすべてのプロンプトは、それを実行している人によって読み取られる。 我々は、ホストがそれに対応する変換ベクターを受信している間に、そのプロンプトがクライアントに残れるかどうかを調査する。 言語モデルは、公共のルックアップテーブルを使って、テキストを正確に1回だけベクトルに変換し、そのステップをローカルに実行し、周辺から出る前に、小さな訓練されたネットワーク(55.6Mパラメータ)を介してベクターを渡す。 ホストは変換されたベクトル上で凍結した27Bモデル(Qwen3.8-27B)を実行し、テキストやトークンIDを受信しない。 固定判定として凍結モデルに対して変換を訓練し、前方KLユーティリティ項と、各ベクトルを元の方向から遠ざける補助項を組み合わせる。 1,490のMMLU質問では、変換の精度が1.5ポイント(80.7%対82.3%)、1,226問のうち68問が正解(5.5%)、30.1%のコンテンツトークンが近くのルックアップの下で元のトークンにデコードされなくなった。

関連論文リスト

• Share the Symbol, Not the Vector: Training-Free Fact Communication Across Language Models [54.6861338458609]
  SynC(Symbol-Indexed Neural Communication)は、微調整や学習用トランスレータなしで異種モデルを接続する。 説明だけで見ることができるので、送信者は共有リストから単語を選択し、質問を見ることなく各オブジェクトに対してインデックスを送信する。 本研究は,共有語指標とレシーバローカルな指示が,モデルファミリ間の選択的事実利用を,追加の訓練を伴わずに支援できることを示す。
  論文  参考訳（メタデータ） (2026-10-14T07:19:43Z)
• RIFT: Token Influence Follows the Path of Least Resistance [0.0]
  アテンションロールアウトやアテンションフローのようなグラフベースのツールは、これを1つのフォワードパスから答える。 我々はデコーダの層を,コンダクタンスを注意重みとする因果ネットワークとみなす。 本稿では,最小抵抗の経路の直列抵抗でトークンをスコアリングするRIFTを提案する。
  論文  参考訳（メタデータ） (2026-10-12T08:06:28Z)
• What Gradients Add to Text Leakage in Split Language Models, Counted per Token and per Document [0.0]
  分割学習は、クライアントがテキストを送信することなく、サーバー上で言語モデルをトレーニングすることを可能にする。 このトラフィックから、スプリットのオブザーバがクライアントのテキストのほとんどを再構築できることを示します。
  論文  参考訳（メタデータ） (2026-10-02T22:59:04Z)
• Draft-KV: Learning Useful Latent Communication Between Language Models [37.232258163056414]
  通信は、復号されたテキストではなく、言語モデル間の内部状態を渡す。 Qwen3-8Bシェアリングでは、冷凍されたQwen2.5-0.5Bインストラクト受信機はMMLU-Reduxで78.04%、37.45%が単独で36.40%が再割り当てメッセージである。
  論文  参考訳（メタデータ） (2026-09-28T09:42:01Z)
• ufakzeka-1: Building and Evaluating a 151M-Parameter Turkish Language Model from Scratch [0.0]
  ufakzeka-1 は 151M-パラメータ (182M) で、デコーダのみのトルコ語モデルで13.5B のトークンでスクラッチから事前訓練された。 1ワードあたり1.77トークンのトルコのバイトレベルのトークンライザ、3段階の事前訓練スケジュール、オープンライセンスと生成されたデータのトレーニング後の混合、リリースゲートの評価バッテリ、ルールチェックによる5,508の会話、判断された会話と手動テスト、これらはすべてトレーニングデータから保持されたプロンプトで、データビルド内とチェック--によって強制される。
  論文  参考訳（メタデータ） (2026-09-18T20:33:02Z)
• Direct Semantic Communication Between Large Language Models via Vector Translation [3.81908263930559]
  大規模言語モデル(LLM)は、メッセージをプレーントークンとして渡すことで、最も遅延したセマンティクスを破棄する。 我々は、直接意味交換を可能にする学習されたマッピングを用いて、ベクトル変換を介して潜時ブリッジを形成する。
  論文  参考訳（メタデータ） (2025-11-06T00:43:29Z)
• Think before you speak: Training Language Models With Pause Tokens [73.61375226378712]
  言語モデルは、即座に連続して一連のトークンを生成して応答を生成する。 代わりに、$(K+1)th$トークンを出力する前に、モデルに$K+10$隠れベクターを操作させるとしたらどうでしょう? 私たちは、(学習可能な)$textitpause$トークンを使って、言語モデルでトレーニングと推論を行うことで、このアイデアを運用します。
  論文  参考訳（メタデータ） (2023-10-03T17:32:41Z)
• Backpack Language Models [108.65930795825416]
  Backpacksは、強力なモデリング性能と、解釈可能性と制御のためのインターフェースを組み合わせた、新しいニューラルアーキテクチャである。 学習のあと、感覚ベクトルが特殊化され、それぞれが単語の異なる側面を符号化することがわかった。 本稿では,感覚ベクトルに介入し,制御可能なテキスト生成とデバイアスを行うシンプルなアルゴリズムを提案する。
  論文  参考訳（メタデータ） (2023-05-26T09:26:23Z)
• Segatron: Segment-Aware Transformer for Language Modeling and Understanding [79.84562707201323]
  本稿では,セグメンテーション対応トランスフォーマー(Segatron)を提案する。 本稿ではまず,Transformerベースの言語モデルであるTransformer-XLにセグメント認識機構を導入する。 WikiText-103データセット上で17.1パープレキシティを実現することにより,Transformer-XLベースモデルと大規模モデルをさらに改善できることがわかった。
  論文  参考訳（メタデータ） (2020-04-30T17:38:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。