論文の概要: Secure Linear Alignment of Large Language Models

• arxiv url: http://arxiv.org/abs/2603.18908v1
• Date: Thu, 19 Mar 2026 13:43:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-20 17:19:06.1769
• Title: Secure Linear Alignment of Large Language Models
• Title（参考訳）: 大規模言語モデルのセキュア線形アライメント
• Abstract要約: 言語モデルは、トレーニングの目的、アーキテクチャ、データモダリティの違いにもかかわらず、同様の表現を学ぶ傾向にある。 本稿では、表現収束を利用してクロスサイロ推論を可能にするプライバシー保護フレームワークを提案する。 線形アライメントが、独立に訓練されたモデル間でテキスト生成を可能にすることが、初めて示された。
• 参考スコア（独自算出の注目度）: 10.66607150500579
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models increasingly appear to learn similar representations, despite differences in training objectives, architectures, and data modalities. This emerging compatibility between independently trained models introduces new opportunities for cross-model alignment to downstream objectives. Moreover, it unlocks new potential application domains, such as settings where security, privacy, or competitive constraints prohibit direct data or model sharing. In this work, we propose a privacy-preserving framework that exploits representational convergence to enable cross-silo inference between independent language models. The framework learns an affine transformation over a shared public dataset and applies homomorphic encryption to protect client queries during inference. By encrypting only the linear alignment and classification operations, the method achieves sub-second inference latency while maintaining strong security guarantees. We support this framework with an empirical investigation into representational convergence, in which we learn linear transformations between the final hidden states of independent models. We evaluate these cross-model mappings on embedding classification and out-of-distribution detection, observing minimal performance degradation across model pairs. Additionally, we show for the first time that linear alignment sometimes enables text generation across independently trained models.
• Abstract（参考訳）: 言語モデルは、トレーニングの目的、アーキテクチャ、データモダリティの違いにもかかわらず、同様の表現を学ぶ傾向にある。 独立に訓練されたモデル間のこの新たな互換性は、下流の目的に対して、クロスモデルアライメントの新たな機会をもたらす。 さらに、セキュリティやプライバシ、競争上の制約によって直接的なデータやモデル共有が禁止されるような、新たな潜在的なアプリケーションドメインもアンロックされる。 本研究では,独立言語モデル間のクロスサイロ推論を実現するために,表現収束を利用したプライバシ保護フレームワークを提案する。 このフレームワークは、共有公開データセット上のアフィン変換を学び、同型暗号化を適用して、推論中にクライアントクエリを保護する。 線形アライメントと分類操作のみを暗号化することにより、強力なセキュリティ保証を維持しながら、サブ秒間推論遅延を実現する。 我々はこの枠組みを表現収束に関する実証的研究で支持し、独立モデルの最終的な隠れ状態間の線形変換を学習する。 モデルペア間の最小性能劣化を観測し, 組込み分類と分布外検出におけるこれらのクロスモデルマッピングの評価を行った。 さらに、線形アライメントによって、独立に訓練されたモデル間でテキスト生成が可能であることも初めて示している。

関連論文リスト

• One Framework for All: Cross-Modal Membership Inference for Generative Models [16.609636193065377]
  本稿では,テキスト・トゥ・テキスト・トゥ・イメージ,画像・トゥ・テキスト・モダリティにまたがる統一型メンバシップ推論フレームワークについて,初めて包括的な研究を行った。 生成モデルの出力分布はトレーニングデータ分布を近似することができる。
  論文  参考訳（メタデータ） (2026-07-05T14:45:29Z)
• Discriminative Flow Matching Via Local Generative Predictors [0.0]
  条件付き輸送プロセスとして分類と対象検出を再構成する枠組みを提案する。 本手法では,複数の独立フロー予測器を共有バックボーンにアタッチする。 このアーキテクチャは、アクティベーションメモリを最小化するために、あるいは異なるハードウェア制約に適合するために、ブロックを順次更新する柔軟性を提供する。
  論文  参考訳（メタデータ） (2026-03-14T12:56:29Z)
• A Markov Categorical Framework for Language Modeling [9.910562011343009]
  自己回帰言語モデルは、優れたパフォーマンスを達成するが、内部メカニズム、訓練が表現をどのように形作り、複雑な振る舞いを可能にするかを説明する統一理論は、いまだ解明されていない。 本稿では,マルコフカテゴリーの言語を用いた情報処理段階の合成として,単一ステップ生成過程をモデル化する新しい分析フレームワークを提案する。 この研究は、モデルを通して情報がどのように流れ、訓練対象が内部形状をどう形成するかを理解するための強力な新しいレンズを提供する。
  論文  参考訳（メタデータ） (2025-07-25T13:14:03Z)
• Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction [57.19302613163439]
  モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。 本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。 残る技術的課題や倫理的考察も分析する。
  論文  参考訳（メタデータ） (2025-06-05T05:42:27Z)
• Self-supervised Latent Space Optimization with Nebula Variational Coding [87.20343320266215]
  本稿では,クラスタ化埋め込みに繋がる変分推論モデルを提案する。 textbfnebula anchorsと呼ばれる潜伏空間に新たな変数を導入し、トレーニング中に潜伏変数がクラスタを形成するように誘導する。 各潜在機能は最も近いアンカーでラベル付けできるため、クラスタ間の分離をより明確にするために、自己教師付き方法でメートル法学習を適用することも提案する。
  論文  参考訳（メタデータ） (2025-06-02T08:13:32Z)
• Analyze Feature Flow to Enhance Interpretation and Steering in Language Models [3.8498574327875947]
  本研究では,スパースオートエンコーダによって発見される特徴を,大規模言語モデルの連続的な層にわたって体系的にマッピングする手法を提案する。 データフリーなコサイン類似性技術を使用することで、各ステージで特定の機能が持続、変換、あるいは最初に現れるかを追跡できる。
  論文  参考訳（メタデータ） (2025-02-05T09:39:34Z)
• FedSA: A Unified Representation Learning via Semantic Anchors for Prototype-based Federated Learning [4.244188591221394]
  本稿では,FedSA(Federated Learning via Semantic Anchors)という新しいフレームワークを提案する。 FedSAは、様々な分類タスクにおいて、既存のプロトタイプベースのFLメソッドを著しく上回っている。
  論文  参考訳（メタデータ） (2025-01-09T16:10:03Z)
• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Optimizing against Infeasible Inclusions from Data for Semantic Segmentation through Morphology [58.17907376475596]
  最先端セマンティックセグメンテーションモデルは通常、データ駆動方式で最適化される。 InSeInは、手元に設定されたセグメンテーショントレーニングから空間クラス関係を規定する明示的な包含制約を抽出する。 そして、予測可能性を促進するために、トレーニング中にこれらの制約の違反を罰する形態的だが差別的な損失を強制する。
  論文  参考訳（メタデータ） (2024-08-26T22:39:08Z)
• Flow Factorized Representation Learning [109.51947536586677]
  本稿では、異なる入力変換を定義する潜在確率パスの別個のセットを規定する生成モデルを提案する。 本モデルは,ほぼ同変モデルに近づきながら,標準表現学習ベンチマークにおいて高い確率を達成することを示す。
  論文  参考訳（メタデータ） (2023-09-22T20:15:37Z)
• Learning to Generate Training Datasets for Robust Semantic Segmentation [37.9308918593436]
  セマンティックセグメンテーション手法の堅牢性を改善するための新しい手法を提案する。 我々は,現実的で可視な摂動画像を生成するために,新しい条件付き生成対向ネットワークであるRobustaを設計した。 我々の結果は、このアプローチが安全クリティカルなアプリケーションに有用である可能性を示唆している。
  論文  参考訳（メタデータ） (2023-08-01T10:02:26Z)
• Continual Vision-Language Representation Learning with Off-Diagonal Information [112.39419069447902]
  CLIPのようなマルチモーダルなコントラスト学習フレームワークは通常、トレーニングに大量の画像テキストサンプルを必要とする。 本稿では,ストリーミングデータを用いた連続CLIPトレーニングの実現可能性について論じる。
  論文  参考訳（メタデータ） (2023-05-11T08:04:46Z)
• Client-specific Property Inference against Secure Aggregation in Federated Learning [52.8564467292226]
  フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。 多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。 単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
  論文  参考訳（メタデータ） (2023-03-07T14:11:01Z)
• Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
  自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。 SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。 SFSCは評価データセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-16T16:46:32Z)
• Federated Self-Supervised Contrastive Learning via Ensemble Similarity Distillation [42.05438626702343]
  本稿では,未ラベルのクライアントデータによる良好な表現空間の学習の実現可能性について検討する。 本稿では,アーキテクチャに依存しないローカルトレーニングとコミュニケーション効率のよいグローバルアグリゲーションをサポートする,自己指導型コントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-29T02:13:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。