論文の概要: Characterizing Linear Alignment Across Language Models

• arxiv url: http://arxiv.org/abs/2603.18908v3
• Date: Thu, 26 Mar 2026 15:17:05 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-27 18:28:14.958456
• Title: Characterizing Linear Alignment Across Language Models
• Title（参考訳）: 言語モデル間の線形アライメントの特徴付け
• Authors: Matt Gorbett, Suman Jana,
• Abstract要約: 言語モデルは、トレーニングの目的、アーキテクチャ、データモダリティの違いにもかかわらず、同様の表現を学ぶ傾向にある。 この機能は,セキュリティやプライバシ,競争上の制約によって直接的なデータやモデル共有が禁止されるような,新たな潜在的なアプリケーションドメインを解放するものだ。
• 参考スコア（独自算出の注目度）: 10.66607150500579
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models increasingly appear to learn similar representations, despite differences in training objectives, architectures, and data modalities. This emerging compatibility between independently trained models introduces new opportunities for cross-model alignment to downstream objectives. Moreover, this capability unlocks new potential application domains, such as settings where security, privacy, or competitive constraints prohibit direct data or model sharing. In this work, we investigate the extent to which representational convergence enables practical linear alignment between large language models. Specifically, we learn affine transformations between the final hidden states of independent models and empirically evaluate these mappings across text generation, embedding classification, and out-of-distribution detection. We find that performance is largely preserved across model pairs, and show for the first time that linear alignment sometimes enables text generation across independently trained models. We further highlight a potential application of linear alignment for privacy-preserving cross-silo inference. The framework learns an affine transformation over a shared public dataset and uses homomorphic encryption to protect client queries. By encrypting only the linear classification operation, the method achieves sub-second inference latency.
• Abstract（参考訳）: 言語モデルは、トレーニングの目的、アーキテクチャ、データモダリティの違いにもかかわらず、同様の表現を学ぶ傾向にある。 独立に訓練されたモデル間のこの新たな互換性は、下流の目的に対して、クロスモデルアライメントの新たな機会をもたらす。 さらにこの機能は,セキュリティやプライバシ,競争上の制約によって直接的なデータやモデル共有が禁止されるような,新たな潜在的なアプリケーションドメインをアンロックする。 本研究では,表現収束が大規模言語モデル間の実用的な線形アライメントを可能にする範囲について検討する。 具体的には、独立モデルの最終的な隠れ状態間のアフィン変換を学習し、テキスト生成、埋め込み分類、アウト・オブ・ディストリビューション検出を経験的に評価する。 性能はモデルペア間で大きく保たれており、線形アライメントが初めて、独立に訓練されたモデル間でテキスト生成を可能にすることを示す。 さらに,プライバシ保存型クロスサイロ推論における線形アライメントの適用の可能性を強調した。 このフレームワークは共有公開データセット上のアフィン変換を学習し、同型暗号化を使用してクライアントクエリを保護する。 線形分類操作のみを暗号化することにより、サブ秒間推論遅延を実現する。

関連論文リスト

• Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction [57.19302613163439]
  モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。 本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。 残る技術的課題や倫理的考察も分析する。
  論文  参考訳（メタデータ） (2025-06-05T05:42:27Z)
• FedSA: A Unified Representation Learning via Semantic Anchors for Prototype-based Federated Learning [4.244188591221394]
  本稿では,FedSA(Federated Learning via Semantic Anchors)という新しいフレームワークを提案する。 FedSAは、様々な分類タスクにおいて、既存のプロトタイプベースのFLメソッドを著しく上回っている。
  論文  参考訳（メタデータ） (2025-01-09T16:10:03Z)
• Learning to Generate Training Datasets for Robust Semantic Segmentation [37.9308918593436]
  セマンティックセグメンテーション手法の堅牢性を改善するための新しい手法を提案する。 我々は,現実的で可視な摂動画像を生成するために,新しい条件付き生成対向ネットワークであるRobustaを設計した。 我々の結果は、このアプローチが安全クリティカルなアプリケーションに有用である可能性を示唆している。
  論文  参考訳（メタデータ） (2023-08-01T10:02:26Z)
• Client-specific Property Inference against Secure Aggregation in Federated Learning [52.8564467292226]
  フェデレートラーニングは、さまざまな参加者の間で共通のモデルを協調的に訓練するための、広く使われているパラダイムとなっている。 多くの攻撃は、メンバーシップ、資産、または参加者データの完全な再構築のような機密情報を推測することは依然として可能であることを示した。 単純な線形モデルでは、集約されたモデル更新からクライアント固有のプロパティを効果的にキャプチャできることが示される。
  論文  参考訳（メタデータ） (2023-03-07T14:11:01Z)
• Switchable Representation Learning Framework with Self-compatibility [50.48336074436792]
  自己整合性(SFSC)を考慮した交換可能な表現学習フレームワークを提案する。 SFSCは1つのトレーニングプロセスを通じて、異なる能力を持つ一連の互換性のあるサブモデルを生成する。 SFSCは評価データセット上で最先端のパフォーマンスを達成する。
  論文  参考訳（メタデータ） (2022-06-16T16:46:32Z)
• Federated Self-Supervised Contrastive Learning via Ensemble Similarity Distillation [42.05438626702343]
  本稿では,未ラベルのクライアントデータによる良好な表現空間の学習の実現可能性について検討する。 本稿では,アーキテクチャに依存しないローカルトレーニングとコミュニケーション効率のよいグローバルアグリゲーションをサポートする,自己指導型コントラスト学習フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-09-29T02:13:22Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。