論文の概要: A Typed Tensor Language for Federated Learning
- arxiv url: http://arxiv.org/abs/2605.21103v1
- Date: Wed, 20 May 2026 12:34:24 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-05-21 19:19:56.669163
- Title: A Typed Tensor Language for Federated Learning
- Title（参考訳）: フェデレーション学習のための型付きテンソル言語
- Authors: Theofilos Mailis, Kalliopi-Christina Despotidou, Konstantinos Filippopolitis, Yannis Foufoulas, Thanasis-Michail Karampatsis, Andreas Ktenidis, Evdokia Mailli, Theodore Papamarkou, Yannis Ioannidis,
- Abstract要約: フェデレートされた学習と分析は、しばしば別々のプロトコルのコレクションとして記述される。
この構造を形式化する型テンソル言語を導入する。
入力された1ラウンドのプログラムは、固定次元の共有状態を通る。
- 参考スコア（独自算出の注目度）: 2.610995135337185
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Federated learning and analytics are often described as collections of separate protocols, even when they share the same mathematical form: client-local tensor computation, mergeable aggregation into shared state, and shared-only post-processing. We introduce a typed tensor language that formalizes this structure. The language distinguishes federated tensors, whose records are partitioned across clients along a tracked record axis, from shared tensors, which are available globally. Its semantics are defined by comparison with a virtual global tensor, used only as a reference object. The main result is a shared-state factorization theory. We show that typed one-round programs factor through fixed-dimensional shared state whose size is independent of the number of clients and records, computed from client-local tensor expressions and merged across clients. We also prove a converse representability result; factorizations whose encoders and decoders are expressible in the language are realized by typed one-round programs, and the correspondence extends to iterative programs whose cross-round state is shared. This gives a formal account of the computations in the language that can be expressed as encode, merge, and decode procedures. We then develop a differentiable fragment for learning. If a per-record loss and its per-record gradient are represented by client-local tensor expressions, the global gradient is represented by record-axis summation of the federated gradient tensor. This yields typed iterative programs for server-side gradient descent and shared-linear-algebra second-order updates. The framework characterizes a broad class of federated learning computations whose communication passes through fixed-dimensional shared state.
- Abstract（参考訳）: フェデレートされた学習と分析は、クライアントローカルなテンソル計算、共有状態へのマージ可能な集約、共有専用の後処理など、同じ数学的形式を共有した場合でも、しばしば別々のプロトコルの集合として記述される。
この構造を形式化する型テンソル言語を導入する。
この言語は、記録が追跡されたレコード軸に沿ってクライアント間で分割されるフェデレーションテンソルと、グローバルに利用可能な共有テンソルとを区別する。
その意味論は、参照オブジェクトとしてのみ使用される仮想グローバルテンソルとの比較によって定義される。
主な結果は共有状態分解理論である。
入力されたワンラウンドプログラムは、クライアントとレコードの個数に依存せず、クライアントローカルなテンソル式から計算され、クライアント間でマージされる固定次元共有状態を介して要素となることを示す。
また,言語内においてエンコーダとデコーダが表現可能な因子化を,型付きワンラウンドプログラムによって実現し,その対応性は,クロスラウンド状態が共有される反復プログラムにまで拡張する。
これは、エンコード、マージ、デコードプロシージャとして表現できる言語での計算の正式な説明を与える。
次に、学習のための差別化可能な断片を開発します。
記録毎の損失とその記録毎の勾配をクライアント局所テンソル式で表すと、大域勾配は連合勾配テンソルのレコード軸和で表される。
これにより、サーバサイドの勾配降下と共有線形代数の2次更新のための型付き反復プログラムが得られる。
このフレームワークは、コミュニケーションが固定次元共有状態を通過する、幅広い種類の連合学習計算を特徴付ける。
関連論文リスト
- Robust Scene Coordinate Regression via Geometrically-Consistent Global Descriptors [52.57327385675752]
幾何学的構造と視覚的類似性の両方に整合したグローバルな記述子を学習するアグリゲータモジュールを提案する。
これにより、信頼できないオーバーラップスコアによる誤関連が修正される。
挑戦的なベンチマークの実験では、大規模環境ではかなりのローカライゼーションが得られた。
論文 参考訳（メタデータ） (2025-12-19T04:24:03Z) - mCL-NER: Cross-Lingual Named Entity Recognition via Multi-view
Contrastive Learning [54.523172171533645]
CrossNERは多言語コーパスの不足により不均一な性能から生じる課題に直面している。
言語横断的名前付きエンティティ認識(mCL-NER)のためのマルチビューコントラスト学習を提案する。
40言語にまたがるXTREMEベンチマーク実験では、従来のデータ駆動型およびモデルベースアプローチよりもmCL-NERの方が優れていることを示した。
論文 参考訳（メタデータ） (2023-08-17T16:02:29Z) - Navigating Alignment for Non-identical Client Class Sets: A Label
Name-Anchored Federated Learning Framework [26.902679793955972]
FedAlignはラベルとデータの観点からクライアント間の遅延スペースを調整する新しいフレームワークである。
ラベルの観点からは、表現力のある自然言語クラス名をラベルエンコーダの共通基盤として活用し、クラス表現をアンカーする。
データの観点からは、グローバルクラス表現をアンカーとみなし、局所的に知らないクラスのアンカーに十分近い、あるいは遠くにあるデータポイントを活用して、クライアント間でデータエンコーダを整列させる。
論文 参考訳（メタデータ） (2023-01-01T23:17:30Z) - Scalable Collaborative Learning via Representation Sharing [53.047460465980144]
フェデレートラーニング(FL)とスプリットラーニング(SL)は、データを(デバイス上で)プライベートにしながら協調学習を可能にする2つのフレームワークである。
FLでは、各データ保持者がモデルをローカルにトレーニングし、集約のために中央サーバにリリースする。
SLでは、クライアントは個々のカット層アクティベーション(スマッシュされたデータ)をサーバにリリースし、そのレスポンス(推論とバックの伝搬の両方)を待つ必要があります。
本研究では, クライアントがオンライン知識蒸留を通じて, 対照的な損失を生かして協調する, プライバシ保護機械学習の新しいアプローチを提案する。
論文 参考訳（メタデータ） (2022-11-20T10:49:22Z) - Federated Learning with Intermediate Representation Regularization [14.01585596739954]
フェデレートラーニング(FL)は、リモートクライアントがプライベートデータを公開せずに、協力的にモデルをトレーニングすることを可能にする。
従来の研究では、局所モデルと大域モデルによって学習された表現間の距離を規則化することでこれを達成している。
我々はFedIntRを導入し、中間層の表現を局所的なトレーニングプロセスに統合することで、よりきめ細かい正規化を提供する。
論文 参考訳（メタデータ） (2022-10-28T01:43:55Z) - Branchformer: Parallel MLP-Attention Architectures to Capture Local and
Global Context for Speech Recognition and Understanding [41.928263518867816]
コンフォーマーは多くの音声処理タスクに有効であることが証明されている。
そこで我々は,より柔軟で解釈可能でカスタマイズ可能なエンコーダであるブランチフォーマーを提案する。
論文 参考訳（メタデータ） (2022-07-06T21:08:10Z) - Generalized Funnelling: Ensemble Learning and Heterogeneous Document
Embeddings for Cross-Lingual Text Classification [78.83284164605473]
emphFunnelling (Fun)は、最近提案された言語間テキスト分類手法である。
Emph Generalized Funnelling (gFun) はFunの一般化である。
gFunは、Funや最先端のベースラインよりも大幅に改善されていることを示す。
論文 参考訳（メタデータ） (2021-09-17T23:33:04Z) - NodePiece: Compositional and Parameter-Efficient Representations of
Large Knowledge Graphs [15.289356276538662]
固定サイズのエンティティ語彙を学習するためのアンカーベースのアプローチであるNodePieceを提案する。
NodePieceでは、サブワード/サブエンティティユニットの語彙は、既知の関係型を持つグラフのアンカーノードから構築される。
実験の結果、NodePieceはノード分類、リンク予測、関係予測タスクで競合的に動作していることがわかった。
論文 参考訳（メタデータ） (2021-06-23T03:51:03Z) - Graph Sampling Based Deep Metric Learning for Generalizable Person
Re-Identification [114.56752624945142]
我々は、最も一般的なランダムサンプリング手法である有名なpkサンプリングは、深層メトリック学習にとって有益で効率的ではないと主張する。
大規模計量学習のためのグラフサンプリング(GS)と呼ばれる効率的なミニバッチサンプリング手法を提案する。
論文 参考訳（メタデータ） (2021-04-04T06:44:15Z) - Text Information Aggregation with Centrality Attention [86.91922440508576]
本稿では, 固有中央集権自己注意という, 集権重み付けの新たな方法を提案する。
文中のすべての単語に対する完全連結グラフを構築し,各単語の注意点として固有中央性を計算する。
論文 参考訳（メタデータ） (2020-11-16T13:08:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。