論文の概要: Osmotic Learning: A Self-Supervised Paradigm for Decentralized Contextual Data Representation
- arxiv url: http://arxiv.org/abs/2512.23096v1
- Date: Sun, 28 Dec 2025 22:25:16 GMT
- ステータス: 翻訳完了
- システム内更新日: 2025-12-30 22:37:30.360845
- Title: Osmotic Learning: A Self-Supervised Paradigm for Decentralized Contextual Data Representation
- Title(参考訳): Osmotic Learning: 分散コンテキストデータ表現のための自己監督型パラダイム
- Authors: Mario Colosi, Reza Farahani, Maria Fazio, Radu Prodan, Massimo Villari,
- Abstract要約: 本稿では,分散データから高レベルの潜伏知識を明らかにするために,自己教師型分散学習パラダイムであるOSM-Lを紹介する。
OSM-Lは局所データ表現を反復的に整列し、情報拡散と収束を可能にする。
実験により,OSM-Lのコンバージェンスと表現能力を構造化データセット上で確認した。
- 参考スコア(独自算出の注目度): 1.5329374712396715
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Data within a specific context gains deeper significance beyond its isolated interpretation. In distributed systems, interdependent data sources reveal hidden relationships and latent structures, representing valuable information for many applications. This paper introduces Osmotic Learning (OSM-L), a self-supervised distributed learning paradigm designed to uncover higher-level latent knowledge from distributed data. The core of OSM-L is osmosis, a process that synthesizes dense and compact representation by extracting contextual information, eliminating the need for raw data exchange between distributed entities. OSM-L iteratively aligns local data representations, enabling information diffusion and convergence into a dynamic equilibrium that captures contextual patterns. During training, it also identifies correlated data groups, functioning as a decentralized clustering mechanism. Experimental results confirm OSM-L's convergence and representation capabilities on structured datasets, achieving over 0.99 accuracy in local information alignment while preserving contextual integrity.
- Abstract(参考訳): 特定のコンテキスト内のデータは、その独立した解釈以上の深い意味を持つ。
分散システムにおいて、相互依存データソースは隠れた関係と潜伏構造を明らかにし、多くのアプリケーションにとって価値のある情報を表す。
本稿では,分散データから高レベルの潜伏知識を明らかにするために,自己教師型分散学習パラダイムであるOsmotic Learning(OSM-L)を紹介する。
OSM-Lの中核は浸透症(osmosis)であり、コンテキスト情報を抽出することで密度が高くコンパクトな表現を合成し、分散エンティティ間の生データ交換を不要にするプロセスである。
OSM-Lは、局所的なデータ表現を反復的に整列し、情報拡散と収束を動的平衡にし、コンテキストパターンをキャプチャする。
また、トレーニング中に相関データグループを特定し、分散クラスタリングメカニズムとして機能する。
実験により、OSM-Lの構造化データセットへの収束と表現能力を確認し、コンテキスト整合性を維持しながら、局所的な情報アライメントにおいて0.99以上の精度を達成する。
関連論文リスト
- Federated Attention: A Distributed Paradigm for Collaborative LLM Inference over Edge Networks [63.541114376141735]
大規模言語モデル(LLM)は、さまざまなアプリケーションシナリオにまたがってインテリジェントな機能を提供しながら、急速に普及しています。
しかし、彼らの共同シナリオにおける実践的なデプロイは、プライバシの脆弱性、通信オーバーヘッド、計算ボトルネックといった根本的な課題に直面します。
我々はフェデレート・アテンション(FedAttn)を提案し、フェデレーション・パラダイムを自己注意機構に統合する。
論文 参考訳(メタデータ) (2025-11-04T15:14:58Z) - Harmonizing Generalization and Personalization in Ring-topology Decentralized Federated Learning [41.4210010333948]
本稿では,分散モデルトレーニングのためのリングトポロジ分散フェデレート学習(RDFL)について紹介する。
RDFLは、固有のデータ不均一性を扱う場合、ポイントツーポイント通信方式により、情報の共有効率が低いという課題に直面している。
本稿では、特徴生成モデルを用いて、基礎となるデータ分布からパーソナライズされた情報と不変な共有知識を抽出するDivide-and-conquer RDFLフレームワーク(DRDFL)を提案する。
論文 参考訳(メタデータ) (2025-04-27T04:38:49Z) - Efficient Distribution Matching of Representations via Noise-Injected Deep InfoMax [73.03684002513218]
我々はDeep InfoMax(DIM)を拡張し、学習した表現を選択された事前分布に自動マッチングできるようにする。
このような修正により、一様かつ通常に分散した表現を学習できることを示す。
その結果,下流作業における性能とDMの品質の中間的なトレードオフが示唆された。
論文 参考訳(メタデータ) (2024-10-09T15:40:04Z) - Federated Clustering: An Unsupervised Cluster-Wise Training for Decentralized Data Distributions [1.6385815610837167]
Federated Cluster-Wise Refinement(FedCRef)には、同様のデータ分散を備えたクラスタ上でモデルを協調的にトレーニングするクライアントが含まれている。
これらのグループでは、クライアントは、各データ分布を表す共有モデルを共同でトレーニングし、データの関連性を高めるために、ローカルクラスタを継続的に精錬する。
この反復的処理により,ネットワーク全体にわたる潜在的なデータ分布を同定し,それぞれにロバストな表現モデルを構築することができる。
論文 参考訳(メタデータ) (2024-08-20T09:05:44Z) - Comparing the information content of probabilistic representation spaces [3.7277730514654555]
確率的表現空間はデータセットに関する情報を伝達し、トレーニングデータ、ネットワークアーキテクチャ、損失関数などの要因によって形成される。
一般確率表現空間を比較するための2つの情報理論尺度を提案する。
3つのケーススタディでこれらの尺度の有用性を実証する。
論文 参考訳(メタデータ) (2024-05-31T17:33:07Z) - Tackling Computational Heterogeneity in FL: A Few Theoretical Insights [68.8204255655161]
我々は、計算異種データの形式化と処理を可能にする新しい集約フレームワークを導入し、分析する。
提案するアグリゲーションアルゴリズムは理論的および実験的予測から広範囲に解析される。
論文 参考訳(メタデータ) (2023-07-12T16:28:21Z) - Learning Bias-Invariant Representation by Cross-Sample Mutual
Information Minimization [77.8735802150511]
対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。
相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。
我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
論文 参考訳(メタデータ) (2021-08-11T21:17:02Z) - Input-Output Balanced Framework for Long-tailed LiDAR Semantic
Segmentation [12.639524717464509]
本稿では,ロングテール分布の問題を扱うための入出力バランスフレームワークを提案する。
入力空間に対して、メッシュモデルからこれらのテールインスタンスを合成し、LiDARスキャンの位置と密度分布をうまくシミュレートする。
出力空間に対して, 形状と実例量に基づいて, 異なるカテゴリをグループ化するマルチヘッドブロックを提案する。
論文 参考訳(メタデータ) (2021-03-26T05:42:11Z) - Deep Fusion Clustering Network [38.540761683389135]
深層クラスタリングのための深層フュージョンクラスタリングネットワーク(DFCN)を提案する。
本ネットワークでは,オートエンコーダとグラフオートエンコーダが学習した表現を明示的にマージするために,相互依存学習に基づく構造化と属性情報融合(SAIF)モジュールを提案する。
6つのベンチマークデータセットの実験により、提案されたDFCNは最先端のディープクラスタリング手法よりも一貫して優れていることが示された。
論文 参考訳(メタデータ) (2020-12-15T09:37:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。