論文の概要: Dynamics of Learning under User Choice: Overspecialization and Peer-Model Probing
- arxiv url: http://arxiv.org/abs/2602.23565v1
- Date: Fri, 27 Feb 2026 00:21:36 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-02 19:48:24.177497
- Title: Dynamics of Learning under User Choice: Overspecialization and Peer-Model Probing
- Title(参考訳): ユーザ選択による学習のダイナミクス--過剰特殊化とピアモデル探索
- Authors: Adhyyan Narang, Sarah Dean, Lillian J Ratliff, Maryam Fazel,
- Abstract要約: 本研究では、学習者がピアモデルの予測を「証明」し、選択しないユーザについて学習できるようにするアルゴリズムを提案する。
この手順は、ほぼ確実に、有界な全人口リスクを持つ定常点に収束する。
我々は、MovieLens、Census、およびAmazon Sentimentデータセットで半合成実験を行い、この結果を検証する。
- 参考スコア(独自算出の注目度): 28.675614560503707
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In many economically relevant contexts where machine learning is deployed, multiple platforms obtain data from the same pool of users, each of whom selects the platform that best serves them. Prior work in this setting focuses exclusively on the "local" losses of learners on the distribution of data that they observe. We find that there exist instances where learners who use existing algorithms almost surely converge to models with arbitrarily poor global performance, even when models with low full-population loss exist. This happens through a feedback-induced mechanism, which we call the overspecialization trap: as learners optimize for users who already prefer them, they become less attractive to users outside this base, which further restricts the data they observe. Inspired by the recent use of knowledge distillation in modern ML, we propose an algorithm that allows learners to "probe" the predictions of peer models, enabling them to learn about users who do not select them. Our analysis characterizes when probing succeeds: this procedure converges almost surely to a stationary point with bounded full-population risk when probing sources are sufficiently informative, e.g., a known market leader or a majority of peers with good global performance. We verify our findings with semi-synthetic experiments on the MovieLens, Census, and Amazon Sentiment datasets.
- Abstract(参考訳): 機械学習がデプロイされる、経済的に関連した多くのコンテキストにおいて、複数のプラットフォームは、同じユーザのプールからデータを取得します。
このセッティングにおける以前の研究は、学習者が観察するデータの「ローカル」な損失にのみ焦点をあてていた。
また,全人口減少率の低いモデルであっても,既存のアルゴリズムを学習者がほぼ確実にグローバル性能の低いモデルに収束する例が存在することがわかった。
これはフィードバックによって引き起こされるメカニズムを通じて発生し、私たちは過剰特殊化トラップ(overspecialization trap)と呼んでいる。
近年のMLにおける知識蒸留の活用に触発されて,学習者がピアモデルの予測を「証明」し,選択しないユーザについて学習できるアルゴリズムを提案する。
本手法は,調査ソースが十分に情報化されている場合,例えば,既知の市場リーダ,あるいはグローバルパフォーマンスのよい大多数のピアなどにおいて,ほぼ確実に定点に収束する。
我々は、MovieLens、Census、およびAmazon Sentimentデータセットで半合成実験を行い、この結果を検証する。
関連論文リスト
- Heterogeneity-Aware Client Selection Methodology For Efficient Federated Learning [2.154836869144035]
フェデレートラーニング(FL)は、複数のクライアントが機密データを共有することなく、グローバル機械学習(ML)モデルを協調的にトレーニングする分散クライアントサーバアーキテクチャを実現する。
FLは、クライアント間の統計的不均一性により、従来のMLアルゴリズムよりも精度が低いことが多い。
我々は、勾配更新と決定論的選択アルゴリズムを使用して、再トレーニングのための異種クライアントを選択する新しいクライアント選択手法であるTerraformを紹介する。
論文 参考訳(メタデータ) (2026-02-24T01:19:10Z) - Boosting Federated Learning with FedEntOpt: Mitigating Label Skew by Entropy-Based Client Selection [13.851391819710367]
ディープラーニングドメインは通常、最適なパフォーマンスのために大量のデータを必要とします。
FedEntOptは、ラベル配布スキューによるパフォーマンスの問題を軽減するように設計されている。
低い参加率とクライアントのドロップアウトのシナリオでは、堅牢で優れたパフォーマンスを示す。
論文 参考訳(メタデータ) (2024-11-02T13:31:36Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳(メタデータ) (2023-12-22T02:12:08Z) - Federated Skewed Label Learning with Logits Fusion [23.062650578266837]
フェデレートラーニング(FL)は、ローカルデータを送信することなく、複数のクライアント間で共有モデルを協調的にトレーニングすることを目的としている。
本稿では,ロジットの校正により局所モデル間の最適化バイアスを補正するFedBalanceを提案する。
提案手法は最先端手法に比べて平均精度が13%高い。
論文 参考訳(メタデータ) (2023-11-14T14:37:33Z) - Federated Learning on Non-iid Data via Local and Global Distillation [25.397058380098816]
我々は,FedND:Federated Learning with noise distillationを提案する。
クライアントでは,局所モデルを学習するための自己蒸留法を提案する。
サーバでは、各クライアントに対してノイズの多いサンプルを生成し、それを他のクライアントを蒸留するために使用します。
実験結果から,このアルゴリズムは最先端の手法よりも通信効率がよいことがわかった。
論文 参考訳(メタデータ) (2023-06-26T06:14:01Z) - ASPEST: Bridging the Gap Between Active Learning and Selective
Prediction [56.001808843574395]
選択予測は、不確実な場合の予測を棄却する信頼性のあるモデルを学ぶことを目的としている。
アクティブラーニングは、最も有意義な例を問うことで、ラベリングの全体、すなわち人間の依存度を下げることを目的としている。
本研究では,移動対象領域からより情報のあるサンプルを検索することを目的とした,新たな学習パラダイムである能動的選択予測を導入する。
論文 参考訳(メタデータ) (2023-04-07T23:51:07Z) - Non-Invasive Fairness in Learning through the Lens of Data Drift [88.37640805363317]
データや学習アルゴリズムを変更することなく、機械学習モデルの公平性を向上する方法を示す。
異なる集団間の傾向のばらつきと、学習モデルと少数民族間の連続的な傾向は、データドリフトと類似している。
このドリフトを解決するための2つの戦略(モデル分割とリウィーディング)を探索し、基礎となるデータに対するモデル全体の適合性を改善することを目的としている。
論文 参考訳(メタデータ) (2023-03-30T17:30:42Z) - DYNAFED: Tackling Client Data Heterogeneity with Global Dynamics [60.60173139258481]
非イド分散データに対する局所訓練は、偏向局所最適化をもたらす。
自然な解決策は、サーバがデータ分散全体のグローバルなビューを持つように、すべてのクライアントデータをサーバに収集することです。
本稿では,データプライバシを損なうことなく,サーバ上でのグローバルな知識の収集と活用を図る。
論文 参考訳(メタデータ) (2022-11-20T06:13:06Z) - Synthetic Model Combination: An Instance-wise Approach to Unsupervised
Ensemble Learning [92.89846887298852]
ラベル付きデータのトレーニングセットから学ぶ機会のない、新しいテストデータに対する予測を検討する。
専門家モデルのセットと予測へのアクセスと、トレーニングに使用するデータセットに関する制限された情報を提供すること。
論文 参考訳(メタデータ) (2022-10-11T10:20:31Z) - SCEI: A Smart-Contract Driven Edge Intelligence Framework for IoT
Systems [15.796325306292134]
フェデレートラーニング(FL)は、データプライバシを維持しながら、エッジデバイス上で共有モデルの協調トレーニングを可能にする。
様々なパーソナライズされたアプローチが提案されているが、そのようなアプローチはデータ分散の根底にある変化に対処できない。
本稿では,ブロックチェーンとフェデレーション学習に基づく動的に最適化された個人深層学習手法を提案する。
論文 参考訳(メタデータ) (2021-03-12T02:57:05Z) - Analysis and Optimal Edge Assignment For Hierarchical Federated Learning
on Non-IID Data [43.32085029569374]
フェデレーション学習アルゴリズムは、ユーザのデバイスに格納された分散および多様なデータを活用して、グローバルな現象を学習することを目的としている。
参加者のデータが強く歪んだ場合(例えば、非iidの場合)、ローカルモデルはローカルデータに過剰に適合し、低パフォーマンスなグローバルモデルに繋がる。
ユーザエッジ層にFederated Gradient Descent、エッジクラウド層にFederated Averagingを実行する階層学習システムを提案する。
論文 参考訳(メタデータ) (2020-12-10T12:18:13Z) - Multi-Center Federated Learning [62.57229809407692]
本稿では,フェデレート学習のための新しい多中心集約機構を提案する。
非IIDユーザデータから複数のグローバルモデルを学び、同時にユーザとセンタ間の最適なマッチングを導出する。
ベンチマークデータセットによる実験結果から,本手法はいくつかの一般的なフェデレーション学習法より優れていることが示された。
論文 参考訳(メタデータ) (2020-05-03T09:14:31Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。