論文の概要: An Information-theoretic Approach to Distribution Shifts
- arxiv url: http://arxiv.org/abs/2106.03783v1
- Date: Mon, 7 Jun 2021 16:44:21 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-08 22:31:38.026943
- Title: An Information-theoretic Approach to Distribution Shifts
- Title（参考訳）: 分布シフトに対する情報理論的アプローチ
- Authors: Marco Federici, Ryota Tomioka, Patrick Forr\'e
- Abstract要約: 機械学習モデルを現実世界に安全にデプロイすることは、しばしば難しいプロセスである。
特定の地理的位置から得られたデータで訓練されたモデルは、他の場所で得られたデータでクエリされたときに失敗する傾向がある。
集団のサブセットに適合するニューラルネットワークは 選択バイアスを 与えるかもしれない
- 参考スコア（独自算出の注目度）: 9.475039534437332
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Safely deploying machine learning models to the real world is often a
challenging process. Models trained with data obtained from a specific
geographic location tend to fail when queried with data obtained elsewhere,
agents trained in a simulation can struggle to adapt when deployed in the real
world or novel environments, and neural networks that are fit to a subset of
the population might carry some selection bias into their decision process. In
this work, we describe the problem of data shift from a novel
information-theoretic perspective by (i) identifying and describing the
different sources of error, (ii) comparing some of the most promising
objectives explored in the recent domain generalization, and fair
classification literature. From our theoretical analysis and empirical
evaluation, we conclude that the model selection procedure needs to be guided
by careful considerations regarding the observed data, the factors used for
correction, and the structure of the data-generating process.
- Abstract（参考訳）: 機械学習モデルを現実世界に安全にデプロイすることは、しばしば難しいプロセスである。
特定の地理的位置から得られたデータでトレーニングされたモデルは、別の場所で得られたデータでクエリされたときに失敗する傾向があり、シミュレーションでトレーニングされたエージェントは、現実世界や新しい環境にデプロイされた時に適応するのに苦労する。
本稿では,新しい情報理論的な視点からデータシフトの問題を, (i) 異なるエラー源を特定し, 記述すること, (ii) 最近のドメイン一般化で探究された最も有望な目標と, 公平な分類文献とを比較して述べる。
理論的解析と経験的評価から, モデル選択手順は, 観測データ, 補正に使用される要因, およびデータ生成過程の構造について, 慎重に検討する必要があると結論づける。
関連論文リスト
- Supervised Algorithmic Fairness in Distribution Shifts: A Survey [17.826312801085052]
現実世界のアプリケーションでは、機械学習モデルは特定のデータセットでトレーニングされることが多いが、データ分散がシフトする可能性のある環境にデプロイされる。
この変化は、人種や性別などのセンシティブな属性によって特徴づけられる特定のグループに不公平な予測をもたらす可能性がある。
論文 参考訳（メタデータ） (2024-02-02T11:26:18Z) - Federated Learning with Projected Trajectory Regularization [65.6266768678291]
フェデレーション学習は、ローカルデータを共有せずに、分散クライアントから機械学習モデルの共同トレーニングを可能にする。
連合学習における重要な課題の1つは、クライアントにまたがる識別できない分散データを扱うことである。
本稿では,データ問題に対処するための予測軌道正則化(FedPTR)を備えた新しいフェデレーション学習フレームワークを提案する。
論文 参考訳（メタデータ） (2023-12-22T02:12:08Z) - Variational $f$-Divergence and Derangements for Discriminative Mutual
Information Estimation [4.114444605090134]
本稿では,$f$-divergenceの変動表現に基づく識別的相互情報推定手法を提案する。
参照シナリオの実験により、我々の手法は精度と複雑さの両方で最先端の神経推定器より優れていることが示された。
論文 参考訳（メタデータ） (2023-05-31T16:54:25Z) - Improving Heterogeneous Model Reuse by Density Estimation [105.97036205113258]
本稿では,異なる参加者の個人データを用いてモデルを学習することを目的とした多人数学習について検討する。
モデルの再利用は、各パーティーのためにローカルモデルがトレーニングされていると仮定して、マルチパーティの学習にとって有望なソリューションである。
論文 参考訳（メタデータ） (2023-05-23T09:46:54Z) - Identifying the Context Shift between Test Benchmarks and Production
Data [1.2259552039796024]
データセットベンチマークにおける機械学習モデルの精度と実運用データの間には、パフォーマンスのギャップがある。
分布変化とモデル予測誤差につながる文脈変化を同定する2つの手法を概説する。
本研究は,機械学習モデルに基づく暗黙の仮定を強調するケーススタディを2つ提示する。
論文 参考訳（メタデータ） (2022-07-03T14:54:54Z) - DRFLM: Distributionally Robust Federated Learning with Inter-client
Noise via Local Mixup [58.894901088797376]
連合学習は、生データをリークすることなく、複数の組織のデータを使用してグローバルモデルをトレーニングするための有望なアプローチとして登場した。
上記の2つの課題を同時に解決するための一般的な枠組みを提案する。
我々は、ロバストネス解析、収束解析、一般化能力を含む包括的理論的解析を提供する。
論文 参考訳（メタデータ） (2022-04-16T08:08:29Z) - Selecting the suitable resampling strategy for imbalanced data
classification regarding dataset properties [62.997667081978825]
医学、情報検索、サイバーセキュリティ、ソーシャルメディアなどの多くのアプリケーションドメインでは、分類モデルの導入に使用されるデータセットは、各クラスのインスタンスの不平等な分布を持つことが多い。
この状況は不均衡データ分類と呼ばれ、少数民族の例では予測性能が低い。
オーバーサンプリングとアンダーサンプリングの技術は、各クラスの例の数とバランスをとることでこの問題に対処する、よく知られた戦略である。
論文 参考訳（メタデータ） (2021-12-15T18:56:39Z) - Learning Neural Models for Natural Language Processing in the Face of
Distributional Shift [10.990447273771592]
特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。
データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。
この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。
データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
論文 参考訳（メタデータ） (2021-09-03T14:29:20Z) - Learning Bias-Invariant Representation by Cross-Sample Mutual
Information Minimization [77.8735802150511]
対象タスクが誤用したバイアス情報を除去するために,クロスサンプル対逆脱バイアス法(CSAD)を提案する。
相関測定は, 対向的偏り評価において重要な役割を担い, クロスサンプル型相互情報推定器によって行われる。
我々は,提案手法の最先端手法に対する利点を検証するために,公開データセットの徹底的な実験を行った。
論文 参考訳（メタデータ） (2021-08-11T21:17:02Z) - Information-theoretic Evolution of Model Agnostic Global Explanations [10.921146104622972]
本論文では,数値・分類データに基づく分類モデルの挙動をグローバルに説明するためのルールを導出する新しいモデル非依存アプローチを提案する。
当社のアプローチは、主要なデジタルマーケティングスイートに展開されています。
論文 参考訳（メタデータ） (2021-05-14T16:52:16Z) - Dynamic Federated Learning [57.14673504239551]
フェデレートラーニング(Federated Learning)は、マルチエージェント環境における集中的なコーディネーション戦略の包括的用語として登場した。
我々は、各イテレーションにおいて、利用可能なエージェントのランダムなサブセットがそのデータに基づいてローカル更新を実行する、フェデレートされた学習モデルを考える。
集約最適化問題に対する真の最小化器上の非定常ランダムウォークモデルの下で、アーキテクチャの性能は、各エージェントにおけるデータ変動率、各エージェントにおけるモデル変動率、アルゴリズムの学習率に逆比例する追跡項の3つの要因によって決定されることを示す。
論文 参考訳（メタデータ） (2020-02-20T15:00:54Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。