論文の概要: A Mathematical Model of the Hidden Feedback Loop Effect in Machine Learning Systems

• arxiv url: http://arxiv.org/abs/2405.02726v1
• Date: Sat, 4 May 2024 17:57:24 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-07 18:39:58.459481
• Title: A Mathematical Model of the Hidden Feedback Loop Effect in Machine Learning Systems
• Title（参考訳）: 機械学習システムにおける隠れフィードバックループ効果の数学的モデル
• Authors: Andrey Veprikov, Alexander Afanasiev, Anton Khritankov,
• Abstract要約: 意図しない隠れフィードバックループに起因するいくつかの現象を共同で記述するために,繰り返し学習プロセスを導入する。 このような繰り返し学習設定の特徴は、環境の状態が時間とともに学習者自身に因果的に依存することである。 本稿では,繰り返し学習過程の力学系モデルを提案し,正および負のフィードバックループモードに対する確率分布の制限セットを証明した。
• 参考スコア（独自算出の注目度）: 44.99833362998488
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Widespread deployment of societal-scale machine learning systems necessitates a thorough understanding of the resulting long-term effects these systems have on their environment, including loss of trustworthiness, bias amplification, and violation of AI safety requirements. We introduce a repeated learning process to jointly describe several phenomena attributed to unintended hidden feedback loops, such as error amplification, induced concept drift, echo chambers and others. The process comprises the entire cycle of obtaining the data, training the predictive model, and delivering predictions to end-users within a single mathematical model. A distinctive feature of such repeated learning setting is that the state of the environment becomes causally dependent on the learner itself over time, thus violating the usual assumptions about the data distribution. We present a novel dynamical systems model of the repeated learning process and prove the limiting set of probability distributions for positive and negative feedback loop modes of the system operation. We conduct a series of computational experiments using an exemplary supervised learning problem on two synthetic data sets. The results of the experiments correspond to the theoretical predictions derived from the dynamical model. Our results demonstrate the feasibility of the proposed approach for studying the repeated learning processes in machine learning systems and open a range of opportunities for further research in the area.
• Abstract（参考訳）: 社会規模の機械学習システムの広範な展開には、信頼性の喪失、バイアスの増幅、AIの安全性要件違反など、これらのシステムが環境にもたらす長期的な影響の完全な理解が必要である。 本稿では,誤り増幅,帰納的概念ドリフト,エコーチャンバーなど,意図しない隠れたフィードバックループに起因するいくつかの現象を共同で記述するために,繰り返し学習プロセスを導入する。 このプロセスは、データを取得し、予測モデルをトレーニングし、単一の数学的モデル内でエンドユーザに予測を配信するサイクル全体を含む。 このような繰り返し学習設定の特徴は、環境の状態が時間とともに学習者自身に因果的に依存するようになり、データ分布に関する通常の仮定に反することである。 本稿では,繰り返し学習プロセスの力学系モデルを提案し,システム動作の正および負のフィードバックループモードに対する確率分布の制限セットを証明した。 2つの合成データセット上で、模範的な教師付き学習問題を用いて一連の計算実験を行う。 実験の結果は、力学モデルから導かれる理論的な予測と一致する。 本研究は,機械学習システムにおける学習過程の反復的学習の実現可能性を示し,その領域におけるさらなる研究の機会を広げるものである。

関連論文リスト

• Learning Latent Dynamics via Invariant Decomposition and (Spatio-)Temporal Transformers [0.6767885381740952]
  本研究では,高次元経験データから力学系を学習する手法を提案する。 我々は、システムの複数の異なるインスタンスからデータが利用できる設定に焦点を当てる。 我々は、単純な理論的分析と、合成および実世界のデータセットに関する広範な実験を通して行動を研究する。
  論文  参考訳（メタデータ） (2023-06-21T07:52:07Z)
• Capturing Actionable Dynamics with Structured Latent Ordinary Differential Equations [68.62843292346813]
  本稿では,その潜在表現内でのシステム入力の変動をキャプチャする構造付き潜在ODEモデルを提案する。 静的変数仕様に基づいて,本モデルではシステムへの入力毎の変動要因を学習し,潜在空間におけるシステム入力の影響を分離する。
  論文  参考訳（メタデータ） (2022-02-25T20:00:56Z)
• Leveraging the structure of dynamical systems for data-driven modeling [111.45324708884813]
  トレーニングセットとその構造が長期予測の品質に与える影響を考察する。 トレーニングセットのインフォームドデザインは,システムの不変性と基盤となるアトラクションの構造に基づいて,結果のモデルを大幅に改善することを示す。
  論文  参考訳（メタデータ） (2021-12-15T20:09:20Z)
• Structure-Preserving Learning Using Gaussian Processes and Variational Integrators [62.31425348954686]
  本稿では,機械系の古典力学に対する変分積分器と,ガウス過程の回帰による残留力学の学習の組み合わせを提案する。 我々は、既知のキネマティック制約を持つシステムへのアプローチを拡張し、予測の不確実性に関する公式な境界を提供する。
  論文  参考訳（メタデータ） (2021-12-10T11:09:29Z)
• Using scientific machine learning for experimental bifurcation analysis of dynamic systems [2.204918347869259]
  本研究は、極限サイクルを持つ物理非線形力学系に対する普遍微分方程式(UDE)モデルの訓練に焦点をあてる。 数値シミュレーションによりトレーニングデータを生成する例を考察するとともに,提案するモデリング概念を物理実験に適用する。 ニューラルネットワークとガウス過程の両方を、力学モデルと共に普遍近似器として使用し、UDEモデリングアプローチの正確性と堅牢性を批判的に評価する。
  論文  参考訳（メタデータ） (2021-10-22T15:43:03Z)
• Modeling Systems with Machine Learning based Differential Equations [0.0]
  微分方程式の解として,力学系の時間連続モデルの設計を提案する。 以上の結果から,本手法は合成データや実験データに有用である可能性が示唆された。
  論文  参考訳（メタデータ） (2021-09-09T19:10:46Z)
• Supervised DKRC with Images for Offline System Identification [77.34726150561087]
  現代の力学系はますます非線形で複雑なものになりつつある。 予測と制御のためのコンパクトで包括的な表現でこれらのシステムをモデル化するフレームワークが必要である。 本手法は,教師付き学習手法を用いてこれらの基礎関数を学習する。
  論文  参考訳（メタデータ） (2021-09-06T04:39:06Z)
• Using Data Assimilation to Train a Hybrid Forecast System that Combines Machine-Learning and Knowledge-Based Components [52.77024349608834]
  利用可能なデータがノイズの多い部分測定の場合,カオスダイナミクスシステムのデータ支援予測の問題を検討する。 動的システムの状態の部分的測定を用いることで、不完全な知識ベースモデルによる予測を改善するために機械学習モデルを訓練できることを示す。
  論文  参考訳（メタデータ） (2021-02-15T19:56:48Z)
• Bridging the Gap: Machine Learning to Resolve Improperly Modeled Dynamics [4.940323406667406]
  本稿では,複雑な時間的挙動を示すシステムに対して,不適切にモデル化された力学を克服するためのデータ駆動型モデリング戦略を提案する。 本稿では,システムの真の力学と,不正確あるいは不適切に記述されたシステムのモデルによって与えられる力学の相違を解決するためのディープラーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2020-08-23T04:57:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。