論文の概要: Fixes That Fail: Self-Defeating Improvements in Machine-Learning Systems
- arxiv url: http://arxiv.org/abs/2103.11766v1
- Date: Mon, 22 Mar 2021 12:29:10 GMT
- ステータス: 処理完了
- システム内更新日: 2021-03-24 01:30:00.631367
- Title: Fixes That Fail: Self-Defeating Improvements in Machine-Learning Systems
- Title（参考訳）: 失敗する修正: 機械学習システムの自己欠陥改善
- Authors: Ruihan Wu, Chuan Guo, Awni Hannun, Laurens van der Maaten
- Abstract要約: 機械学習モデルの改善は,下流モデルの性能を低下させる可能性がある。
異なるタイプの絡み合いを識別し、簡単な実験を通して自己退行的改善をいかに生み出すかを示す。
また,現実的なステレオベース物体検出システムにおいて自己退避改善が出現することを示す。
- 参考スコア（独自算出の注目度）: 31.702684333839585
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Machine-learning systems such as self-driving cars or virtual assistants are
composed of a large number of machine-learning models that recognize image
content, transcribe speech, analyze natural language, infer preferences, rank
options, etc. These systems can be represented as directed acyclic graphs in
which each vertex is a model, and models feed each other information over the
edges. Oftentimes, the models are developed and trained independently, which
raises an obvious concern: Can improving a machine-learning model make the
overall system worse? We answer this question affirmatively by showing that
improving a model can deteriorate the performance of downstream models, even
after those downstream models are retrained. Such self-defeating improvements
are the result of entanglement between the models. We identify different types
of entanglement and demonstrate via simple experiments how they can produce
self-defeating improvements. We also show that self-defeating improvements
emerge in a realistic stereo-based object detection system.
- Abstract（参考訳）: 自動運転車やバーチャルアシスタントなどの機械学習システムは、画像の内容、音声の書き起こし、自然言語の分析、好みの推測、ランクオプションなど、多数の機械学習モデルで構成されている。
これらの系は、各頂点がモデルである有向非巡回グラフとして表すことができ、モデルはエッジ上で互いに情報を供給している。
しばしば、モデルは独立して開発され、訓練されるので、明らかな懸念を生じさせる。 機械学習モデルの改善は、システム全体を悪化させるだろうか?
本稿では, 下流モデルの再訓練後であっても, モデルの改善が下流モデルの性能を低下させる可能性があることを示すことにより, 肯定的な回答を得る。
このような自己破壊的な改善は、モデル間の絡み合いの結果である。
異なるタイプの絡み合いを識別し、簡単な実験を通して自己退行改善を実現する方法を示す。
また,現実的なステレオベース物体検出システムにおいて自己退避改善が現れることを示す。
関連論文リスト
- Unexpected Benefits of Self-Modeling in Neural Systems [0.7179624965454197]
人工ネットワークが内部状態を補助的タスクとして予測することを学ぶと、それらが根本的に変化することを示す。
自己モデルタスクをより良く実行するために、ネットワークはよりシンプルで、より正規化され、よりパラメータ効率が良いものにすることを学ぶ。
この自己正規化は、最近の機械学習文献で報告されている自己モデルの有用性を説明するのに役立つかもしれない。
論文 参考訳（メタデータ） (2024-07-14T13:16:23Z) - Ecosystem-level Analysis of Deployed Machine Learning Reveals Homogeneous Outcomes [72.13373216644021]
本研究では,機械学習の社会的影響を,特定の文脈に展開されるモデルの集合を考慮し検討する。
デプロイされた機械学習はシステム障害を起こしやすいため、利用可能なすべてのモデルに排他的に誤分類されているユーザもいます。
これらの例は、エコシステムレベルの分析が、機械学習の社会的影響を特徴づける独自の強みを持っていることを示している。
論文 参考訳（メタデータ） (2023-07-12T01:11:52Z) - ComplAI: Theory of A Unified Framework for Multi-factor Assessment of
Black-Box Supervised Machine Learning Models [6.279863832853343]
ComplAIは、説明可能性、堅牢性、パフォーマンス、公正性、モデル行動を有効にし、観察し、分析し、定量化するユニークなフレームワークである。
教師付き機械学習モデルの評価は、正しい予測を行う能力だけでなく、全体的な責任の観点から行う。
論文 参考訳（メタデータ） (2022-12-30T08:48:19Z) - Constructing Effective Machine Learning Models for the Sciences: A
Multidisciplinary Perspective [77.53142165205281]
線形回帰モデルに変数間の変換や相互作用を手動で追加することで、非線形解が必ずしも改善されないことを示す。
データ駆動モデルを構築する前にこれを認識する方法や、そのような分析が本質的に解釈可能な回帰モデルへの移行にどのように役立つかについて議論する。
論文 参考訳（メタデータ） (2022-11-21T17:48:44Z) - Composing Ensembles of Pre-trained Models via Iterative Consensus [95.10641301155232]
本稿では,異なる事前学習モデルのアンサンブルを構成するための統一的なフレームワークを提案する。
事前学習したモデルを「ジェネレータ」あるいは「スコーラ」として使用し、クローズドループ反復コンセンサス最適化により構成する。
スコアラーのアンサンブルによって達成されたコンセンサスは、シングルスコアラーのフィードバックよりも優れていることを示す。
論文 参考訳（メタデータ） (2022-10-20T18:46:31Z) - Self-Supervised Models are Continual Learners [79.70541692930108]
本研究では, 自己教師付き損失関数を連続学習のための蒸留機構にシームレスに変換可能であることを示す。
我々は,学習した表現の質を大幅に向上させる連続的自己教師型視覚表現学習の枠組みを考案した。
論文 参考訳（メタデータ） (2021-12-08T10:39:13Z) - Learning Rich Nearest Neighbor Representations from Self-supervised
Ensembles [60.97922557957857]
推論時間における勾配降下から直接表現を学習する新しい手法により、自己教師付きモデルアンサンブルを行うためのフレームワークを提供する。
この技術は、ドメイン内のデータセットと転送設定の両方において、k-nearestの隣人によって測定されるように、表現品質を改善する。
論文 参考訳（メタデータ） (2021-10-19T22:24:57Z) - Distill on the Go: Online knowledge distillation in self-supervised
learning [1.1470070927586016]
最近の研究では、より広範でより深いモデルは、小さなモデルよりも自己監督学習の恩恵を受けることが示されている。
単段階オンライン知識蒸留を用いた自己指導型学習パラダイムであるDistill-on-the-Go(DoGo)を提案する。
以上の結果から,ノイズラベルや限定ラベルの存在下でのパフォーマンス向上がみられた。
論文 参考訳（メタデータ） (2021-04-20T09:59:23Z) - What do we expect from Multiple-choice QA Systems? [70.86513724662302]
複数のMultiple Choice Question Answering(MCQA)データセット上で,トップパフォーマンスモデルを検討する。
このようなモデルから得られる可能性のある一連の期待値に対して、モデル入力のゼロ情報摂動を用いて評価する。
論文 参考訳（メタデータ） (2020-11-20T21:27:10Z) - AutoBayes: Automated Bayesian Graph Exploration for Nuisance-Robust
Inference [21.707911452679152]
我々は、ニュアンス不変の機械学習パイプラインを最適化するために、AutoBayesと呼ばれる自動ベイズ推論フレームワークを導入する。
探索されたグラフィカルモデル間でのアンサンブル学習による大幅な性能向上を示す。
論文 参考訳（メタデータ） (2020-07-02T17:06:26Z) - A Hierarchy of Limitations in Machine Learning [0.0]
本稿では,社会に応用された機械学習におけるモデルの概念的,手続き的,統計的制限の包括的,構造化された概要を論じる。
モデラー自身は、記述された階層を使って、可能な障害点を特定し、それらに対処する方法を考えることができます。
機械学習モデルの消費者は、機械学習を適用するかどうか、場所、方法に関する決定に直面したときに、何を問うべきかを知ることができる。
論文 参考訳（メタデータ） (2020-02-12T19:39:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。