論文の概要: Fixes That Fail: Self-Defeating Improvements in Machine-Learning Systems

• arxiv url: http://arxiv.org/abs/2103.11766v1
• Date: Mon, 22 Mar 2021 12:29:10 GMT
• ステータス: 処理完了
• システム内更新日: 2021-03-24 01:30:00.631367
• Title: Fixes That Fail: Self-Defeating Improvements in Machine-Learning Systems
• Title（参考訳）: 失敗する修正: 機械学習システムの自己欠陥改善
• Authors: Ruihan Wu, Chuan Guo, Awni Hannun, Laurens van der Maaten
• Abstract要約: 機械学習モデルの改善は,下流モデルの性能を低下させる可能性がある。 異なるタイプの絡み合いを識別し、簡単な実験を通して自己退行的改善をいかに生み出すかを示す。 また,現実的なステレオベース物体検出システムにおいて自己退避改善が出現することを示す。
• 参考スコア（独自算出の注目度）: 31.702684333839585
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Machine-learning systems such as self-driving cars or virtual assistants are composed of a large number of machine-learning models that recognize image content, transcribe speech, analyze natural language, infer preferences, rank options, etc. These systems can be represented as directed acyclic graphs in which each vertex is a model, and models feed each other information over the edges. Oftentimes, the models are developed and trained independently, which raises an obvious concern: Can improving a machine-learning model make the overall system worse? We answer this question affirmatively by showing that improving a model can deteriorate the performance of downstream models, even after those downstream models are retrained. Such self-defeating improvements are the result of entanglement between the models. We identify different types of entanglement and demonstrate via simple experiments how they can produce self-defeating improvements. We also show that self-defeating improvements emerge in a realistic stereo-based object detection system.
• Abstract（参考訳）: 自動運転車やバーチャルアシスタントなどの機械学習システムは、画像の内容、音声の書き起こし、自然言語の分析、好みの推測、ランクオプションなど、多数の機械学習モデルで構成されている。 これらの系は、各頂点がモデルである有向非巡回グラフとして表すことができ、モデルはエッジ上で互いに情報を供給している。 しばしば、モデルは独立して開発され、訓練されるので、明らかな懸念を生じさせる。 機械学習モデルの改善は、システム全体を悪化させるだろうか? 本稿では, 下流モデルの再訓練後であっても, モデルの改善が下流モデルの性能を低下させる可能性があることを示すことにより, 肯定的な回答を得る。 このような自己破壊的な改善は、モデル間の絡み合いの結果である。 異なるタイプの絡み合いを識別し、簡単な実験を通して自己退行改善を実現する方法を示す。 また,現実的なステレオベース物体検出システムにおいて自己退避改善が現れることを示す。

関連論文リスト

• Boosting Alignment for Post-Unlearning Text-to-Image Generative Models [55.82190434534429]
  大規模な生成モデルは、大量のデータによって推進される印象的な画像生成能力を示している。 これはしばしば必然的に有害なコンテンツや不適切なコンテンツを生み出し、著作権の懸念を引き起こす。 学習しない反復ごとに最適なモデル更新を求めるフレームワークを提案し、両方の目的に対して単調な改善を確実にする。
  論文  参考訳（メタデータ） (2024-12-09T21:36:10Z)
• Mind the Gap: Examining the Self-Improvement Capabilities of Large Language Models [10.449015816015566]
  自己改善は、Large Language Model(LLM)の事前トレーニング、ポストトレーニング、テストタイム推論におけるメカニズムである。 本稿では,自己改善のための数学的定式化について述べる。 また、自己改善がいつ可能か、反復的な自己改善手順、その性能改善方法についても検討する。
  論文  参考訳（メタデータ） (2024-12-03T18:47:26Z)
• Unexpected Benefits of Self-Modeling in Neural Systems [0.7179624965454197]
  人工ネットワークが内部状態を補助的タスクとして予測することを学ぶと、それらが根本的に変化することを示す。 自己モデルタスクをより良く実行するために、ネットワークはよりシンプルで、より正規化され、よりパラメータ効率が良いものにすることを学ぶ。 この自己正規化は、最近の機械学習文献で報告されている自己モデルの有用性を説明するのに役立つかもしれない。
  論文  参考訳（メタデータ） (2024-07-14T13:16:23Z)
• Ecosystem-level Analysis of Deployed Machine Learning Reveals Homogeneous Outcomes [72.13373216644021]
  本研究では,機械学習の社会的影響を,特定の文脈に展開されるモデルの集合を考慮し検討する。 デプロイされた機械学習はシステム障害を起こしやすいため、利用可能なすべてのモデルに排他的に誤分類されているユーザもいます。 これらの例は、エコシステムレベルの分析が、機械学習の社会的影響を特徴づける独自の強みを持っていることを示している。
  論文  参考訳（メタデータ） (2023-07-12T01:11:52Z)
• Constructing Effective Machine Learning Models for the Sciences: A Multidisciplinary Perspective [77.53142165205281]
  線形回帰モデルに変数間の変換や相互作用を手動で追加することで、非線形解が必ずしも改善されないことを示す。 データ駆動モデルを構築する前にこれを認識する方法や、そのような分析が本質的に解釈可能な回帰モデルへの移行にどのように役立つかについて議論する。
  論文  参考訳（メタデータ） (2022-11-21T17:48:44Z)
• Composing Ensembles of Pre-trained Models via Iterative Consensus [95.10641301155232]
  本稿では,異なる事前学習モデルのアンサンブルを構成するための統一的なフレームワークを提案する。 事前学習したモデルを「ジェネレータ」あるいは「スコーラ」として使用し、クローズドループ反復コンセンサス最適化により構成する。 スコアラーのアンサンブルによって達成されたコンセンサスは、シングルスコアラーのフィードバックよりも優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-20T18:46:31Z)
• Self-Supervised Models are Continual Learners [79.70541692930108]
  本研究では, 自己教師付き損失関数を連続学習のための蒸留機構にシームレスに変換可能であることを示す。 我々は,学習した表現の質を大幅に向上させる連続的自己教師型視覚表現学習の枠組みを考案した。
  論文  参考訳（メタデータ） (2021-12-08T10:39:13Z)
• Learning Rich Nearest Neighbor Representations from Self-supervised Ensembles [60.97922557957857]
  推論時間における勾配降下から直接表現を学習する新しい手法により、自己教師付きモデルアンサンブルを行うためのフレームワークを提供する。 この技術は、ドメイン内のデータセットと転送設定の両方において、k-nearestの隣人によって測定されるように、表現品質を改善する。
  論文  参考訳（メタデータ） (2021-10-19T22:24:57Z)
• Distill on the Go: Online knowledge distillation in self-supervised learning [1.1470070927586016]
  最近の研究では、より広範でより深いモデルは、小さなモデルよりも自己監督学習の恩恵を受けることが示されている。 単段階オンライン知識蒸留を用いた自己指導型学習パラダイムであるDistill-on-the-Go(DoGo)を提案する。 以上の結果から,ノイズラベルや限定ラベルの存在下でのパフォーマンス向上がみられた。
  論文  参考訳（メタデータ） (2021-04-20T09:59:23Z)
• AutoBayes: Automated Bayesian Graph Exploration for Nuisance-Robust Inference [21.707911452679152]
  我々は、ニュアンス不変の機械学習パイプラインを最適化するために、AutoBayesと呼ばれる自動ベイズ推論フレームワークを導入する。 探索されたグラフィカルモデル間でのアンサンブル学習による大幅な性能向上を示す。
  論文  参考訳（メタデータ） (2020-07-02T17:06:26Z)
• A Hierarchy of Limitations in Machine Learning [0.0]
  本稿では,社会に応用された機械学習におけるモデルの概念的,手続き的,統計的制限の包括的,構造化された概要を論じる。 モデラー自身は、記述された階層を使って、可能な障害点を特定し、それらに対処する方法を考えることができます。 機械学習モデルの消費者は、機械学習を適用するかどうか、場所、方法に関する決定に直面したときに、何を問うべきかを知ることができる。
  論文  参考訳（メタデータ） (2020-02-12T19:39:29Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。