論文の概要: Negotiated Representations for Machine Mearning Application
- arxiv url: http://arxiv.org/abs/2311.11410v1
- Date: Sun, 19 Nov 2023 19:53:49 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-21 20:31:03.447030
- Title: Negotiated Representations for Machine Mearning Application
- Title（参考訳）: 機械ミーニング応用のための交渉表現
- Authors: Nuri Korhan, Samet Bayram
- Abstract要約: オーバーフィッティング(Overfitting)は、機械学習モデルが長時間トレーニングされ、提供されたトレーニングラベルに対するトレーニングサンプルの正確な適合度に過度にフォーカスされた場合に発生する現象である。
本稿では,事前に決定されたクラスラベルを用いて,サンプルの出力表現を交渉可能にすることによって,機械学習モデルの分類精度を高める手法を提案する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Overfitting is a phenomenon that occurs when a machine learning model is
trained for too long and focused too much on the exact fitness of the training
samples to the provided training labels and cannot keep track of the predictive
rules that would be useful on the test data. This phenomenon is commonly
attributed to memorization of particular samples, memorization of the noise,
and forced fitness into a data set of limited samples by using a high number of
neurons. While it is true that the model encodes various peculiarities as the
training process continues, we argue that most of the overfitting occurs in the
process of reconciling sharply defined membership ratios. In this study, we
present an approach that increases the classification accuracy of machine
learning models by allowing the model to negotiate output representations of
the samples with previously determined class labels. By setting up a
negotiation between the models interpretation of the inputs and the provided
labels, we not only increased average classification accuracy but also
decreased the rate of overfitting without applying any other regularization
tricks. By implementing our negotiation paradigm approach to several low regime
machine learning problems by generating overfitting scenarios from publicly
available data sets such as CIFAR 10, CIFAR 100, and MNIST we have demonstrated
that the proposed paradigm has more capacity than its intended purpose. We are
sharing the experimental results and inviting the machine learning community to
explore the limits of the proposed paradigm. We also aim to incentive the
community to exploit the negotiation paradigm to overcome the learning related
challenges in other research fields such as continual learning. The Python code
of the experimental setup is uploaded to GitHub.
- Abstract（参考訳）: オーバーフィッティング(Overfitting)は、マシンラーニングモデルが長時間トレーニングされ、提供されるトレーニングラベルに対するトレーニングサンプルの正確な適合性に過度に集中し、テストデータに有用な予測ルールを追跡することができない場合に発生する現象である。
この現象は、通常、特定のサンプルの記憶、ノイズの記憶、および多数のニューロンを用いて限られたサンプルのデータセットにフィットネスを強制することに起因する。
トレーニングプロセスが継続するにつれて、モデルが様々な特徴を符号化することは事実であるが、過適合のほとんどは、明確に定義されたメンバーシップ比の調整の過程で起こると論じている。
本研究では,事前決定されたクラスラベルを用いたサンプルの出力表現の交渉を可能にすることにより,機械学習モデルの分類精度を向上させる手法を提案する。
入力のモデル解釈と提供されたラベルとのネゴシエーションを設定することで,平均的な分類精度を向上させるだけでなく,他の正規化手法を使わずにオーバーフィッティング率を下げることができた。
cifar 10やcifar 100、mnistといった公開データセットからオーバーフィットシナリオを生成することによって、いくつかのローレジーム機械学習問題に対する交渉パラダイムのアプローチを実装することにより、提案手法が、その目的よりも多くの能力を持つことを実証した。
実験結果を共有し、機械学習コミュニティに提案されたパラダイムの限界を探らせています。
また、継続学習などの他の研究分野における学習課題を克服するために、交渉パラダイムを活用するようコミュニティに促すことも目指している。
実験的なセットアップのPythonコードはGitHubにアップロードされる。
関連論文リスト
- Diversified Batch Selection for Training Acceleration [68.67164304377732]
オンラインバッチ選択として知られる一般的な研究ラインでは、トレーニングプロセス中の情報サブセットの選択について検討している。
バニラ参照モデルフリーメソッドは、独立してデータをサンプリング的にスコア付けし、選択する。
DivBS(Diversified Batch Selection)を提案する。
論文 参考訳（メタデータ） (2024-06-07T12:12:20Z) - Pre-Trained Vision-Language Models as Partial Annotators [40.89255396643592]
事前学習された視覚言語モデルは、画像と自然言語の統一表現をモデル化するために大量のデータを学習する。
本稿では,事前学習型モデルアプリケーションのための「事前学習型-弱教師付き学習」パラダイムについて検討し,画像分類タスクの実験を行う。
論文 参考訳（メタデータ） (2024-05-23T17:17:27Z) - Asymmetric Co-teaching with Multi-view Consensus for Noisy Label
Learning [15.690502285538411]
Asymmetric Co-Teaching (AsyCo) というノイズラベル学習手法を導入する。
AsyCoは、共学モデルのより一貫性のある分岐結果を生成する。
合成および実世界のノイズラベルデータセットの実験は、AsyCoが現在のSOTA法よりも改善していることを示している。
論文 参考訳（メタデータ） (2023-01-01T04:10:03Z) - Autoencoder Attractors for Uncertainty Estimation [13.618797548020462]
本稿では,オートエンコーダモデルに基づく不確実性推定手法を提案する。
提案手法は,車室内における占有者分類の産業的応用だけでなく,いくつかのデータセットの組み合わせについても検討した。
論文 参考訳（メタデータ） (2022-04-01T12:10:06Z) - BatchFormer: Learning to Explore Sample Relationships for Robust
Representation Learning [93.38239238988719]
本稿では,各ミニバッチからサンプル関係を学習可能なディープニューラルネットワークを提案する。
BatchFormerは各ミニバッチのバッチ次元に適用され、トレーニング中のサンプル関係を暗黙的に探索する。
我々は10以上のデータセットに対して広範な実験を行い、提案手法は異なるデータ不足アプリケーションにおいて大幅な改善を実現する。
論文 参考訳（メタデータ） (2022-03-03T05:31:33Z) - CMW-Net: Learning a Class-Aware Sample Weighting Mapping for Robust Deep
Learning [55.733193075728096]
現代のディープニューラルネットワークは、破損したラベルやクラス不均衡を含むバイアス付きトレーニングデータに容易に適合する。
サンプル再重み付け手法は、このデータバイアス問題を緩和するために一般的に使用されている。
本稿では,データから直接明示的な重み付け方式を適応的に学習できるメタモデルを提案する。
論文 参考訳（メタデータ） (2022-02-11T13:49:51Z) - Coded Machine Unlearning [34.08435990347253]
学習フェーズの前にデータセットを線形に符号化する符号化学習プロトコルを提案する。
また, 符号化学習モデルのアンラーニングプロトコルについて述べるとともに, 完全なアンラーニングを実現するための提案プロトコルの成功について考察する。
論文 参考訳（メタデータ） (2020-12-31T17:20:34Z) - Message Passing Adaptive Resonance Theory for Online Active
Semi-supervised Learning [30.19936050747407]
オンラインのアクティブ半教師あり学習のためのメッセージパッシング適応共振理論(MPART)を提案する。
MPARTはラベルのないデータのクラスを推論し、トポロジグラフ上のノード間のメッセージパッシングを通じて情報的および代表的サンプルを選択する。
我々は,MPARTがオンラインのアクティブ学習環境において,競合モデルよりも優れていることを示す。
論文 参考訳（メタデータ） (2020-12-02T14:14:42Z) - MixKD: Towards Efficient Distillation of Large-scale Language Models [129.73786264834894]
データに依存しない蒸留フレームワークであるMixKDを提案する。
妥当な条件下では、MixKDは誤差と経験的誤差の間のギャップを小さくする。
限定的なデータ設定とアブレーションによる実験は、提案手法の利点をさらに証明している。
論文 参考訳（メタデータ） (2020-11-01T18:47:51Z) - Automatic Recall Machines: Internal Replay, Continual Learning and the
Brain [104.38824285741248]
ニューラルネットワークのリプレイには、記憶されたサンプルを使ってシーケンシャルなデータのトレーニングが含まれる。
本研究では,これらの補助サンプルをフライ時に生成する手法を提案する。
代わりに、評価されたモデル自体内の学習したサンプルの暗黙の記憶が利用されます。
論文 参考訳（メタデータ） (2020-06-22T15:07:06Z) - Learning Diverse Representations for Fast Adaptation to Distribution
Shift [78.83747601814669]
本稿では,複数のモデルを学習する手法を提案する。
分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
論文 参考訳（メタデータ） (2020-06-12T12:23:50Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。