論文の概要: Exploring new ways: Enforcing representational dissimilarity to learn new features and reduce error consistency

• arxiv url: http://arxiv.org/abs/2307.02516v1
• Date: Wed, 5 Jul 2023 14:28:46 GMT
• ステータス: 処理完了
• システム内更新日: 2023-07-07 16:30:55.489952
• Title: Exploring new ways: Enforcing representational dissimilarity to learn new features and reduce error consistency
• Title（参考訳）: 新しい方法を探る: 新機能を学習し、エラー一貫性を減らすために表現の相違を強制する
• Authors: Tassilo Wald and Constantin Ulrich and Fabian Isensee and David Zimmerer and Gregor Koehler and Michael Baumgartner and Klaus H. Maier-Hein
• Abstract要約: 非常に異なる中間表現は相関の少ない出力予測と若干の誤差整合性をもたらすことを示す。 これにより、中間表現間の接続とその出力予測への影響について、第1の光を当てる。
• 参考スコア（独自算出の注目度）: 1.7497479054352052
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Independently trained machine learning models tend to learn similar features. Given an ensemble of independently trained models, this results in correlated predictions and common failure modes. Previous attempts focusing on decorrelation of output predictions or logits yielded mixed results, particularly due to their reduction in model accuracy caused by conflicting optimization objectives. In this paper, we propose the novel idea of utilizing methods of the representational similarity field to promote dissimilarity during training instead of measuring similarity of trained models. To this end, we promote intermediate representations to be dissimilar at different depths between architectures, with the goal of learning robust ensembles with disjoint failure modes. We show that highly dissimilar intermediate representations result in less correlated output predictions and slightly lower error consistency, resulting in higher ensemble accuracy. With this, we shine first light on the connection between intermediate representations and their impact on the output predictions.
• Abstract（参考訳）: 独立して訓練された機械学習モデルは、同様の特徴を学ぶ傾向がある。 独立に訓練されたモデルの集合を考えると、これは相関予測と共通の失敗モードをもたらす。 出力予測やロジットのデコリレーションに着目した以前の試みは、特に最適化目標の矛盾によるモデル精度の低下による混合結果をもたらした。 本稿では,訓練対象モデルの類似度を計測する代わりに,表現類似性フィールドの手法を利用して訓練中の相違性を促進する手法を提案する。 この目的のために,アーキテクチャ間の異なる深さで異同する中間表現を推進し,不連続な障害モードで頑健なアンサンブルを学習する。 高い異種中間表現は相関の少ない出力予測とわずかに誤差の整合性が低下し,アンサンブル精度が向上することを示す。 これにより、中間表現間の接続とその出力予測への影響について、第1の光を当てる。

関連論文リスト

• Dynamic Post-Hoc Neural Ensemblers [55.15643209328513]
  本研究では,ニューラルネットワークをアンサンブル手法として活用することを検討する。 低多様性のアンサンブルを学習するリスクを動機として,ベースモデル予測をランダムにドロップすることでモデルの正規化を提案する。 このアプローチはアンサンブル内の多様性を低くし、オーバーフィッティングを減らし、一般化能力を向上させる。
  論文  参考訳（メタデータ） (2024-10-06T15:25:39Z)
• DIVE: Subgraph Disagreement for Graph Out-of-Distribution Generalization [44.291382840373]
  本稿では,グラフ機械学習におけるアウト・オブ・ディストリビューションの一般化の課題に対処する。 従来のグラフ学習アルゴリズムは、この仮定が失敗する現実世界のシナリオで失敗する。 この準最適性能に寄与する主な要因は、ニューラルネットワークの本質的な単純さバイアスである。
  論文  参考訳（メタデータ） (2024-08-08T12:08:55Z)
• Structured Radial Basis Function Network: Modelling Diversity for Multiple Hypotheses Prediction [51.82628081279621]
  多重モード回帰は非定常過程の予測や分布の複雑な混合において重要である。 構造的放射基底関数ネットワークは回帰問題に対する複数の仮説予測器のアンサンブルとして提示される。 この構造モデルにより, このテッセルレーションを効率よく補間し, 複数の仮説対象分布を近似することが可能であることが証明された。
  論文  参考訳（メタデータ） (2023-09-02T01:27:53Z)
• Ensemble Modeling for Multimodal Visual Action Recognition [50.38638300332429]
  マルチモーダル動作認識のためのアンサンブルモデリング手法を提案する。 我々は,MECCANO[21]データセットの長期分布を処理するために,焦点損失の変種を用いて,個別のモダリティモデルを個別に訓練する。
  論文  参考訳（メタデータ） (2023-08-10T08:43:20Z)
• Learning Data Representations with Joint Diffusion Models [20.25147743706431]
  データの合成と分類を可能にする統合機械学習モデルは、多くの場合、それらのタスク間の不均一なパフォーマンスを提供するか、トレーニングが不安定である。 それらの目的間のパラメータ化を共用した安定な連立エンドツーエンドトレーニングを可能にする分類器を用いて,バニラ拡散モデルを拡張した。 結果として得られた共同拡散モデルは、評価された全てのベンチマークにおいて、分類と生成品質の両方の観点から、最近の最先端のハイブリッド手法よりも優れている。
  論文  参考訳（メタデータ） (2023-01-31T13:29:19Z)
• Right for the Right Latent Factors: Debiasing Generative Models via Disentanglement [20.41752850243945]
  統計機械学習手法の主要な前提は、テスト時に遭遇したデータの分布から独立したサンプルにアクセスすることである。 特に、機械学習モデルは、Clever-Hansのような振る舞いを示すことが示されている。 本稿では,人的フィードバックによって達成される内部表現を解消し,生成モデルをデバイアス化する手法を提案する。
  論文  参考訳（メタデータ） (2022-02-01T13:16:18Z)
• Revisiting Consistency Regularization for Semi-Supervised Learning [80.28461584135967]
  そこで我々は,FeatDistLossというシンプルな手法により,一貫性の規則化を改良したフレームワークを提案する。 実験結果から,本モデルは様々なデータセットや設定のための新しい技術状態を定義する。
  論文  参考訳（メタデータ） (2021-12-10T20:46:13Z)
• Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
  補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。 テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。 以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
  論文  参考訳（メタデータ） (2020-06-22T21:12:31Z)
• Learning Diverse Representations for Fast Adaptation to Distribution Shift [78.83747601814669]
  本稿では,複数のモデルを学習する手法を提案する。 分散シフトへの迅速な適応を促進するフレームワークの能力を実証する。
  論文  参考訳（メタデータ） (2020-06-12T12:23:50Z)
• Pattern Similarity-based Machine Learning Methods for Mid-term Load Forecasting: A Comparative Study [0.0]
  パターン類似性に基づく年次電力需要予測手法について検討した。 モデルの不可欠な部分は、時系列シーケンスのパターンを用いた時系列表現である。 近接モデル,ファジィ近傍モデル,カーネル回帰モデル,一般回帰ニューラルネットワークの4つのモデルを考える。
  論文  参考訳（メタデータ） (2020-03-03T12:14:36Z)
• An end-to-end approach for the verification problem: learning the right distance [15.553424028461885]
  パラメトリックな擬似距離を導入し、エンコーダと共同で学習することで、メトリック学習の設定を強化する。 まず、仮説テストに使用できる確率比を近似して示す。 提案手法では,実際の距離を持つメートル法学習に比べて,学習の簡易化が図られている。
  論文  参考訳（メタデータ） (2020-02-21T18:46:06Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。