Fugu-MT 論文翻訳(概要): Improving Fine-Tuning with Latent Cluster Correction

論文の概要: Improving Fine-Tuning with Latent Cluster Correction

arxiv url: http://arxiv.org/abs/2501.11919v1
Date: Tue, 21 Jan 2025 06:47:27 GMT
ステータス: 翻訳完了
システム内更新日: 2025-01-22 14:21:24.970123
Title: Improving Fine-Tuning with Latent Cluster Correction
Title（参考訳）: 潜時クラスター補正による微調整の改善
Authors: Cédric Ho Thanh,
Abstract要約: トレーニング中のニューラルネットワークの潜在空間に有能なセマンティッククラスタが存在することは、分類タスクにおける最終的な精度を強く相関させる。本稿では,Louvainコミュニティ検出アルゴリズムと特別に設計されたクラスタリング損失関数を用いて,これらの潜伏クラスタの生成を最適化することにより,性能を向上させる新しいファインチューニング手法を提案する。
参考スコア（独自算出の注目度）: 0.0
License:
Abstract: The existence of salient semantic clusters in the latent spaces of a neural network during training strongly correlates its final accuracy on classification tasks. This paper proposes a novel fine-tuning method that boosts performance by optimising the formation of these latent clusters, using the Louvain community detection algorithm and a specifically designed clustering loss function. We present preliminary results that demonstrate the viability of this process on classical neural network architectures during fine-tuning on the CIFAR-100 dataset.
Abstract（参考訳）: トレーニング中のニューラルネットワークの潜在空間に有能なセマンティッククラスタが存在することは、分類タスクにおける最終的な精度を強く相関させる。本稿では,Louvainコミュニティ検出アルゴリズムと特別に設計されたクラスタリング損失関数を用いて,これらの潜伏クラスタの生成を最適化することにより,性能を向上させる新しいファインチューニング手法を提案する。 CIFAR-100データセットの微調整中に、このプロセスが古典的ニューラルネットワークアーキテクチャ上で実現可能であることを示す予備的な結果を示す。

関連論文リスト

DCNN: Dual Cross-current Neural Networks Realized Using An Interactive Deep Learning Discriminator for Fine-grained Objects [48.65846477275723]
本研究では、微細な画像分類の精度を向上させるために、新しい二重電流ニューラルネットワーク(DCNN)を提案する。弱い教師付き学習バックボーンモデルを構築するための新しい特徴として、(a)異種データの抽出、(b)特徴マップの解像度の維持、(c)受容領域の拡大、(d)グローバル表現と局所特徴の融合などがある。
論文参考訳（メタデータ） (2024-05-07T07:51:28Z)
Learning Neural Eigenfunctions for Unsupervised Semantic Segmentation [12.91586050451152]
スペクトルクラスタリング(英: Spectral clustering)は、異なるクラスタを構築するために画素のスペクトル埋め込みを計算する理論上の解である。現在のアプローチは、まだスペクトル分解の非効率性と、試験データに適用する際の柔軟性に悩まされている。この研究は、スペクトルクラスタリングをニューラルネットワークに基づく固有関数を用いてスペクトル埋め込みを生成するパラメトリックアプローチとしてキャストすることで、これらの問題に対処する。実際には、神経固有関数は軽量であり、事前訓練されたモデルの特徴を入力とし、トレーニング効率を改善し、より密集した予測のための事前訓練されたモデルの可能性を解き放つ。
論文参考訳（メタデータ） (2023-04-06T03:14:15Z)
Improved Algorithms for Neural Active Learning [74.89097665112621]
非パラメトリックストリーミング設定のためのニューラルネットワーク(NN)ベースの能動学習アルゴリズムの理論的および経験的性能を改善する。本研究では,SOTA(State-of-the-art (State-the-art)) 関連研究で使用されるものよりも,アクティブラーニングに適する人口減少を最小化することにより,2つの後悔の指標を導入する。
論文参考訳（メタデータ） (2022-10-02T05:03:38Z)
Efficient and Robust Classification for Sparse Attacks [34.48667992227529]
我々は、画像認識、自然言語処理、マルウェア検出の領域において効果的な攻撃として示されてきた$ell$-normで束縛された摂動を考える。我々は,「トランケーション」と「アドリアル・トレーニング」を組み合わせた新しい防衛手法を提案する。得られた洞察に触発され、これらのコンポーネントをニューラルネットワーク分類器に拡張する。
論文参考訳（メタデータ） (2022-01-23T21:18:17Z)
KNN-BERT: Fine-Tuning Pre-Trained Models with KNN Classifier [61.063988689601416]
事前学習されたモデルは、クロスエントロピー損失によって最適化された線形分類器を用いて、微調整された下流タスクに広く利用されている。これらの問題は、同じクラスの類似点と、予測を行う際の矛盾点に焦点を当てた表現を学習することで改善することができる。本稿では、事前訓練されたモデル微調整タスクにおけるKNearest Neighborsについて紹介する。
論文参考訳（メタデータ） (2021-10-06T06:17:05Z)
Improving Music Performance Assessment with Contrastive Learning [78.8942067357231]
本研究では,既存のMPAシステムを改善するための潜在的手法として,コントラスト学習について検討する。畳み込みニューラルネットワークに適用された回帰タスクに適した重み付きコントラスト損失を導入する。この結果から,MPA回帰タスクにおいて,コントラッシブ・ベースの手法がSoTA性能に適合し,超越できることが示唆された。
論文参考訳（メタデータ） (2021-08-03T19:24:25Z)
Augmented Data as an Auxiliary Plug-in Towards Categorization of Crowdsourced Heritage Data [2.609784101826762]
本稿では,データ拡張を補助プラグインとして導入することで,非効率なクラスタリング性能の問題を緩和する戦略を提案する。我々は、深層クラスタリングのための新しいモデルとして初期特徴空間を構築するために、拡張データを用いた畳み込みオートエンコーダ(CAE)の変種を訓練する。
論文参考訳（メタデータ） (2021-07-08T14:09:39Z)
Deep adaptive fuzzy clustering for evolutionary unsupervised representation learning [2.8028128734158164]
大規模で複雑な画像のクラスタ割り当ては、パターン認識とコンピュータビジョンにおいて重要かつ困難な作業です。反復最適化による新しい進化的教師なし学習表現モデルを提案する。ファジィメンバシップを利用して深層クラスタ割り当ての明確な構造を表現するディープリコンストラクションモデルに対して,共同でファジィクラスタリングを行った。
論文参考訳（メタデータ） (2021-03-31T13:58:10Z)
Analytically Tractable Inference in Deep Neural Networks [0.0]
Tractable Approximate Inference (TAGI)アルゴリズムは、浅いフルコネクテッドニューラルネットワークのバックプロパゲーションに対する実行可能でスケーラブルな代替手段であることが示された。従来のディープニューラルネットワークアーキテクチャをトレーニングするために、TAGIがバックプロパゲーションのパフォーマンスとどのように一致するか、または上回るかを実証しています。
論文参考訳（メタデータ） (2021-03-09T14:51:34Z)
Local Critic Training for Model-Parallel Learning of Deep Neural Networks [94.69202357137452]
そこで我々は,局所的批判訓練と呼ばれる新しいモデル並列学習手法を提案する。提案手法は,畳み込みニューラルネットワーク(CNN)とリカレントニューラルネットワーク(RNN)の両方において,階層群の更新プロセスの分離に成功したことを示す。また,提案手法によりトレーニングされたネットワークを構造最適化に利用できることを示す。
論文参考訳（メタデータ） (2021-02-03T09:30:45Z)
MSE-Optimal Neural Network Initialization via Layer Fusion [68.72356718879428]
ディープニューラルネットワークは、さまざまな分類と推論タスクに対して最先端のパフォーマンスを達成する。グラデーションと非進化性の組み合わせは、学習を新しい問題の影響を受けやすいものにする。確率変数を用いて学習した深層ネットワークの近傍層を融合する手法を提案する。
論文参考訳（メタデータ） (2020-01-28T18:25:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。