論文の概要: A Novel Adaptive Fine-Tuning Algorithm for Multimodal Models: Self-Optimizing Classification and Selection of High-Quality Datasets in Remote Sensing

• arxiv url: http://arxiv.org/abs/2409.13345v1
• Date: Fri, 20 Sep 2024 09:19:46 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-07 07:40:00.668235
• Title: A Novel Adaptive Fine-Tuning Algorithm for Multimodal Models: Self-Optimizing Classification and Selection of High-Quality Datasets in Remote Sensing
• Title（参考訳）: マルチモーダルモデルのための新しい適応的微調整アルゴリズム:リモートセンシングにおける自己最適化分類と高品質データセットの選択
• Authors: Yi Ren, Tianyi Zhang, Zhixiong Han, Weibin Li, Zhiyang Wang, Wenbo Ji, Chenhao Qin, Chenbin Liang, Licheng Jiao,
• Abstract要約: マルチモーダル大モデルに対する適応的な微調整アルゴリズムを提案する。 我々は、GeoChatマルチモーダルリモートセンシングデータセットの3分の1を使用して、2台の3090 GPU上でモデルをトレーニングする。 このモデルはUCMercedおよびAID評価データセットで89.86と77.19のスコアを得た。
• 参考スコア（独自算出の注目度）: 46.603157010223505
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We propose an adaptive fine-tuning algorithm for multimodal large models. The core steps of this algorithm involve two stages of truncation. First, the vast amount of data is projected into a semantic vector space, and the MiniBatchKMeans algorithm is used for automated clustering. This classification ensures that the data within each cluster exhibit high semantic similarity. Next, we process the data in each cluster, calculating the translational difference between the original and perturbed data in the multimodal large model's vector space. This difference serves as a generalization metric for the data. Based on this metric, we select the data with high generalization potential for training. We applied this algorithm to train the InternLM-XComposer2-VL-7B model on two 3090 GPUs using one-third of the GeoChat multimodal remote sensing dataset. The results demonstrate that our algorithm outperforms the state-of-the-art baselines. various baselines. The model trained on our optimally chosen one-third dataset, based on experimental validation, exhibited only 1% reduction in performance across various remote sensing metrics compared to the model trained on the full dataset. This approach significantly preserved general-purpose capabilities while reducing training time by 68.2%. Furthermore, the model achieved scores of 89.86 and 77.19 on the UCMerced and AID evaluation datasets, respectively, surpassing the GeoChat dataset by 5.43 and 5.16 points. It only showed a 0.91-point average decrease on the LRBEN evaluation dataset.
• Abstract（参考訳）: マルチモーダル大モデルに対する適応的な微調整アルゴリズムを提案する。 このアルゴリズムの中核ステップは2段階の切り離しを含む。 まず、大量のデータを意味ベクトル空間に投影し、MiniBatchKMeansアルゴリズムを自動クラスタリングに使用する。 この分類により、各クラスタ内のデータは、高いセマンティックな類似性を示す。 次に、各クラスタのデータを処理し、マルチモーダル大モデルのベクトル空間における原データと摂動データの変換差を計算する。 この差はデータの一般化指標として機能する。 この測定値に基づいて、トレーニングのための高一般化ポテンシャルを持つデータを選択する。 このアルゴリズムを用いて、GeoChatマルチモーダルリモートセンシングデータセットの3分の1を用いて、2台の3090 GPU上でInternLM-XComposer2-VL-7Bモデルをトレーニングした。 その結果,我々のアルゴリズムは最先端のベースラインよりも優れていた。 様々なベースライン 最適に選択された3分の1のデータセットでトレーニングしたモデルは、実験的な検証に基づいて、フルデータセットでトレーニングしたモデルと比較して、さまざまなリモートセンシングメトリクスのパフォーマンスが1%低下しただけだった。 このアプローチは、トレーニング時間を68.2%削減しながら、汎用能力を著しく維持した。 さらに、UCMercedおよびAID評価データセットで89.86点、77.19点を記録し、GeoChatデータセットを5.43点、GeoChatデータセットを5.16点上回った。 LRBEN評価データセットでは0.91ポイントの低下しか示さなかった。

関連論文リスト

• OPUS: Occupancy Prediction Using a Sparse Set [64.60854562502523]
  学習可能なクエリの集合を用いて、占有された場所とクラスを同時に予測するフレームワークを提案する。 OPUSには、モデルパフォーマンスを高めるための非自明な戦略が組み込まれている。 最も軽量なモデルではOcc3D-nuScenesデータセットの2倍 FPS に優れたRayIoUが得られる一方、最も重いモデルは6.1 RayIoUを上回ります。
  論文  参考訳（メタデータ） (2024-09-14T07:44:22Z)
• TAGCOS: Task-agnostic Gradient Clustered Coreset Selection for Instruction Tuning Data [29.45013725650798]
  完全なデータセットに匹敵するパフォーマンスを達成する命令データセットのサブセットを抽出することが不可欠である。 タスク非依存のグラディエントクラスタ化コレセット選択(TAGCOS)を提案する。 具体的には、サンプル勾配をデータ表現として利用し、類似したデータをグループ化するためにクラスタリングを行い、コアセット選択に効率的なグリーディアルゴリズムを適用する。
  論文  参考訳（メタデータ） (2024-07-21T17:59:20Z)
• A Lightweight Measure of Classification Difficulty from Application Dataset Characteristics [4.220363193932374]
  効率的なコサイン類似度に基づく分類困難度尺度Sを提案する。 データセットのクラス数とクラス内およびクラス間の類似度メトリクスから計算される。 この手法を実践者が、繰り返しトレーニングやテストによって、6倍から29倍の速度で効率の良いモデルを選択するのにどのように役立つかを示す。
  論文  参考訳（メタデータ） (2024-04-09T03:27:09Z)
• A Weighted K-Center Algorithm for Data Subset Selection [70.49696246526199]
  サブセット選択は、トレーニングデータの小さな部分を特定する上で重要な役割を果たす、基本的な問題である。 我々は,k中心および不確かさサンプリング目的関数の重み付け和に基づいて,サブセットを計算する新しい係数3近似アルゴリズムを開発した。
  論文  参考訳（メタデータ） (2023-12-17T04:41:07Z)
• Human Semantic Segmentation using Millimeter-Wave Radar Sparse Point Clouds [3.3888257250564364]
  本稿では,ミリ波レーダの粗い逐次点雲のセマンティックセグメンテーションのためのフレームワークを提案する。 mmWaveデータの空間的特徴と時間的トポロジ的特徴は依然として問題である。 グラフ構造とトポロジ的特徴をポイントクラウドに導入し,セマンティックセグメンテーションフレームワークを提案する。 我々のモデルは、$mathbf82.31%$でカスタムデータセットの平均精度を達成し、最先端のアルゴリズムより優れている。
  論文  参考訳（メタデータ） (2023-04-27T12:28:06Z)
• Towards Automated Imbalanced Learning with Deep Hierarchical Reinforcement Learning [57.163525407022966]
  不均衡学習はデータマイニングにおいて基本的な課題であり、各クラスにトレーニングサンプルの不均等な比率が存在する。 オーバーサンプリングは、少数民族のための合成サンプルを生成することによって、不均衡な学習に取り組む効果的な手法である。 我々は,異なるレベルの意思決定を共同で最適化できる自動オーバーサンプリングアルゴリズムであるAutoSMOTEを提案する。
  論文  参考訳（メタデータ） (2022-08-26T04:28:01Z)
• MSeg: A Composite Dataset for Multi-domain Semantic Segmentation [100.17755160696939]
  セマンティックセグメンテーションデータセットを異なるドメインから統合する合成データセットであるMSegを提案する。 一般化と画素レベルのアノテーションのアライメントを調整し,2万枚以上のオブジェクトマスクを8万枚以上の画像で再現する。 MSegでトレーニングされたモデルは、WildDash-v1のリーダーボードで、トレーニング中にWildDashのデータに触れることなく、堅牢なセマンティックセグメンテーションのためにランク付けされている。
  論文  参考訳（メタデータ） (2021-12-27T16:16:35Z)
• Variational Auto Encoder Gradient Clustering [0.0]
  近年,ディープニューラルネットワークモデルを用いたクラスタリングが広く研究されている。 本稿では、より良いクラスタリングを実現するために確率関数勾配上昇を使用してデータを処理する方法を検討する。 DBSCANクラスタリングアルゴリズムに基づいて,データに適したクラスタ数を調べるための簡便かつ効果的な方法を提案する。
  論文  参考訳（メタデータ） (2021-05-11T08:00:36Z)
• FedPD: A Federated Learning Framework with Optimal Rates and Adaptivity to Non-IID Data [59.50904660420082]
  フェデレートラーニング(FL)は、分散データから学ぶための一般的なパラダイムになっています。 クラウドに移行することなく、さまざまなデバイスのデータを効果的に活用するために、Federated Averaging(FedAvg)などのアルゴリズムでは、"Computation then aggregate"(CTA)モデルを採用している。
  論文  参考訳（メタデータ） (2020-05-22T23:07:42Z)
• Wise Sliding Window Segmentation: A classification-aided approach for trajectory segmentation [11.174536284571802]
  ワイズスライディングウィンドウ(WS-II)と呼ばれる教師付き軌道分割アルゴリズムを提案する。 WS-IIは軌道座標を処理し、空間と時間の変化を見つけ、エラー信号を生成する。 提案手法は,異なる領域の3つの実データに対して評価する。
  論文  参考訳（メタデータ） (2020-03-23T12:55:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。