論文の概要: COLORA: Efficient Fine-Tuning for Convolutional Models with a Study Case on Optical Coherence Tomography Image Classification

• arxiv url: http://arxiv.org/abs/2505.18315v1
• Date: Fri, 23 May 2025 19:21:01 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.337973
• Title: COLORA: Efficient Fine-Tuning for Convolutional Models with a Study Case on Optical Coherence Tomography Image Classification
• Title（参考訳）: COLORA:光コヒーレンス・トモグラフィー画像分類による畳み込みモデルの効率的な微調整
• Authors: Mariano Rivera, Angello Hoyos,
• Abstract要約: 本稿では,現在のCNNファインチューニング手法における非効率性を克服するために,畳み込み低ランク適応法(CoLoRA)を提案する。 我々は,ImageNet上で事前学習したCNNバックボーンを用いて,モデルの開発と評価を行った。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce the Convolutional Low-Rank Adaptation (CoLoRA) method, designed explicitly to overcome the inefficiencies found in current CNN fine-tuning methods. CoLoRA can be seen as a natural extension of the convolutional architectures of the Low-Rank Adaptation (LoRA) technique. We demonstrate the capabilities of our method by developing and evaluating models using the widely adopted CNN backbone pre-trained on ImageNet. We observed that this strategy results in a stable and accurate coarse-tuning procedure. Moreover, this strategy is computationally efficient and significantly reduces the number of parameters required for fine-tuning compared to traditional methods. Furthermore, our method substantially improves the speed and stability of training. Our case study focuses on classifying retinal diseases from optical coherence tomography (OCT) images, specifically using the OCTMNIST dataset. Experimental results demonstrate that a CNN backbone fine-tuned with CoLoRA surpasses nearly 1\% in accuracy. Such a performance is comparable to the Vision Transformer, State-space discrete, and Kolmogorov-Arnold network models.
• Abstract（参考訳）: 我々は,現在のCNNファインチューニング手法における非効率性を明示的に克服するために,畳み込み低ランク適応法(CoLoRA)を導入する。 CoLoRAはローランド適応(LoRA)技術による畳み込みアーキテクチャの自然な拡張と見なすことができる。 我々は,ImageNet上で事前学習したCNNバックボーンを用いて,モデルの開発と評価を行った。 我々は,この戦略が安定かつ高精度な粗い調整手順をもたらすことを観察した。 さらに、この戦略は計算効率が高く、従来の手法に比べて微調整に必要なパラメータの数を大幅に削減する。 さらに,本手法はトレーニングの速度と安定性を大幅に向上させる。 本症例では、OCTMNISTデータセットを用いて、光学コヒーレンス断層撮影(OCT)画像から網膜疾患を分類することに焦点を当てた。 実験の結果,CoLoRAを微調整したCNNバックボーンの精度は,約1倍に向上した。 このような性能はビジョントランスフォーマー、ステートスペース離散、コルモゴロフ・アルノルドネットワークモデルに匹敵する。

関連論文リスト

• Don't Forget the Nonlinearity: Unlocking Activation Functions in Efficient Fine-Tuning [82.16625951603315]
  NoRAは、固定活性化を学習可能な有理関数に置き換え、構造化された低ランク更新を数値化係数と分母係数に適用する。 CIFAR-10とCIFAR-100で訓練された視覚変換器では、NoRAはパラメータのわずか0.4%を更新しながら完全な微調整に適合または超過する。 NoRAは低次元機能部分空間への適応を制約し、暗黙的に更新の規模と方向を規則化する。
  論文  参考訳（メタデータ） (2025-09-16T16:47:03Z)
• NM-Hebb: Coupling Local Hebbian Plasticity with Metric Learning for More Accurate and Interpretable CNNs [0.0]
  NM-Hebbは神経刺激による局所的可塑性と遠隔監視を統合している。 フェーズ1は、クロスエントロピーの目標を共同で最適化することで、標準的な教師付きトレーニングを拡張します。 フェーズ2は、一対のメートル法学習損失でバックボーンを微調整する。
  論文  参考訳（メタデータ） (2025-08-27T13:53:04Z)
• Distillation-Supervised Convolutional Low-Rank Adaptation for Efficient Image Super-Resolution [19.22142805041799]
  畳み込みニューラルネットワーク(CNN)は画像の高解像度化に広く利用されている。 本稿では,DSCLoRA(Distillation-Supervised Convolutional Low-Rank Adaptation)を提案する。
  論文  参考訳（メタデータ） (2025-04-15T15:12:57Z)
• DIPLI: Deep Image Prior Lucky Imaging for Blind Astronomical Image Restoration [2.7523980737007414]
  アストロフォトグラフィーは、訓練データに制限があるため、ディープラーニングに固有の課題を提示する。 この研究は、ブラインドトレーニングを促進するが過度に適合する可能性のあるDeep Image Prior(DIP)モデルのようなハイブリッド戦略を探求する。 本稿では,DIPモデルのベースライン性能を改良する手法を提案する。
  論文  参考訳（メタデータ） (2025-03-20T09:33:16Z)
• Collaborative Decoding Makes Visual Auto-Regressive Modeling Efficient [52.96232442322824]
  CoDe(Collaborative Decoding)は、Visual Auto-Regressive (VAR)フレームワーク用に設計された、新しい効率的なデコーディング戦略である。 CoDeは、大規模でのパラメータ要求の大幅な削減と、異なるスケールでの排他的生成パターンという、2つの重要な観察に乗じている。 CoDeは1.7倍のスピードアップを実現し、メモリ使用量を約50%削減し、画像品質を1.95から1.98に改善した。
  論文  参考訳（メタデータ） (2024-11-26T15:13:15Z)
• A-SDM: Accelerating Stable Diffusion through Model Assembly and Feature Inheritance Strategies [51.7643024367548]
  安定拡散モデルは、テキスト・ツー・イメージ(T2I)と画像・ツー・イメージ(I2I)生成のための一般的かつ効果的なモデルである。 本研究では、SDMにおける冗長計算の削減と、チューニング不要とチューニング不要の両方の手法によるモデルの最適化に焦点をあてる。
  論文  参考訳（メタデータ） (2024-05-31T21:47:05Z)
• Contrastive-Adversarial and Diffusion: Exploring pre-training and fine-tuning strategies for sulcal identification [3.0398616939692777]
  対人学習、コントラスト学習、拡散認知学習、通常の再構成学習といった技術が標準となっている。 この研究は、ニューラルネットワークの学習プロセスを強化するために、事前学習技術と微調整戦略の利点を解明することを目的としている。
  論文  参考訳（メタデータ） (2024-05-29T15:44:51Z)
• CoLoRA: Continuous low-rank adaptation for reduced implicit neural modeling of parameterized partial differential equations [1.2935057904849894]
  Continuous Low Rank Adaptation (CoLoRA) 適応は純粋にデータ駆動か、あるいは方程式駆動の変分アプローチで行うことができる。 CoLoRA は解体を時間的に局所的に近似するので、重みのランクは小さく保つことができる。
  論文  参考訳（メタデータ） (2024-02-22T15:45:31Z)
• Low-resolution Prior Equilibrium Network for CT Reconstruction [3.5639148953570836]
  本稿では,低分解能画像を導入し,ネットワークの堅牢性を改善するための効果的な正規化項を得る,新しいディープラーニングベースのCT再構成モデルを提案する。 狭角化と狭角化の両問題を実験的に検討し, ノイズ低減, コントラスト・ツー・ノイズ比, エッジ細部保存の両面において, エンド・ツー・エンドの低分解能事前平衡モデルが他の最先端手法よりも優れていることを示した。
  論文  参考訳（メタデータ） (2024-01-28T13:59:58Z)
• A-SDM: Accelerating Stable Diffusion through Redundancy Removal and Performance Optimization [54.113083217869516]
  本研究ではまず,ネットワークの計算冗長性について検討する。 次に、モデルの冗長性ブロックをプルークし、ネットワーク性能を維持する。 第3に,計算集約型注意部を高速化するグローバル地域対話型注意(GRI)を提案する。
  論文  参考訳（メタデータ） (2023-12-24T15:37:47Z)
• Kronecker-Factored Approximate Curvature for Modern Neural Network Architectures [85.76673783330334]
  線形重み付け層の2つの異なる設定がクロネッカー型近似曲率(K-FAC)の2つの風味を動機付けている 重み付けをそれぞれ設定したディープ・リニア・ネットワークに対して正確であることを示す。 グラフニューラルネットワークと視覚変換器の両方をトレーニングするために、これらの2つのK-FACの違いをほとんど観測しない。
  論文  参考訳（メタデータ） (2023-11-01T16:37:00Z)
• Distance Weighted Trans Network for Image Completion [52.318730994423106]
  本稿では,DWT(Distance-based Weighted Transformer)を利用した画像コンポーネント間の関係をよりよく理解するためのアーキテクチャを提案する。 CNNは、粗い事前の局所的なテクスチャ情報を強化するために使用される。 DWTブロックは、特定の粗いテクスチャやコヒーレントな視覚構造を復元するために使用される。
  論文  参考訳（メタデータ） (2023-10-11T12:46:11Z)
• ARHNet: Adaptive Region Harmonization for Lesion-aware Augmentation to Improve Segmentation Performance [61.04246102067351]
  本研究では,合成画像をよりリアルに見せるために,前景調和フレームワーク(ARHNet)を提案する。 実画像と合成画像を用いたセグメンテーション性能の向上に本手法の有効性を実証する。
  論文  参考訳（メタデータ） (2023-07-02T10:39:29Z)
• Accelerating Multiframe Blind Deconvolution via Deep Learning [0.0]
  地上からの太陽画像の復元は計算に費用がかかる手続きである。 本稿では,アルゴリズムのアンロールに基づく復元を高速化する手法を提案する。 両手法が標準最適化法と比較して復元時間を大幅に短縮することを示した。
  論文  参考訳（メタデータ） (2023-06-21T07:53:00Z)
• Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
  2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。 我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。 得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
  論文  参考訳（メタデータ） (2022-11-16T21:55:05Z)
• A Tunable Robust Pruning Framework Through Dynamic Network Rewiring of DNNs [8.597091257152567]
  敵攻撃に対して頑健なプルーンドディープニューラルネットワーク(DNN)モデルを生成する動的ネットワークリウィリング(DNR)手法を提案する。 我々の実験により,DNRは,最先端の代替手段によって達成できるものよりも,クリーンで対角的な画像分類性能の圧縮モデルを一貫して見出すことができた。
  論文  参考訳（メタデータ） (2020-11-03T19:49:00Z)
• A Fully Tensorized Recurrent Neural Network [48.50376453324581]
  重み付けされたRNNアーキテクチャを導入し、各リカレントセル内の個別の重み付け行列を共同で符号化する。 このアプローチはモデルのサイズを数桁削減するが、通常のRNNと同等あるいは優れた性能を維持している。
  論文  参考訳（メタデータ） (2020-10-08T18:24:12Z)
• Training Sparse Neural Networks using Compressed Sensing [13.84396596420605]
  本研究では,プレニングとトレーニングを1ステップに組み合わせた圧縮センシングに基づく新しい手法の開発と試験を行う。 具体的には、トレーニング中の重みを適応的に重み付けした$ell1$のペナルティを利用して、スパースニューラルネットワークをトレーニングするために、正規化二重平均化(RDA)アルゴリズムの一般化と組み合わせる。
  論文  参考訳（メタデータ） (2020-08-21T19:35:54Z)
• Convolutional Neural Network Training with Distributed K-FAC [14.2773046188145]
  Kronecker-factored Approximate Curvature (K-FAC)はFisher Information Matrixの近似として最近提案されている。 本稿では、大規模畳み込みニューラルネットワーク(CNN)トレーニングにおけるスケーラブルなK-FAC設計とその適用性について検討する。
  論文  参考訳（メタデータ） (2020-07-01T22:00:53Z)
• Learning Deformable Image Registration from Optimization: Perspective, Modules, Bilevel Training and Beyond [62.730497582218284]
  マルチスケールの伝搬により微分同相モデルを最適化する,新しいディープラーニングベースのフレームワークを開発した。 我々は,脳MRIデータにおける画像-アトラス登録,肝CTデータにおける画像-画像登録を含む,3次元ボリュームデータセットにおける画像登録実験の2つのグループを実行する。
  論文  参考訳（メタデータ） (2020-04-30T03:23:45Z)
• Cascaded Deep Video Deblurring Using Temporal Sharpness Prior [88.98348546566675]
  提案アルゴリズムは主に,中間潜水フレームと潜水フレームの復元ステップから光フローを推定する。 まず、中間潜伏フレームから光フローを推定し、推定した光フローに基づいて潜伏フレームを復元する深部CNNモデルを開発する。 ビデオデブロアリングのドメイン知識を探索することで、深層CNNモデルをよりコンパクトで効率的なものにすることができることを示す。
  論文  参考訳（メタデータ） (2020-04-06T09:13:49Z)
• Training Binary Neural Networks with Real-to-Binary Convolutions [52.91164959767517]
  完全精度のネットワークのうち、数パーセント以内にバイナリネットワークをトレーニングする方法を示します。 我々は、最先端の精度をすでに達成している強力なベースラインを構築する方法を示す。 すべての改善をまとめると、提案したモデルは、ImageNet上で5%以上のトップ1精度で、現在の最先端の技術を上回ります。
  論文  参考訳（メタデータ） (2020-03-25T17:54:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。