論文の概要: LoRSA: Toward Generalizable Parameter-Efficient Fine-Tuning for Biomedical Downstream Tasks
- arxiv url: http://arxiv.org/abs/2608.07749v1
- Date: Fri, 07 Aug 2026 20:30:35 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-08-11 19:16:36.49555
- Title: LoRSA: Toward Generalizable Parameter-Efficient Fine-Tuning for Biomedical Downstream Tasks
- Title（参考訳）: LoRSA: 生物医学的下流課題に対するパラメータ効率の良いファインチューニングに向けて
- Abstract要約: 我々は,高密度低ランク成分と構造化低ランク成分を共同で学習するグローバル・残留適応フレームワークであるLoRSAを紹介する。
DINOv3-Base, VinDr-Mammo をソースドメイン, MammosighTR と RSNA を未確認外ドメインとした4クラス乳房密度分類のための LoRSA の評価を行った。
- 参考スコア（独自算出の注目度）: 4.282181911007801
- License: http://creativecommons.org/licenses/by-nc-sa/4.0/
- Abstract: Parameter-efficient fine-tuning enables the adaptation of vision foundation models to biomedical tasks under limited computational resources, but a single low-rank update can constrain all task-specific changes to one narrow parameter subspace. This restriction may prevent the model from simultaneously representing globally shared task structure and localized residual directions required for generalization to unseen imaging domains. We introduce LoRSA, a global--residual adaptation framework that jointly learns a dense low-rank component and a dynamically structured-sparse low-rank component. The dense component captures globally coordinated task adaptation, while the structured component provides complementary residual corrections whose support evolves during training. We characterize the representational capacity, approximation properties, rank structure, and singular-subspace complementarity of this decomposition. We evaluate LoRSA for four-class breast-density classification using DINOv3-Base, with VinDr-Mammo as the source domain and MammosighTR and RSNA as unseen external domains. LoRSA remains competitive on the internal validation set and achieves the best external macro-F1 on both target datasets, improving upon the strongest competing method by 2.15 percentage points on MammosighTR and 3.09 percentage points on RSNA. Weight-matrix analysis further shows that approximately $92\%$ of the energy of each adaptation component lies outside the bilateral singular subspace of the other, indicating that the two components learn largely complementary update directions. These results suggest that organizing adaptation capacity into distinct global and residual paths can improve the external-domain generalization of parameter-efficiently adapted biomedical vision models.
- Abstract（参考訳）: パラメータ効率の良い微調整により、限られた計算資源の下でのバイオメディカルタスクへのビジョン基礎モデルの適応が可能となるが、単一の低ランク更新は、全てのタスク固有の変更を1つの狭いパラメータ部分空間に制限することができる。
この制限により、モデルがグローバルに共有されたタスク構造と、見えない画像領域への一般化に必要な局所的な残留方向を同時に表現することを防ぐことができる。
我々は高密度低ランク成分と動的に構造化された低ランク成分を共同で学習するグローバル・残留適応フレームワークであるLoRSAを紹介する。
密度の高いコンポーネントは、グローバルに調整されたタスク適応をキャプチャし、構造化されたコンポーネントは、トレーニング中にサポートが進化する補完的な残留補正を提供する。
この分解の表現能力、近似特性、ランク構造、特異部分空間補完性を特徴づける。
DINOv3-Base, VinDr-Mammo をソースドメイン, MammosighTR と RSNA を未確認外ドメインとした4クラス乳房密度分類のための LoRSA の評価を行った。
LoRSAは内部検証セットで競争力を維持し、両方のターゲットデータセットで最高の外部マクロF1を達成し、MammosighTRで2.15ポイント、RSNAで3.09ポイントの競合手法で改善した。
さらに、重み行列解析により、各適応成分のエネルギーの約92\%が他方の両側特異部分空間の外側にあることが示され、2つの成分が概ね相補的な更新方向を学習していることが示されている。
これらの結果から, 適応能力の組織化は, パラメータ適応型バイオメディカルビジョンモデルの外部領域の一般化を改善することが示唆された。
関連論文リスト
- BPG: Balancing Plasticity and Generalization for Domain Incremental Learning [48.68747632195046]
ドメインインクリメンタルな学習は、モデルを事前の知識を維持しながら継続的な適応を可能にする。
2つの相補的なコンポーネントを通して、両方の課題に対処する統合フレームワークであるBPGを提案する。
BPGは、均一なアダプタベースのアプローチとハードドメイン選択戦略を一貫して上回る。
論文 参考訳（メタデータ） (2026-08-11T11:22:27Z) - Scaling Behavior Foundation Model for Humanoid Robots [77.31115920959364]
行動基礎モデル(BFM)は、大規模な行動データを活用することで課題に対処する有望なソリューションとして登場した。
提案手法は制御忠実度とタスク一般化の大幅な改善をもたらすことを示す。
これらの結果は、BFMをスケーラブルで汎用的なヒューマノイド制御の原則的かつ効果的な基盤として確立する。
論文 参考訳（メタデータ） (2026-07-16T16:08:27Z) - Adapting SAM to Nuclei Instance Segmentation and Classification via Cooperative Fine-Grained Refinement [24.433000105666114]
本稿では,SAMの協調微粒化という,パラメータ効率のよい微粒化フレームワークを提案する。
これら3つのコンポーネントは、局所的な知覚を高め、空間的詳細を保存し、境界を洗練するために協調して働き、SAMは正確な核インスタンスのセグメンテーションを直接実行することができる。
論文 参考訳（メタデータ） (2026-03-30T04:39:07Z) - ReHARK: Refined Hybrid Adaptive RBF Kernels for Robust One-Shot Vision-Language Adaptation [3.8707695363745214]
ReHARKは、グローバルな近位正規化を通じて、少数ショット適応を再解釈する、トレーニング不要のフレームワークである。
ワンショット適応のための新しい最先端技術がReHARKによって確立され、平均精度は65.83%である。
論文 参考訳（メタデータ） (2026-03-12T04:59:09Z) - The Geometry of Transfer: Unlocking Medical Vision Manifolds for Training-Free Model Ranking [31.961181244685932]
本稿では, 統計重なりではなく, 多様体のトラクタビリティを評価するトポロジ駆動転送可能性推定フレームワークを提案する。
本手法は,重み付きケンドールの相対的改善率約6031%により,最先端のベースラインを著しく上回る。
論文 参考訳（メタデータ） (2026-02-27T11:04:15Z) - scMRDR: A scalable and flexible framework for unpaired single-cell multi-omics data integration [53.683726781791385]
単一セルマルチオミクス(ScMRDR)と呼ばれるスケーラブルでフレキシブルな生成フレームワークを導入する。
本手法は, バッチ補正, モダリティアライメント, 生体信号保存の観点から, ベンチマークデータセット上での優れた性能を実現する。
論文 参考訳（メタデータ） (2025-10-28T21:28:39Z) - Exploiting Aggregation and Segregation of Representations for Domain Adaptive Human Pose Estimation [50.31351006532924]
人間のポーズ推定(HPE)は最近、モーション分析、バーチャルリアリティー、ヘルスケア等に広く応用されているため、注目を集めている。
時間と労働集約的なアノテーションのために、ラベル付き現実世界のデータセットが不足している。
本稿では,ドメイン適応型人間のポーズ推定のための表現集約と分離を両立させる新しいフレームワークを提案する。
論文 参考訳（メタデータ） (2024-12-29T17:59:45Z) - SoMA: Singular Value Decomposed Minor Components Adaptation for Domain Generalizable Representation Learning [6.262268096839562]
ドメインの一般化は、1つまたは複数のソースドメインを使用してモデルを適応し、目に見えないターゲットドメインで堅牢なパフォーマンスを保証することを目的としています。
既存のPEFT手法は、事前訓練されたモデルの一般化可能なコンポーネントと学習タスク固有の特徴のバランスをとるのに苦労する。
Singular Value De Minor Components Adaptation (SoMA) を導入する。
論文 参考訳（メタデータ） (2024-12-05T11:17:57Z) - Modality-Collaborative Transformer with Hybrid Feature Reconstruction
for Robust Emotion Recognition [35.15390769958969]
ハイブリッド特徴再構成(MCT-HFR)を用いた統一型モダリティ協調変換器を提案する。
MCT-HFRは、モダリティ内およびモダリティ間関係を同時に抽出し、動的にバランスをとる新しいアテンションベースのエンコーダで構成されている。
モデルトレーニング中、LFIは、完全特徴を監督信号として活用し、局所的欠落した特徴を回復する一方、GFAはペア完全表現と不完全表現のグローバルな意味的ギャップを減らすように設計されている。
論文 参考訳（メタデータ） (2023-12-26T01:59:23Z) - Disentangled Federated Learning for Tackling Attributes Skew via
Invariant Aggregation and Diversity Transferring [104.19414150171472]
属性は、クライアント間の一貫した最適化方向から、現在の連邦学習(FL)フレームワークを歪めます。
本稿では,ドメイン固有属性とクロス不変属性を2つの補足枝に分離するために,非絡み付きフェデレーション学習(DFL)を提案する。
実験により、DFLはSOTA FL法と比較して高い性能、より良い解釈可能性、より高速な収束率でFLを促進することが確認された。
論文 参考訳（メタデータ） (2022-06-14T13:12:12Z) - Semi-supervised Domain Adaptive Structure Learning [72.01544419893628]
半教師付きドメイン適応 (SSDA) は,1) アノテーションの低いデータに過度に適合する手法と,2) ドメイン間の分散シフトの両方を克服しなければならない課題である。
SSLとDAの協調を正規化するための適応型構造学習手法を提案する。
論文 参考訳（メタデータ） (2021-12-12T06:11:16Z) - Alleviating Semantic-level Shift: A Semi-supervised Domain Adaptation
Method for Semantic Segmentation [97.8552697905657]
このタスクの重要な課題は、ソースとターゲットドメイン間のデータ分散の相違を緩和する方法である。
本稿では,グローバルな視点とローカルな視点の両方から分布の整合性を促進できるASS(Alleviating Semantic-level Shift)を提案する。
GTA5、Cityscapes、Synthia、Cityscapesの2つのドメイン適応タスクにASSを適用します。
論文 参考訳（メタデータ） (2020-04-02T03:25:05Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。