論文の概要: Residual-Guided Adaptive Tucker Rank Allocation for Parameter-Efficient MCI Conversion Prediction
- arxiv url: http://arxiv.org/abs/2610.25873v1
- Date: Mon, 19 Oct 2026 06:33:23 GMT
- ステータス: 情報取得中
- システム内更新日: 2026-10-20 22:26:22.883691
- Title: Residual-Guided Adaptive Tucker Rank Allocation for Parameter-Efficient MCI Conversion Prediction
- Title(参考訳): パラメータ効率のよいMCI変換予測のための残留誘導適応タッカーランクアロケーション
- Abstract要約: 本稿では,Residual-Guided Adaptive Tucker Rank Allocationを提案する。
軽度認知障害からアルツハイマー病への転換を36ヶ月以内に予測するためのアルツハイマー病神経画像イニシアチブコホートの評価を行った。
提案手法は, 固定比タッカー適応の0.7239, フル微調整の0.7430に対して, 受信機動作特性曲線(AUC)の平均面積を0.7706とする。
- 参考スコア(独自算出の注目度): 6.783144641168502
- License:
- Abstract: Allocating limited trainable capacity across convolutional layers is a central challenge in parameter-efficient fine-tuning (PEFT) of pretrained three-dimensional (3D) networks. We propose Residual-Guided Adaptive Tucker Rank Allocation, which jointly selects input- and output-channel ranks under a fixed adapter-parameter budget while preserving the spatial kernel modes. To guide rank selection, we learn task-specific proxy updates from downstream training data and approximate them using candidate Tucker rank pairs. A perturbation analysis bounds the output discrepancy between the fixed proxy network and its Tucker approximation in terms of layerwise reconstruction residuals, motivating residual-based allocation. We normalize each squared residual by the corresponding proxy-update energy to compare relative approximation errors across layers. Dynamic programming minimizes their sum under a global budget constraint that accounts for both channel factors and the Tucker core. This yields a globally optimal allocation over the specified candidate rank pairs. We evaluate the method on the Alzheimer's Disease Neuroimaging Initiative (ADNI) cohort for predicting conversion from mild cognitive impairment to Alzheimer's disease within 36 months, using hippocampal segmentation pretraining. Across five random seeds, the proposed method achieves a mean area under the receiver operating characteristic curve (AUC) of 0.7706, compared with 0.7239 for fixed-ratio Tucker adaptation and 0.7430 for full fine-tuning. The total number of trainable parameters is limited to approximately 0.618 million, accounting for only 1.45% of the full model. Adaptive Tucker rank allocation thus provides an effective approach to parameter-efficient transfer learning in 3D medical imaging.
- Abstract(参考訳): 畳み込み層に限られた訓練能力を与えることは、事前訓練された3次元3次元ネットワークのパラメータ効率の微調整(PEFT)において中心的な課題である。
空間カーネルモードを保ちつつ、固定されたアダプタパラメータ予算の下で入力チャネルと出力チャネルのランクを共同で選択するResidual-Guided Adaptive Tucker Rank Allocationを提案する。
ランク選択を導くために、下流のトレーニングデータからタスク固有のプロキシ更新を学習し、候補タッカーランクペアを用いてそれらを近似する。
摂動解析は、固定されたプロキシネットワークとそのタッカー近似の間の出力差を階層的再構成残差の観点から制限し、残差に基づく割り当てを動機付ける。
各正方形残差を対応するプロキシ更新エネルギーで正規化し、層間の相対近似誤差を比較する。
動的プログラミングは、チャネル要素とTuckerコアの両方を考慮に入れた、グローバルな予算制約の下での総和を最小化する。
これにより、指定された候補ランク対に対して、グローバルに最適な割り当てが得られる。
軽度認知障害からアルツハイマー病への転換を36ヶ月以内に予測するために, 海馬セグメンテーションプレトレーニングを用いて, アルツハイマー病神経画像イニシアチブ(ADNI)コホートの評価を行った。
提案手法は5つのランダムな種子に対して0.7706の受信動作特性曲線 (AUC) の平均面積を, 固定比タッカー適応の0.7239, フル微調整の0.7430と比較した。
トレーニング可能なパラメータの総数は約0.618万に制限されており、フルモデルの1.45%に過ぎない。
適応的タッカーランクアロケーションは、3次元医用画像におけるパラメータ効率の変換学習に有効なアプローチを提供する。
関連論文リスト
- Learning Goal-Conditioned Subgoals through Frozen Hierarchical World Models [0.0]
推論は自己回帰的なハイレベルロールアウトを保持するが、ハイレベルな候補最適化を必要としない。
我々は,H-JEPAで分散された共有遅延HWMチェックポイントに対して,このアプローチを評価する。
一般的な評価プロトコルでは、キューブでは70.4%、Push-Tでは48.7%、FourRoomでは100.0%、Visual AntMazeでは71.1%である。
論文 参考訳(メタデータ) (2026-10-19T11:13:02Z) - Rank-Reliable Teacher-Guided Fitness Approximation for Expensive Evolutionary Optimization: A TinyML Architecture Search Study [0.0]
Teacher-Guided Learning NSGA-IIは、制約付きTiny Machine Learning(TinyML)ニューラルアーキテクチャサーチのための低忠実度フレームワークである。
我々は,評価分散,スコア集中,ペアワイズインバージョン,期待Kendall-$,ファーストフロント識別,ハイパーアダプティブ摂動の分析を行った。
キーワードスポッティングとバードコール分類では、測定値であるKendall-$$は0.74と0.62であり、対応する予測下限である0.60と0.46を上回っている。
論文 参考訳(メタデータ) (2026-09-24T21:03:03Z) - A Particle-Swarm-Assisted Gradient Meta-Learning Algorithm for Joint Transmit Precoding and STAR-RIS Coefficient Optimization [2.567067472745855]
本稿では,送信プリコーダの共振干渉と同時に送信・反射する予約状態の伝送/反射係数について検討する。
マルチ品質な勾配支援メタラーニングシステムを提案する。
論文 参考訳(メタデータ) (2026-09-24T07:27:32Z) - Closed-Form Spectral Regularization for Multi-Task Model Merging [96.82449201305234]
モデルマージは、個別に調整された複数の専門家をトレーニングデータなしで単一のマルチタスクモデルに結合する。
State-of-the-art merging method formulate merging as a layer-wise interference problem。
本稿では,逐次降下の勾配-流路に一致するソフト指数フィルタを組み合わせた閉形式手法SWUDIを提案する。
論文 参考訳(メタデータ) (2026-06-05T14:00:47Z) - Adaptive regularization parameter selection for high-dimensional inverse problems: A Bayesian approach with Tucker low-rank constraints [1.6936594801109557]
高次元空間からタッカー分解による低次元コアテンソル空間への変分推論を変換することにより、計算複雑性を低減する。
鍵となる革新は、異方性構造に対する適応正則化を可能にするモードごとの精度パラメータの導入である。
この手法は110,000の変数を持つ問題にスケールし、従来の手法を0.73-2.09dB、熱伝導率6.75dBで上回っている。
論文 参考訳(メタデータ) (2026-03-17T02:23:44Z) - ODAR: Principled Adaptive Routing for LLM Reasoning via Active Inference [60.958331943869126]
ODAR-Expertは、原則化されたリソース割り当てによる精度と効率のトレードオフを最適化する適応的なルーティングフレームワークである。
我々は、MATHの98.2%の精度、HumanityのLast Examの54.8%を含む、強く一貫した利得を示している。
論文 参考訳(メタデータ) (2026-02-27T05:22:01Z) - Towards a Science of Scaling Agent Systems [79.64446272302287]
エージェント評価の定義を定式化し,エージェント量,コーディネーション構造,モデル,タスク特性の相互作用として,スケーリング法則を特徴付ける。
協調指標を用いて予測モデルを導出し,R2=0をクロスバリデーションし,未知のタスク領域の予測を可能にする。
ツールコーディネーショントレードオフ: 固定的な計算予算の下では, ツールヘビータスクはマルチエージェントのオーバーヘッドから不均衡に悩まされ, 2) 能力飽和: 調整が減少または負のリターンを, 単一エージェントのベースラインが45%を超えると達成できる。
論文 参考訳(メタデータ) (2025-12-09T06:52:21Z) - Leveraging Stochastic Depth Training for Adaptive Inference [1.996143466020199]
本稿では,ゼロオーバーヘッド,単一モデル,時間予測可能な推論を用いた適応推論の簡易かつ効果的な代替手法を提案する。
従来のResNetと比較して、精度0.71%の低下で最大2倍の効率向上を実現した。
論文 参考訳(メタデータ) (2025-05-23T08:36:56Z) - HAFLQ: Heterogeneous Adaptive Federated LoRA Fine-tuned LLM with Quantization [55.972018549438964]
LLM(Federated Fine-tuning of Pre-trained Large Language Models)は、さまざまなデータセットにまたがるタスク固有の適応を可能にすると同時に、プライバシの保護を可能にする。
本研究では, HAFLQ (Heterogeneous Adaptive Federated Low-Rank Adaptation Fine-tuned LLM with Quantization) を提案する。
テキスト分類タスクの実験結果から,HAFLQはメモリ使用量を31%削減し,通信コストを49%削減し,精度を50%向上し,ベースライン法よりも高速な収束を実現している。
論文 参考訳(メタデータ) (2024-11-10T19:59:54Z) - Prompt Tuning for Parameter-efficient Medical Image Segmentation [79.09285179181225]
2つの医用画像データセットのセマンティックセグメンテーションにパラメータ効率が良いが効果的な適応を実現するために,いくつかのコントリビューションを提案し,検討する。
我々はこのアーキテクチャを、オンライン生成プロトタイプへの割り当てに基づく専用密集型セルフスーパービジョンスキームで事前訓練する。
得られたニューラルネットワークモデルにより、完全に微調整されたモデルとパラメータに適応したモデルとのギャップを緩和できることを実証する。
論文 参考訳(メタデータ) (2022-11-16T21:55:05Z) - Inception Convolution with Efficient Dilation Search [121.41030859447487]
拡散畳み込みは、効果的な受容場を制御し、オブジェクトの大規模な分散を処理するための標準的な畳み込みニューラルネットワークの重要な変異体である。
そこで我々は,異なる軸,チャネル,層間の独立な拡散を有する拡張畳み込みの新たな変異体,すなわち開始(拡張)畳み込みを提案する。
本稿では,データに複雑なインセプション・コンボリューションを適合させる実用的な手法を探索し,統計的最適化に基づく簡易かつ効果的な拡張探索アルゴリズム(EDO)を開発した。
論文 参考訳(メタデータ) (2020-12-25T14:58:35Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。