論文の概要: Manifold-Constrained Hyper-Connections for Parameter-Efficient Finetuning

• arxiv url: http://arxiv.org/abs/2607.18130v1
• Date: Mon, 20 Jul 2026 16:24:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-07-21 18:48:37.705902
• Title: Manifold-Constrained Hyper-Connections for Parameter-Efficient Finetuning
• Title（参考訳）: パラメータ効率のよいファインタニングのためのマニフォールド制約ハイパーコネクション
• Abstract要約: 本稿では, 新たなPEFT手法として, 学習された残差ルーティングモジュールで凍結したOLMo-2バックボーンをラップする残差接続の一般化について検討する。 mHCは凍結したトランスフォーマーを微調整できるが、その役割は元々の事前学習環境と根本的に異なる。
• 参考スコア（独自算出の注目度）: 0.46906883107634084
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Most parameter-efficient finetuning (PEFT) methods adapt weights or activations, thus leaving one of the key Transformer components unchanged: residual connections. This paper investigates Manifold-Constrained Hyper-Connections (mHC), a generalisation of residual connections, as a novel PEFT approach, wrapping frozen OLMo-2 backbones with learned residual routing modules. We find that mHC can finetune frozen Transformers, but that its role differs fundamentally from the original pre-training setting: in finetuning, fixing the residual mixing matrix to identity often improves performance. As a standalone PEFT method, mHC does not consistently outperform LoRA. However, at matched trainable parameter budgets, mHC+LoRA combinations improve language-modelling loss and show task-dependent benchmark gains at both 1B and 7B scale. Overall, our results identify residual routing as a distinct and promising novel PEFT axis.
• Abstract（参考訳）: ほとんどのパラメータ効率の微調整(PEFT)手法は重みやアクティベーションに適応するため、キートランスフォーマーコンポーネントの1つが変更されない:残余接続である。 本稿では, 残留接続の一般化であるmanifold-Constrained Hyper-Connections (mHC) を新しいPEFT手法として検討し, 学習された残留ルーティングモジュールで凍結したOLMo-2バックボーンをラップする。 mHCは冷凍トランスフォーマーを微調整できるが、その役割は元々のトレーニング前の設定と根本的に異なる。 独立PEFT法として、mHCはLoRAを一貫して上回るものではない。 しかし、訓練可能なパラメータ予算では、mHC+LoRAの組み合わせは言語モデリングの損失を改善し、1Bと7Bの両方でタスク依存ベンチマークゲインを示す。 以上の結果から,残差経路を新たなPEFT軸として同定した。

関連論文リスト

• When Model Merging Breaks Routing: Training-Free Calibration for MoE [67.27839627141972]
  Hessian-Aware Router (HARC) は、二階曲率情報を利用してマージされたルータを認識できるトレーニングフリーのフレームワークである。 数学的推論とコード生成タスクの実験は、HARCが様々なMoEマージベースライン間のルーティングの分解を効果的に軽減していることを示している。
  論文  参考訳（メタデータ） (2026-06-02T09:33:33Z)
• PEAM: Parametric Embodied Agent Memory through Contrastive Internalization of Experience in Minecraft [59.80301645617478]
  本稿では,MinecraftのParametric Embodied Agent MemoryフレームワークであるPEAMを紹介する。 PEAMは、エージェントメモリを推論時間検索から経験を通して内部化されたパラメータレジデントスキルに変換する。 PEAMは,長時間のタスクパフォーマンスを改善し,従来と統合されていたスキルの忘れを軽減し,パラメトリック・ヴァーサス・検索効率を向上させる。
  論文  参考訳（メタデータ） (2026-05-26T23:20:58Z)
• An Adapter-free Fine-tuning Approach for Tuning 3D Foundation Models [22.63554774942836]
  本稿では,完全かつパラメータ効率の良いファインチューニングのギャップを埋めるために,MCFT(Momentum-Consistency Fine-Tuning)を提案する。 MCFTは、運動量ベースの一貫性制約を強制しながら、事前訓練されたエンコーダの一部を選択的に微調整する。 我々はMCFTを2つの変種で拡張する: 豊富なラベル付きデータを活用する半教師付きフレームワークと、計算効率を向上させるプルーニングベースの変種。
  論文  参考訳（メタデータ） (2026-03-24T21:28:37Z)
• IntraSlice: Towards High-Performance Structural Pruning with Block-Intra PCA for LLMs [37.1665041786606]
  大きな言語モデル(LLM)は、さまざまなタスクにわたって強力なパフォーマンスを実現しますが、その巨大なサイズのため、デプロイメントの課題に直面します。 近年,PCAをベースとしたプルーニング手法では,キーアクティベーションコンポーネントの保持によりこの問題が緩和されている。 ブロックワイドモジュールイントラPCA圧縮プルーニングを適用するフレームワークであるIntraSliceを提案する。
  論文  参考訳（メタデータ） (2026-02-02T11:28:56Z)
• Least-Loaded Expert Parallelism: Load Balancing An Imbalanced Mixture-of-Experts [74.40169987564724]
  エキスパート並列性(EP)は、複数のデバイスに専門家を分散させることで、MoEモデルをスケールするように設計されている。 極端な不均衡の下で、EPは少数の専門家に不均等な数のトークンを渡し、計算とメモリバウンドの障害を引き起こす。 本稿では,過剰なトークンと関連する専門家パラメータを過負荷デバイスから未利用デバイスへ動的に再帰する新しいEPアルゴリズムであるLast-Loaded Expert Parallelism (LLEP)を提案する。
  論文  参考訳（メタデータ） (2026-01-23T18:19:15Z)
• Constrained Edge AI Deployment: Fine-Tuning vs Distillation for LLM Compression [1.85373927927491]
  現代のモデルは、エッジデプロイメントの厳密な計算、メモリ、接続制約を満たすために、構造化プルーニングと再トレーニングの組み合わせによって圧縮されることが多い。 我々の焦点は最大圧縮を達成することではなく、再学習損失関数の影響を分離することである。 エッジネットワークに典型的な断続的あるいは否定的な接続シナリオに適したコモンセンスQAのOLMo2-7B-SFTモデル上で両方のパイプラインを評価する。
  論文  参考訳（メタデータ） (2025-05-13T19:06:32Z)
• ALoRE: Efficient Visual Adaptation via Aggregating Low Rank Experts [71.91042186338163]
  ALoREは、Kroneckerによって構築された超複素パラメータ化空間をAggregate Low Rank Expertsに再利用する新しいPETL法である。 巧妙な設計のおかげで、ALoREは無視できる余分なパラメータを保持し、凍ったバックボーンに強制的にマージできる。
  論文  参考訳（メタデータ） (2024-12-11T12:31:30Z)
• FuseGPT: Learnable Layers Fusion of Generative Pre-trained Transformers [30.88764351013966]
  GPT(Generative Pre-trained Transformer)は、様々な領域で顕著な性能を示す。 近年の研究では、トランスブロック内の冗長性を観察し、重要でないブロックの構造化プルーニングによる圧縮法を開発した。 FuseGPTは,プルーンドトランスフォーマーブロックをリサイクルし,モデルの性能を回復する新しい手法である。
  論文  参考訳（メタデータ） (2024-11-21T09:49:28Z)
• Make Pre-trained Model Reversible: From Parameter to Memory Efficient Fine-Tuning [6.451743797015637]
  本稿では,事前学習した言語モデルに対するメモリ効率のよい微調整(MEFT)を提案する。 MEFTはアダプタをPLMに挿入し、PLMの開始点を保ち、追加の事前訓練なしで可逆的にすることができる。 MEFTは、トレーニング可能なパラメータの無視量でフル微調整の84%まで、アクティベーションメモリを大幅に削減する。
  論文  参考訳（メタデータ） (2023-06-01T09:26:17Z)
• MixPHM: Redundancy-Aware Parameter-Efficient Tuning for Low-Resource Visual Question Answering [66.05768870785548]
  微調整事前学習型視覚言語モデル(VLM)は、視覚質問応答(VQA)における最先端性能を達成するための一般的なパラダイムである。 現在のパラメータ効率のチューニング手法は、チューニング可能なパラメータの数を劇的に削減するが、完全な微調整を伴う大きなパフォーマンスギャップは依然として残っている。 低リソースVQAにおける完全微調整よりも優れた冗長性を考慮したパラメータ効率調整法であるMixPHMを提案する。
  論文  参考訳（メタデータ） (2023-03-02T13:28:50Z)
• AdaMix: Mixture-of-Adaptations for Parameter-efficient Model Tuning [112.97430455461097]
  本稿では,各トランスフォーマー層に導入される適応モジュールの混合を調整し,PLMの重みの大半を凍結させながら,汎用PEFT法を提案する。 PLMパラメータの0.1-0.2%だけをチューニングすることにより、AdaMix は NLU および NLG のタスクに対して SOTA パラメータ効率の良い微調整およびフルモデル微調整より優れていることを示す。
  論文  参考訳（メタデータ） (2022-10-31T16:23:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。