論文の概要: 5% > 100%: Flatness Preference is All You Need for Multimodal Parameter-Efficient Fine-Tuning

• arxiv url: http://arxiv.org/abs/2606.10488v1
• Date: Tue, 09 Jun 2026 07:03:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-10 15:40:58.361621
• Title: 5% > 100%: Flatness Preference is All You Need for Multimodal Parameter-Efficient Fine-Tuning
• Title（参考訳）: 5% > 100%:マルチモーダルパラメータ効率の良いファインチューニングに必要な平坦度設定
• Authors: Yifan Zhu, Can Lin, Hangjie Yuan, Zixiang Zhao, Pengfei Zhang, Tao Feng, Zhonghong Ou,
• Abstract要約: 様々なPEFTに広く存在する平坦さの選好を明らかにする。 本稿では,これらの鍵次元をフラット化するための平坦性優先最適化(FlatPO)を提案し,様々なPEFTをよりよい一般化に向けて導く。
• 参考スコア（独自算出の注目度）: 27.955890308972254
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Parameter-Efficient Fine-Tuning (PEFT) methods provide a streamlined and efficient tool for adapting large models to domain-specific multimodal downstream tasks. Although these methods proved their tangible effects in practice, their principal aspects remain under-explored. Therefore we remain curious about the underlying generalization mechanisms in various PEFT methods and how they can be further enhanced. In this paper, we reveal the flatness preference widely present in various PEFTs, where a small fraction of sharp dimensions dominates the generalization of PEFT. This finding suggests an appealing possibility: we may be satisfied with a better generalization by merely attending to this small fraction of sharp dimensions instead of all of them. Furthermore, we propose Flatness Preference Optimization (FlatPO) to flatten these key sharpness dimensions, leading various PEFTs toward better generalization. Extensive experiments demonstrate the effectiveness of our findings and the proposed method. Code is available at https://github.com/Can-Lin/FlatPO.
• Abstract（参考訳）: パラメータ効率のよいファインチューニング(PEFT)手法は、大規模モデルをドメイン固有のマルチモーダル下流タスクに適応するための、合理的で効率的なツールを提供する。 これらの手法は実際にその具体的な効果を証明したが、その主要な側面は未解明のままである。 したがって、様々なPEFT法における基礎となる一般化機構と、それらをさらに強化する方法について、引き続き疑問を呈する。 本稿では, 様々なPEFTにおいて, 鋭い次元のごく一部がPEFTの一般化を左右する平坦さの嗜好を明らかにする。 この発見は魅力的な可能性を示しており、我々はこれら全てではなく、このわずかな鋭い次元にのみ参加することでより優れた一般化に満足するかもしれない。 さらに,これらの重要なシャープネス次元をフラット化するためのフラットネス選好最適化(FlatPO)を提案し,様々なPEFTをよりよい一般化に向けて導いた。 広範囲な実験により,本研究の有効性と提案手法の有効性が示された。 コードはhttps://github.com/Can-Lin/FlatPO.comで入手できる。

関連論文リスト

• TS-PEFT: Token-Selective Parameter-Efficient Fine-Tuning with Learnable Threshold Gating [8.102270371993411]
  本稿では,関数 S が位置指標のサブセットにPEFT を選択的に適用する Token-Selective PEFT (TS-PEFT) という新しいパラダイムを提案する。 実験の結果,すべての指標に対するPEFTの非差別的適用は過剰であるだけでなく,非生産的である可能性が示唆された。
  論文  参考訳（メタデータ） (2025-11-20T08:41:20Z)
• MEPT: Mixture of Expert Prompt Tuning as a Manifold Mapper [75.6582687942241]
  本稿では,Mixture of Expert Prompt Tuning (MEPT) を効果的かつ効率的な多様体マッピングフレームワークとして提案する。 MEPTは複数のプロンプト専門家を統合し、多様な非定常データ分布を適応的に学習する。 経験的評価により、MEPTはSuperGLUE上でいくつかの最先端パラメータの効率的なベースラインより優れていることが示された。
  論文  参考訳（メタデータ） (2025-08-31T21:19:25Z)
• Preserving Pre-trained Representation Space: On Effectiveness of Prefix-tuning for Large Multi-modal Models [24.62337386603331]
  大規模マルチモーダルモデル(LMM)は、機械が世界と対話する方法に革命をもたらしている。 下流タスクにLMMを適用するために,パラメータ効率細調整(PEFT)が普及している。 本稿では,各チューニング戦略の長所と短所に着目し,これらのアプローチに典型的な効率性から焦点を移す。
  論文  参考訳（メタデータ） (2024-10-29T07:55:50Z)
• Lessons and Insights from a Unifying Study of Parameter-Efficient Fine-Tuning (PEFT) in Visual Recognition [36.031972728327894]
  視覚変換器を用いた代表PEFT手法の統一実験を行った。 VTAB-1Kでは,異なるPEFT法で類似の精度が得られた。 類似した精度にもかかわらず、PEFT法は、異なる帰納バイアスのために、異なる誤りと高い信頼率の予測を行う。
  論文  参考訳（メタデータ） (2024-09-24T19:57:40Z)
• See Further for Parameter Efficient Fine-tuning by Standing on the Shoulders of Decomposition [56.87609859444084]
  パラメータ効率の細かいチューニング(PEFT)は、パラメータの選択したサブセットを最適化し、残りを固定し、計算とストレージのオーバーヘッドを大幅に削減することに焦点を当てている。 分解の観点からそれらを分離することで、すべてのアプローチを統一する第一歩を踏み出します。 本稿では,PEFT技術の性能向上を目的とした,単純かつ効果的なフレームワークとともに,新しい2つのPEFT手法を提案する。
  論文  参考訳（メタデータ） (2024-07-07T15:44:42Z)
• Parameter-Efficient Fine-Tuning for Pre-Trained Vision Models: A Survey and Benchmark [95.0484665958967]
  事前学習された視覚モデル(PVM)は、幅広い下流の視覚タスクに顕著な適応性を示した。 これらのモデルが数十億または数兆のパラメータにスケールするにつれて、計算と記憶の要求が高いため、従来の完全な微調整はますます非現実的になっている。 パラメータ効率の良いファインチューニング(PEFT)は、モデルパラメータを最小限に調整しながら、完全なファインチューニングに匹敵するパフォーマンスを実現するための、有望な代替手段として登場した。
  論文  参考訳（メタデータ） (2024-02-03T19:12:20Z)
• Scaling Down to Scale Up: A Guide to Parameter-Efficient Fine-Tuning [10.51168925267033]
  本稿は,2019年前半から2024年半ばにかけて発行された50以上の論文を対象とした,パラメータ効率の高い微調整手法の体系的概要について述べる。 幅広い手法を網羅し,詳細な方法比較を行う分類法を提案する。 また,15種類のPEFT法を用いて,最大11Bパラメータのモデル上での性能と効率を評価する実験を行った。
  論文  参考訳（メタデータ） (2023-03-28T00:06:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。