論文の概要: Towards Efficient Post-Training via Fourier-Driven Adapter Architectures

• arxiv url: http://arxiv.org/abs/2512.22378v1
• Date: Fri, 26 Dec 2025 20:50:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-30 22:37:30.016716
• Title: Towards Efficient Post-Training via Fourier-Driven Adapter Architectures
• Title（参考訳）: フーリエ駆動アダプタアーキテクチャによる効率的なポストトレーニングに向けて
• Authors: Donggyun Bae, Jongil Park,
• Abstract要約: 本稿では,大規模な事前学習言語モデルのパラメータ効率向上のための,Fourier-Activated Adapter (FAA) と呼ばれる新しいフレームワークを提案する。 FAAは中間表現を相補的な低周波成分と高周波成分に分解し、意味情報の周波数適応を可能にする。 FAAは、既存のパラメータ効率の良い微調整手法と比較して、競争力や優れた性能を一貫して達成している。
• 参考スコア（独自算出の注目度）: 1.18885605647513
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a novel framework, termed Fourier-Activated Adapter (FAA), for parameter-efficient fine-tuning of large pre-trained language models. By incorporating random Fourier features into lightweight adapter modules, FAA decomposes intermediate representations into complementary low- and high-frequency components, enabling frequency-aware modulation of semantic information. This design allows the model to selectively emphasize informative frequency bands during adaptation while preserving the representational capacity of the frozen backbone. Extensive experiments on GLUE, E2E NLG, and instruction-tuning benchmarks demonstrate that FAA consistently achieves competitive or superior performance compared to existing parameter-efficient fine-tuning methods, while maintaining low computational and memory overhead. Ablation studies further verify the effectiveness of frequency-aware activation and adaptive weighting mechanisms, highlighting FAA as a robust and efficient approach for post-training large language models.
• Abstract（参考訳）: 本稿では,大規模な事前学習言語モデルのパラメータ効率向上のための,Fourier-Activated Adapter (FAA) と呼ばれる新しいフレームワークを提案する。 FAAは、ランダムなフーリエ機能を軽量なアダプタモジュールに組み込むことで、中間表現を補完的な低周波成分と高周波成分に分解し、セマンティック情報の周波数適応を可能にする。 この設計により、凍結したバックボーンの表現能力を維持しながら、適応中に情報周波数帯域を選択的に強調することができる。 GLUE、E2E NLG、命令チューニングベンチマークに関する大規模な実験により、FAAは計算とメモリのオーバーヘッドを低く保ちながら、既存のパラメータ効率の高い微調整方法と比較して、競争力や優れた性能を一貫して達成していることが示された。 アブレーション研究は、周波数認識活性化と適応重み付け機構の有効性をさらに検証し、FAAを大規模言語モデルの訓練後における堅牢で効率的なアプローチとして強調した。

関連論文リスト

• Communication-Efficient Wireless Federated Fine-Tuning for Large-Scale AI Models [13.742950928229078]
  Low-Rank Adaptation (LoRA) は、完全に微調整された大型モデルではなく、コンパクトで低ランクな行列を訓練することでこれらの問題に対処する。 本稿では,学習性能と通信効率の両方を最適化する無線フェデレーションLoRAファインチューニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-05-01T06:15:38Z)
• LoCA: Location-Aware Cosine Adaptation for Parameter-Efficient Fine-Tuning [47.77830360814755]
  位置認識コサイン適応(LoCA)は離散逆コサイン変換(iDCT)に基づく新しい周波数領域パラメーター効率微調整法である 分析の結果,周波数領域の分解が従来の低ランク手法の表現率を上回ることが判明した。 多様な言語および視覚的微調整タスクの実験は、LoCAが低ランク法に匹敵する計算能力を維持しながら、パラメータ効率を向上することを示した。
  論文  参考訳（メタデータ） (2025-02-05T04:14:34Z)
• Skip Tuning: Pre-trained Vision-Language Models are Effective and Efficient Adapters Themselves [123.07450481623124]
  下流タスクに視覚言語モデルを適用するための新しいパラダイムとして,Skip Tuningを提案する。 既存のPTやアダプタベースの方法とは異なり、Skip Tuningは追加のコンテキストベクトルやアダプタモジュールを導入することなく、FTベースラインにLayer-wise Skipping(LSkip)とClass-wise Skipping(CSkip)を適用する。
  論文  参考訳（メタデータ） (2024-12-16T07:33:23Z)
• Visual Fourier Prompt Tuning [63.66866445034855]
  本稿では,大規模なトランスフォーマーモデルに適用するための汎用的で効果的な方法として,Visual Fourier Prompt Tuning (VFPT)法を提案する。 提案手法では,高速フーリエ変換を即時埋め込みに取り入れ,空間領域情報と周波数領域情報の両方を調和的に検討する。 提案手法は,2つのベンチマークにおいて,現状のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2024-11-02T18:18:35Z)
• Efficient Language Model Architectures for Differentially Private Federated Learning [21.280600854272716]
  クロスデバイス・フェデレーション・ラーニング(Cross-device Federated Learning, FL)は、デバイスを離れることなく、数百万のエッジデバイスに分散したデータ上でモデルをトレーニングするテクニックである。 言語モデルの集中的なトレーニングでは、安定性とパフォーマンスの向上を提供するため、適応が望ましい。 ニューラルリカレントセルにおけるシグモイドとタンハの活性化を修飾することにより、SI CIFG (Coupled Input Forget Gate) 再カレントネットワークを提案する。
  論文  参考訳（メタデータ） (2024-03-12T22:21:48Z)
• Approximated Prompt Tuning for Vision-Language Pre-trained Models [54.326232586461614]
  視覚言語による事前学習モデルでは、事前学習タスクと下流タスクのギャップを埋めるために、しばしば多くの学習可能なトークンを必要とする。 本稿では,効率的なVL転送学習を実現するために,APT(Approximated Prompt Tuning)アプローチを提案する。
  論文  参考訳（メタデータ） (2023-06-27T05:43:47Z)
• Fast-FNet: Accelerating Transformer Encoder Models via Efficient Fourier Layers [0.0]
  トランスフォーマーベースの言語モデルは、ほぼすべての自然言語処理(NLP)タスクにおいて、大幅なパフォーマンス向上のためにアテンションメカニズムを利用する。 最近の研究は、計算不効率の欠点を取り除くことに重点を置いており、トランスフォーマーベースのモデルが注意層を使わずに競争結果に到達できることを示した。 先駆的な研究は、アテンション層をトランスフォーマーエンコーダアーキテクチャのフーリエ変換(FT)に置き換えるFNetを提案した。
  論文  参考訳（メタデータ） (2022-09-26T16:23:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。