論文の概要: HeuFouFT: Task-Guided Metaheuristic Coordinate Search for Fourier Fine-Tuning
- arxiv url: http://arxiv.org/abs/2610.06437v1
- Date: Mon, 05 Oct 2026 14:45:49 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-10-09 08:22:57.808056
- Title: HeuFouFT: Task-Guided Metaheuristic Coordinate Search for Fourier Fine-Tuning
- Title（参考訳）: HeuFouFT:フーリエファインチューニングのためのタスクガイド型メタヒューリスティックコーディネート検索
- Abstract要約: HeuFouFTはフーリエ微調整におけるトレーニング可能な周波数座標を選択するためのタスク誘導フレームワークである。
軽量ブロックレベルプローブからの粗い強度マップは、3つのメタヒューリスティクスを初期化する: GA-SA(Simulated Annealing)による遺伝的アルゴリズム、PSO(Particle Swarm Optimization)、CS(Cuckoo Search)。
- 参考スコア（独自算出の注目度）: 5.369604330391065
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: We introduce Heuristic-Guided Fourier Fine-Tuning (HeuFouFT), a task-guided framework for selecting trainable frequency coordinates in Fourier fine-tuning. Existing uniform and Gaussian band-pass schemes allocate a limited spectral budget through fixed, task-agnostic rules. HeuFouFT instead searches for coordinates using downstream performance. A coarse intensity map from lightweight block-level probes initializes three metaheuristic optimizers: Genetic Algorithm with Simulated Annealing (GA-SA), Particle Swarm Optimization (PSO), and Cuckoo Search (CS). During search, a Random Forest filters each population so that only the top 30% of candidates proceed to proxy fine-tuning. On E2E with GPT-2-Medium, all three variants outperform random-uniform FourierFT, Gaussian band-pass FourierFT, and LoRA across five metrics. PSO further outperforms LoCA, the best-performing baseline, on four metrics while using 37.6% fewer trainable spectral coefficients. Once coordinates are selected, HeuFouFT requires only 15--18% FLOPs of Full FT. These results show that task-guided search allocates limited spectral capacity more effectively than fixed sampling. Our code is publicly available.
- Abstract（参考訳）: フーリエ微調整におけるトレーニング可能な周波数座標を選択するためのタスク誘導フレームワークであるヒューリスティック誘導フーリエ微調整(HeuFouFT)を紹介する。
既存の制服とガウスのバンドパススキームは、固定されたタスクに依存しない規則を通じて限られたスペクトル予算を割り当てる。
HeuFouFTは代わりに下流のパフォーマンスを使って座標を検索する。
軽量ブロックレベルプローブからの粗い強度マップは、3つのメタヒューリスティックオプティマイザを初期化する: GA-SA(Genematic Algorithm with Simulated Annealing)、PSO(Particle Swarm Optimization)、CS(Cuckoo Search)。
調査中、ランダムフォレストは各人口をフィルターし、候補者の上位30%だけが微調整を行うようにしている。
GPT-2-MediumのE2Eでは、3つの変種がランダムユニフォームのFourierFT、ガウスのバンドパスのFourierFT、LoRAを5つの指標で上回る。
PSOはさらに、トレーニング可能なスペクトル係数を37.6%減らしながら、4つの指標で最高のパフォーマンスのベースラインであるLoCAを上回ります。
一度座標が選択されると、HuFouFTはフルFTの15--18%のFLOPしか必要としない。
これらの結果から,タスク誘導探索は固定サンプリングよりも限られたスペクトル容量を効果的に割り当てることがわかった。
私たちのコードは公開されています。
関連論文リスト
- Flexible-Region Based Adaptive In-Loop Filter for Video Coding [52.51693403192677]
ビデオ符号化のための適応ループフィルタ (ALF) は、符号化効率を向上させる重要な能力として注目されている。
現在の設計では、各フレームを最大16の領域に分割し、対応するフィルタ係数を導出して各領域を再構成する。
本稿では、AVS3における既存のALFの適応性を改善するために、フレキシブルリージョンベースALF(FRALF)方式を提案する。
論文 参考訳（メタデータ） (2026-07-17T03:44:51Z) - SpecGradFilter: A Spectral Gradient Filtering Framework for Taming Federated Heterogeneity [57.84199526590779]
フェデレートラーニング(FL)は、非ID分散(非IID)データがクライアントのドリフトを誘導し、グローバルな収束を阻害する統計的不均一性によって根本的に挑戦される。
本研究では,新しい周波数領域の観点からクライアントのドリフトを再考し,Drift のスペクトルバイアスを明らかにする。
そこで本研究では,低周波信号の不一致を抑えることで不均一性を解消するスペクトルフィルタリンググラディエント・フレームワークであるSpecGradFilterを提案する。
論文 参考訳（メタデータ） (2026-07-05T09:23:35Z) - Towards Fast and Effective Long Video Understanding of Multimodal Large Language Models via Adaptive Quasi-Gaussian Sampling [71.62893745623526]
ビデオフレーム選択は準ガウスサンプリングの問題である。
我々はAdaQと呼ばれる適応的でトレーニングなしのアプローチを提案する。
論文 参考訳（メタデータ） (2026-06-23T06:13:30Z) - Fourier Feature Pyramids for Physics-Informed Neural Networks [47.75068288153803]
偏微分方程式(PDE)を解くための改良されたニューラルネットワークアーキテクチャを提案する。
Bandlimited Embedding with Interpolated Grid Network (特集:Bandlimited Embedding with Interpolated Grid Network)
我々は,PDEベンチマークにおいて,最先端のPINN手法よりも少ないパラメータを用いて,ベニグレットがはるかに精度の高い解を見つけることを示した。
論文 参考訳（メタデータ） (2026-05-22T23:12:56Z) - optimize_anything: A Universal API for Optimizing any Text Parameter [98.42497715725356]
単一タスク検索をサポートする1つのAIベースの最適化システム、クロスプロブレム転送によるマルチタスク検索、および目に見えない入力への一般化を示す。
LLMに基づく検索によるテキストの最適化は汎用的な問題解決パラダイムであることを示す。
論文 参考訳（メタデータ） (2026-05-19T10:18:12Z) - Content-Aware Frequency Encoding for Implicit Neural Representations with Fourier-Chebyshev Features [14.632447227551864]
Inlicit Neural Representations (INR)は、様々な信号処理タスクの強力なパラダイムとして登場した。
その固有のスペクトルバイアスは、高周波の詳細を捉える能力を制限する。
既存の手法では、通常は固定周波数ベースに依存するフーリエベースの特徴を用いることで、この問題を部分的に軽減している。
論文 参考訳（メタデータ） (2026-03-01T10:14:19Z) - PFGNet: A Fully Convolutional Frequency-Guided Peripheral Gating Network for Efficient Spatiotemporal Predictive Learning [27.26429269735324]
PFGNetは、ピクセルワイドの周波数誘導ゲーティングによって受容場を動的に変調する完全な畳み込みフレームワークである。
PFGNetは、パラメータとFLOPが大幅に少ないSOTAまたは近SOTA予測性能を提供する。
論文 参考訳（メタデータ） (2026-02-24T04:31:12Z) - SPECTRE: An FFT-Based Efficient Drop-In Replacement to Self-Attention for Long Contexts [2.200751835496112]
長文変換器は、自己注意の二次的なコストのため、大幅な効率の課題に直面している。
本稿では,各注目ヘッドを高速な実FFTで置き換えるSPECTREを提案する。
我々は、この効率をPrefix-FFTキャッシュを介して自動回帰生成に拡張し、オプションのウェーブレットモジュールで局所的な特徴表現を強化する。
論文 参考訳（メタデータ） (2025-02-25T17:43:43Z) - FFPN: Fourier Feature Pyramid Network for Ultrasound Image Segmentation [15.011573950064424]
超音波(US)画像セグメンテーションは多くのシナリオにおいてリアルタイムかつ高精度な解析を必要とする活発な研究領域である。
既存のアプローチは、不適切な輪郭符号化に悩まされるか、エンコードされた結果の有効活用に失敗する可能性がある。
本稿では,Fourier Feature Pyramid Network (FFPN) と呼ばれる新しいFourier-anchor-based DTSフレームワークについて述べる。
論文 参考訳（メタデータ） (2023-08-26T07:28:09Z) - FAMLP: A Frequency-Aware MLP-Like Architecture For Domain Generalization [73.41395947275473]
本稿では、変換周波数領域において、ドメイン固有の特徴をフィルタリングする新しい周波数認識アーキテクチャを提案する。
3つのベンチマークの実験では、最先端の手法をそれぞれ3%、4%、9%のマージンで上回った。
論文 参考訳（メタデータ） (2022-03-24T07:26:29Z) - Fast Partial Fourier Transform [28.36925669222461]
高速フーリエ変換(FFT)は、多くの機械学習アプリケーションにおいて離散フーリエ変換を計算するアルゴリズムである。
広く使われているにもかかわらず、既知の全てのFFTアルゴリズムは、ユーザの要求を指定するための微調整オプションを提供していない。
本稿では,係数を計算すべき任意の連続範囲を指定可能な高速部分フーリエ変換(PFT)を提案する。
論文 参考訳（メタデータ） (2020-08-28T10:01:49Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。