論文の概要: Learning Like Humans: Resource-Efficient Federated Fine-Tuning through Cognitive Developmental Stages

• arxiv url: http://arxiv.org/abs/2508.00041v1
• Date: Thu, 31 Jul 2025 09:36:43 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-08-04 18:08:53.598083
• Title: Learning Like Humans: Resource-Efficient Federated Fine-Tuning through Cognitive Developmental Stages
• Title（参考訳）: 人間のような学習:認知発達段階における資源効率の良いファインチューニング
• Authors: Yebo Wu, Jingguang Li, Zhijiang Guo, Li Li,
• Abstract要約: フェデレートされた微調整により、Large Language Models(LLM)は、データプライバシを保持しながら、下流タスクに適応することができる。 本稿では,認知発達にインスパイアされた資源効率の高い手法であるDevFTを紹介する。 DevFTは微調整プロセスを発達段階に分解し、各サブモデルをパラメータ容量の増大で最適化する。
• 参考スコア（独自算出の注目度）: 10.715400075722004
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Federated fine-tuning enables Large Language Models (LLMs) to adapt to downstream tasks while preserving data privacy, but its resource-intensive nature limits deployment on edge devices. In this paper, we introduce Developmental Federated Tuning (DevFT), a resource-efficient approach inspired by cognitive development that progressively builds a powerful LLM from a compact foundation. DevFT decomposes the fine-tuning process into developmental stages, each optimizing submodels with increasing parameter capacity. Knowledge from earlier stages transfers to subsequent submodels, providing optimized initialization parameters that prevent convergence to local minima and accelerate training. This paradigm mirrors human learning, gradually constructing comprehensive knowledge structure while refining existing skills. To efficiently build stage-specific submodels, DevFT introduces deconfliction-guided layer grouping and differential-based layer fusion to distill essential information and construct representative layers. Evaluations across multiple benchmarks demonstrate that DevFT significantly outperforms state-of-the-art methods, achieving up to 4.59$\times$ faster convergence, 10.67$\times$ reduction in communication overhead, and 9.07% average performance improvement, while maintaining compatibility with existing approaches.
• Abstract（参考訳）: フェデレートされた微調整により、Large Language Models(LLM)は、データプライバシを保ちながら下流タスクに適応できるが、リソース集約的な性質により、エッジデバイスへのデプロイメントが制限される。 本稿では,認知発達にインスパイアされた資源効率の高い手法である開発フェデレーション・チューニング(DevFT)について紹介する。 DevFTは微調整プロセスを発達段階に分解し、各サブモデルをパラメータ容量を増大させて最適化する。 初期段階からの知識は後続のサブモデルに伝達され、局所的なミニマへの収束を防ぎ、訓練を加速する最適化された初期化パラメータが提供される。 このパラダイムは人間の学習を反映し、既存のスキルを磨きながら、包括的知識構造を徐々に構築する。 ステージ固有のサブモデルを効率的に構築するために、DevFTはデコンフリクション誘導層(deconfliction-guided layer grouping)とディファレンシャルベース層(differential-based layer fusion)を導入し、必須情報を蒸留し、代表層を構築する。 複数のベンチマークによる評価では、DevFTは最先端の手法を著しく上回り、最大4.59$\times$高速収束、10.67$\times$通信オーバーヘッドの削減、9.07%の平均性能改善を達成し、既存のアプローチとの互換性を維持している。

関連論文リスト

• Growing Transformers: Modular Composition and Layer-wise Expansion on a Frozen Substrate [0.0]
  本稿では,非学習可能で決定論的な入力埋め込みの基礎の上に構築された,モデル開発のための代替的,建設的なアプローチについて検討する。 異なるデータセットでトレーニングされたスペシャリストモデルは、単一のより有能なMixture-of-Expertsモデルにマージ可能であることを示す。 そこで我々は,深層トランスフォーマーを段階的に積み重ねて,一度に1つのレイヤをトレーニングすることで,階層的に構築的なトレーニング手法を導入する。
  論文  参考訳（メタデータ） (2025-07-08T20:01:15Z)
• Implicit Reward as the Bridge: A Unified View of SFT and DPO Connections [65.36449542323277]
  本稿では,Large Language Model (LLM) 後の学習において,SFT(Supervised Fine-Tuning) と優先学習を統合した理論フレームワークを提案する。 そこで本研究では,学習率の簡易かつ効果的な削減手法を提案する。
  論文  参考訳（メタデータ） (2025-06-15T05:42:29Z)
• FUDOKI: Discrete Flow-based Unified Understanding and Generation via Kinetic-Optimal Velocities [76.46448367752944]
  MLLM(Multimodal large language model)は、単一のフレームワーク内で視覚的理解と画像生成を統一する言語である。 ほとんどの既存のMLLMはAutore(AR)アーキテクチャに依存しており、将来の開発に固有の制限を課している。 本稿では,離散フローマッチングに基づく統一マルチモーダルモデルであるFUDOKIを紹介する。
  論文  参考訳（メタデータ） (2025-05-26T15:46:53Z)
• Will Pre-Training Ever End? A First Step Toward Next-Generation Foundation MLLMs via Self-Improving Systematic Cognition [89.50068130832635]
  自己改善認知 (SIcog) は、マルチモーダル知識によって次世代のMLLMを構築するための自己学習フレームワークである。 ステップバイステップの視覚的理解のためのChain-of-Descriptionを提案し、詳細なマルチモーダル推論をサポートするために構造化されたChain-of-Thought(CoT)推論を統合する。 実験は、マルチモーダル認知を増強したMLLMの開発におけるSIcogの有効性を示す。
  論文  参考訳（メタデータ） (2025-03-16T00:25:13Z)
• LESA: Learnable LLM Layer Scaling-Up [57.0510934286449]
  LLM(Large Language Models)をスクラッチからトレーニングするには膨大な計算資源が必要であるため、非常に高価である。 モデルスケーリングアップは、より小さなモデルのパラメータを活用してより大きなモデルを作成することで、有望なソリューションを提供する。 深度スケールアップのための新しい学習方法である textbfLESA を提案する。
  論文  参考訳（メタデータ） (2025-02-19T14:58:48Z)
• A Text-Based Knowledge-Embedded Soft Sensing Modeling Approach for General Industrial Process Tasks Based on Large Language Model [16.842988666530204]
  データ駆動型ソフトセンサー(DDSS)は、プロセス産業において重要なパフォーマンス指標を予測する主要な手法となっている。 開発には、モデリングプロセス中に様々なタスクに合わせてカスタマイズされた複雑でコストがかかる設計が必要である。 本稿では,LLM-TKESS(テキストベース知識埋め込み型ソフトセンシングのための大規模言語モデル)というフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-01-09T08:59:14Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• When Parameter-efficient Tuning Meets General-purpose Vision-language Models [65.19127815275307]
  PETALは、一意のモード近似技術によって達成される全パラメータの0.5%しか必要とせず、トレーニングプロセスに革命をもたらす。 実験の結果,PETALは現状の手法をほとんどのシナリオで上回るだけでなく,完全な微調整モデルよりも優れていることがわかった。
  論文  参考訳（メタデータ） (2023-12-16T17:13:08Z)
• Multiplicative update rules for accelerating deep learning training and increasing robustness [69.90473612073767]
  我々は、幅広い機械学習アルゴリズムに適合し、代替の更新ルールを適用することができる最適化フレームワークを提案する。 提案するフレームワークはトレーニングを加速する一方、従来の追加更新ルールとは対照的に、より堅牢なモデルにつながります。
  論文  参考訳（メタデータ） (2023-07-14T06:44:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。