論文の概要: QF: Quick Feedforward AI Model Training without Gradient Back Propagation

• arxiv url: http://arxiv.org/abs/2507.04300v1
• Date: Sun, 06 Jul 2025 08:56:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-07-08 15:46:35.109169
• Title: QF: Quick Feedforward AI Model Training without Gradient Back Propagation
• Title（参考訳）: QF: 緩やかなバックプロパゲーションを伴わないクイックフィードフォワードAIモデルトレーニング
• Authors: Feng Qi,
• Abstract要約: QFラーニング(QF Learning)は、モデル重みへの命令由来の知識の効率的な伝達のためのフレームワークである。 QF更新はクローズドな形式で計算され、パラメータの変更を最小限にし、事前の知識を保持する必要がある。 コードとモデルはGitHubで公開されている。
• 参考スコア（独自算出の注目度）: 0.7932660207156295
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose Quick Feedforward (QF) Learning, a novel knowledge consolidation framework for transformer-based models that enables efficient transfer of instruction derived knowledge into model weights through feedforward activations without any gradient back propagation. Unlike traditional finetuning, QF updates are computed in closed form, require minimal parameter modification, and preserve prior knowledge. Importantly, QF allows models to train and infer within the same runtime environment, making the process more resource efficient and closely aligned with how the human brain operates. Code and models are open sourced on GitHub. I hope QF Learning inspires a more efficient and brain-like paradigm for AI systems.
• Abstract（参考訳）: QF学習(Quick Feedforward Learning、クイックフィードフォワード学習)はトランスフォーマーモデルのための新しい知識統合フレームワークである。 従来の微調整とは異なり、QF更新はクローズドな形式で計算され、パラメータの変更を最小限にし、事前の知識を保持する必要がある。 重要なことは、QFによってモデルは同じ実行環境内でトレーニングと推論が可能になり、プロセスはより効率的で、人間の脳の動作と密に一致します。 コードとモデルはGitHubで公開されている。 QF LearningがAIシステムに対して、より効率的で頭脳的なパラダイムを刺激してくれることを願っています。

関連論文リスト

• DPFormer: Dynamic Prompt Transformer for Continual Learning [5.396395274502375]
  連続学習では、破滅的な問題を忘れると、モデルは安定性と塑性のジレンマに陥る可能性がある。 本稿では,プロンプトスキームを用いた新しい動的プロンプトトランス (DPFormer) を提案する。 プロンプトスキームは、DPFormerが以前のクラスやタスクの知識を記憶し、単一のネットワーク構造の下で新しいクラスやタスクから新しい知識を学習し続けるのに役立つ。
  論文  参考訳（メタデータ） (2025-06-09T04:26:20Z)
• Knowledge Grafting of Large Language Models [35.09135973799701]
  大規模言語モデル(LLM)研究において,クロスキャパビリティ・トランスファーは重要な課題である。 FuseLLMやFuseChatといった最近の研究は、複数のモデル機能を軽量モデルに転送する可能性を実証している。 本稿では,SkillPackフォーマットのターゲットモデルにソースモデル機能を格納する新しい手法であるGraftLLMを紹介する。
  論文  参考訳（メタデータ） (2025-05-24T04:43:24Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• KIF: Knowledge Identification and Fusion for Language Model Continual Learning [41.28933724210434]
  言語モデルのための新しいフレームワーク、Knowledge Identification and Fusion (KIF)を紹介する。 KIFはパラメータ依存に基づいてモデルを'スキルユニット'に分離し、より正確な制御を可能にする。 新たな課題に対するスキルユニットの重要性の分布を確認するために,新しいグループ単位の知識識別技術を採用している。 その結果、KIFは、事前知識の保持と、新しいタスクの卓越とを最適なバランスで達成する。
  論文  参考訳（メタデータ） (2024-08-09T17:44:45Z)
• Efficient and Flexible Neural Network Training through Layer-wise Feedback Propagation [49.44309457870649]
  レイヤワイドフィードバックフィードバック(LFP)は、ニューラルネットワークのような予測器のための新しいトレーニング原則である。 LFPはそれぞれの貢献に基づいて個々のニューロンに報酬を分解する。 提案手法は,ネットワークの有用な部分と有害な部分の弱体化を両立させる手法である。
  論文  参考訳（メタデータ） (2023-08-23T10:48:28Z)
• Plug-and-Play Knowledge Injection for Pre-trained Language Models [116.37916535076478]
  外部知識を注入することで、様々な下流NLPタスクにおける事前学習言語モデル(PLM)の性能を向上させることができる。 下流タスクのための新しい知識注入方法や知識ベースを展開するには、大規模な再訓練が必要である。 既存の下流モデルを用いて知識注入の柔軟性と効率を改善する方法について検討する。
  論文  参考訳（メタデータ） (2023-05-28T10:58:00Z)
• Kformer: Knowledge Injection in Transformer Feed-Forward Layers [107.71576133833148]
  そこで我々は,Transformerのフィードフォワード層を通じて外部知識を組み込んだ新しい知識融合モデルKformerを提案する。 FFNに単に知識を注入するだけで、事前学習された言語モデルの能力が向上し、現在の知識融合法が促進されることを実証的に見出した。
  論文  参考訳（メタデータ） (2022-01-15T03:00:27Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。