論文の概要: Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction

• arxiv url: http://arxiv.org/abs/2506.04650v2
• Date: Fri, 13 Jun 2025 13:10:26 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-06-16 13:34:01.883526
• Title: Neural Network Reprogrammability: A Unified Theme on Model Reprogramming, Prompt Tuning, and Prompt Instruction
• Title（参考訳）: ニューラルネットワークの再現性: モデル再プログラミング、プロンプトチューニング、プロンプト命令に関する統一テーマ
• Authors: Zesheng Ye, Chengyi Cai, Ruijiang Dong, Jianzhong Qi, Lei Feng, Pin-Yu Chen, Feng Liu,
• Abstract要約: モデル適応のための統一フレームワークとして,ニューラルネットワークの再プログラム可能性を導入する。 本稿では,4つの重要な側面にまたがる情報操作アプローチを分類する分類法を提案する。 残る技術的課題や倫理的考察も分析する。
• 参考スコア（独自算出の注目度）: 55.914891182214475
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: As large-scale pre-trained foundation models continue to expand in size and capability, efficiently adapting them to specific downstream tasks has become increasingly critical. Despite substantial progress, existing adaptation approaches have evolved largely in isolation, without a clear understanding of their interrelationships. This survey introduces neural network reprogrammability as a unifying framework that bridges mainstream model adaptation techniques--model reprogramming, prompt tuning, and prompt instruction--previously fragmented research areas yet converges on a shared principle: repurposing a pre-trained model by manipulating information at the interfaces while keeping the model parameters frozen. These methods exploit neural networks' sensitivity to manipulation on different interfaces, be it through perturbing inputs, inserting tokens into intermediate layers, or providing task-specific examples in context, to redirect model behaviors towards desired outcomes. We then present a taxonomy that categorizes such information manipulation-based adaptation approaches across four key dimensions: manipulation format (fixed or learnable), location (interfaces where manipulations occur), operator (how they are applied), and output alignment requirement (post-processing needed to align outputs with downstream tasks). Notably, this framework applies consistently across data modalities, independent of specific model architectures. Moreover, viewing established techniques like in-context learning and chain-of-thought prompting through this lens reveals both their theoretical connections and practical distinctions. We further analyze remaining technical challenges and ethical considerations, positioning neural network reprogrammability as a fundamental paradigm for efficient model adaptation. We lastly identify promising research directions emerging from this integrative viewpoint.
• Abstract（参考訳）: 大規模で事前訓練された基礎モデルのサイズと能力が拡大し続けており、特定の下流タスクに効率的に適応することがますます重要になっている。 大幅な進歩にもかかわらず、既存の適応アプローチは、相互関係を明確に理解することなく、ほとんど独立して進化してきた。 本調査では,モデルパラメータの凍結を保ちながら,インターフェースで情報を操作することで,事前学習されたモデルを再定義する,という共有原則に基づいて,モデル再プログラミング,迅速なチューニング,迅速な命令処理といった,主流のモデル適応テクニックを橋渡しする統一フレームワークとして,ニューラルネットワークのプログラム可能性を紹介した。 これらの方法は、入力の摂動、中間層へのトークン挿入、あるいはコンテキスト内のタスク固有の例の提供を通じて、異なるインターフェースでの操作に対するニューラルネットワークの感度を利用して、望ましい結果に向けてモデル動作をリダイレクトする。 次に、情報操作に基づく適応アプローチを、操作形式(修正または学習可能な)、位置(操作を行うインターフェース)、演算子(適用方法)、出力アライメント要求(出力を下流タスクに整列させるために必要な後処理)の4つの重要な側面に分類する分類法を提案する。 特に、このフレームワークは特定のモデルアーキテクチャとは独立して、データモダリティに対して一貫して適用されます。 さらに、このレンズを通して、文脈内学習や思考の連鎖といった確立した手法を観察することで、それらの理論的つながりと実践的な区別が明らかになる。 さらに、効率的なモデル適応のための基本パラダイムとして、ニューラルネットワークの再プログラミング可能性(英語版)を位置づけ、残る技術的課題と倫理的考察を分析する。 最後に、この統合的視点から生じる有望な研究方向を特定する。

関連論文リスト

• Invariance Pair-Guided Learning: Enhancing Robustness in Neural Networks [0.0]
  トレーニングフェーズを通じてニューラルネットワークを誘導する手法を提案する。 従来の勾配降下法を補完する補正勾配を形成する。 ColoredMNIST、Waterbird-100、CelebANISTデータセットの実験は、我々のアプローチの有効性を実証している。
  論文  参考訳（メタデータ） (2025-02-26T09:36:00Z)
• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• MergeNet: Knowledge Migration across Heterogeneous Models, Tasks, and Modalities [72.05167902805405]
  異種モデルのパラメータ空間のギャップを埋めることを学ぶMergeNetを提案する。 MergeNetの中核となるメカニズムはパラメータアダプタにあり、ソースモデルの低ランクパラメータをクエリすることで動作する。 MergeNetは両方のモデルと共に学習され、我々のフレームワークは、現在のステージに関する知識を動的に転送し、適応することができます。
  論文  参考訳（メタデータ） (2024-04-20T08:34:39Z)
• Robust Graph Representation Learning via Predictive Coding [46.22695915912123]
  予測符号化は、当初脳の情報処理をモデル化するために開発されたメッセージパッシングフレームワークである。 本研究では,予測符号化のメッセージパス規則に依存するモデルを構築する。 提案したモデルは,帰納的タスクと帰納的タスクの両方において,標準的なモデルに匹敵する性能を示す。
  論文  参考訳（メタデータ） (2022-12-09T03:58:22Z)
• Data-driven emergence of convolutional structure in neural networks [83.4920717252233]
  識別タスクを解くニューラルネットワークが、入力から直接畳み込み構造を学習できることを示す。 データモデルを慎重に設計することにより、このパターンの出現は、入力の非ガウス的、高次局所構造によって引き起こされることを示す。
  論文  参考訳（メタデータ） (2022-02-01T17:11:13Z)
• The Importance of the Current Input in Sequence Modeling [0.0]
  入力と出力の間に直接接続を加えるという非常に単純なアイデアが、繰り返しモジュールをスキップすることで、予測精度が向上することを示す。 異なる問題に対する実験により、再帰的なネットワークへのこのような接続が常に改善されることが示されている。
  論文  参考訳（メタデータ） (2021-12-22T10:29:20Z)
• Learning Neural Models for Natural Language Processing in the Face of Distributional Shift [10.990447273771592]
  特定のデータセットでひとつのタスクを実行するための強力な神経予測器をトレーニングするNLPのパラダイムが、さまざまなアプリケーションで最先端のパフォーマンスを実現している。 データ分布が定常である、すなわち、トレーニングとテストの時間の両方で、データは固定された分布からサンプリングされる、という仮定に基づいて構築される。 この方法でのトレーニングは、人間が絶えず変化する情報の流れの中で学習し、操作できる方法と矛盾する。 データ分散がモデル寿命の経過とともにシフトすることが期待される実世界のユースケースに不適応である。
  論文  参考訳（メタデータ） (2021-09-03T14:29:20Z)
• A purely data-driven framework for prediction, optimization, and control of networked processes: application to networked SIS epidemic model [0.8287206589886881]
  我々は,大規模ネットワーク上での非線形力学の同定と制御を行う演算子理論に基づくデータ駆動型フレームワークを開発した。 提案手法では、ネットワーク構造に関する事前の知識は必要とせず、状態の2段階のスナップショットのみを用いて基礎となるダイナミクスを識別する。
  論文  参考訳（メタデータ） (2021-08-01T03:57:10Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。