論文の概要: Flow to Learn: Flow Matching on Neural Network Parameters

• arxiv url: http://arxiv.org/abs/2503.19371v1
• Date: Tue, 25 Mar 2025 05:57:50 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-26 16:51:29.107139
• Title: Flow to Learn: Flow Matching on Neural Network Parameters
• Title（参考訳）: 学習のためのフロー:ニューラルネットワークパラメータを用いたフローマッチング
• Authors: Daniel Saragih, Deyu Cao, Tejas Balaji, Ashwin Santhosh,
• Abstract要約: 我々は、異なるタスクに対してニューラルネットワークパラメータを生成することを学習するフローマッチングモデルであるFLoWNを紹介する。 実験により、FLoWNはメタラーニングモデルのために様々なデシラタが得られることが確認された。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Foundational language models show a remarkable ability to learn new concepts during inference via context data. However, similar work for images lag behind. To address this challenge, we introduce FLoWN, a flow matching model that learns to generate neural network parameters for different tasks. Our approach models the flow on latent space, while conditioning the process on context data. Experiments verify that FLoWN attains various desiderata for a meta-learning model. In addition, it matches or exceeds baselines on in-distribution tasks, provides better initializations for classifier training, and is performant on out-of-distribution few-shot tasks while having a fine-tuning mechanism to improve performance.
• Abstract（参考訳）: 基礎言語モデルは、文脈データを通して推論中に新しい概念を学ぶ素晴らしい能力を示す。 しかし、画像の類似の処理は遅れている。 この課題に対処するために、異なるタスクに対してニューラルネットワークパラメータを生成することを学ぶフローマッチングモデルであるFLoWNを導入する。 我々のアプローチは、コンテキストデータにプロセスを条件づけながら、潜在空間上のフローをモデル化する。 実験により、FLoWNはメタラーニングモデルのために様々なデシラタが得られることが確認された。 さらに、分散処理タスクのベースラインに適合または超過し、分類器トレーニングのイニシャライゼーションが向上し、パフォーマンスを改善するための微調整機構を持ちながら、配布外数ショットタスクでパフォーマンスが向上する。

関連論文リスト

• Do We Need to Design Specific Diffusion Models for Different Tasks? Try ONE-PIC [77.8851460746251]
  本稿では,超音速拡散モデルに対する単純,効率的,汎用的なアプローチを提案する。 ONE-PICは、追加モジュールを導入することなく、事前訓練された拡散モデルにおける継承された生成能力を向上する。 本手法は,適応プロセスの合理化を図り,低コストで優れた性能を実現する,シンプルで効率的な手法である。
  論文  参考訳（メタデータ） (2024-12-07T11:19:32Z)
• Transferable Post-training via Inverse Value Learning [83.75002867411263]
  別個のニューラルネットワーク(すなわち値ネットワーク)を用いた後学習におけるロジットレベルのモデリング変更を提案する。 このネットワークをデモを使って小さなベースモデルでトレーニングした後、推論中に他のトレーニング済みモデルとシームレスに統合することができる。 得られた値ネットワークは、パラメータサイズの異なる事前学習されたモデル間で広い転送性を有することを示す。
  論文  参考訳（メタデータ） (2024-10-28T13:48:43Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• Make Prompts Adaptable: Bayesian Modeling for Vision-Language Prompt Learning with Data-Dependent Prior [14.232144691524528]
  最近のVision-Language Pretrainedモデルは、多くの下流タスクのバックボーンとなっている。 MLEトレーニングは、トレーニングデータにおいて、コンテキストベクトルを過度に適合する画像特徴に導くことができる。 本稿では,素早い学習のためのベイズ的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-01-09T10:15:59Z)
• Guided Flows for Generative Modeling and Decision Making [55.42634941614435]
  その結果,ガイドフローは条件付き画像生成やゼロショット音声合成におけるサンプル品質を著しく向上させることがわかった。 特に、我々は、拡散モデルと比較して、オフライン強化学習設定axスピードアップにおいて、まず、計画生成にフローモデルを適用する。
  論文  参考訳（メタデータ） (2023-11-22T15:07:59Z)
• Latent State Models of Training Dynamics [51.88132043461152]
  異なるランダムなシードでモデルをトレーニングし、トレーニングを通じてさまざまなメトリクスを計算します。 次に、結果のメトリクス列に隠れマルコフモデル(HMM)を適合させる。 我々はHMM表現を用いて相転移を研究し、収束を遅くする潜伏状態(detour state)を特定する。
  論文  参考訳（メタデータ） (2023-08-18T13:20:08Z)
• Artificial-Spiking Hierarchical Networks for Vision-Language Representation Learning [16.902924543372713]
  最先端の手法は、大規模データセットの事前トレーニングによって、素晴らしいパフォーマンスを達成する。 本稿では,新しい視覚的セマンティックモジュールを導入することで,マルチモーダルアライメントのための効率的なフレームワークを提案する。 実験の結果、提案されたASH-Netsは競合する結果が得られることが示された。
  論文  参考訳（メタデータ） (2023-08-18T10:40:25Z)
• Learning to Learn with Generative Models of Neural Network Checkpoints [71.06722933442956]
  ニューラルネットワークのチェックポイントのデータセットを構築し,パラメータの生成モデルをトレーニングする。 提案手法は,幅広い損失プロンプトに対するパラメータの生成に成功している。 我々は、教師付きおよび強化学習における異なるニューラルネットワークアーキテクチャとタスクに本手法を適用した。
  論文  参考訳（メタデータ） (2022-09-26T17:59:58Z)
• Fully differentiable model discovery [0.0]
  ニューラルネットワークに基づくサロゲートとスパースベイズ学習を組み合わせたアプローチを提案する。 我々の研究は、PINNを様々なタイプのニューラルネットワークアーキテクチャに拡張し、ニューラルネットワークベースのサロゲートをベイズパラメータ推論のリッチフィールドに接続する。
  論文  参考訳（メタデータ） (2021-06-09T08:11:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。