論文の概要: CaLMFlow: Volterra Flow Matching using Causal Language Models

• arxiv url: http://arxiv.org/abs/2410.05292v1
• Date: Thu, 3 Oct 2024 05:07:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 19:47:38.390170
• Title: CaLMFlow: Volterra Flow Matching using Causal Language Models
• Title（参考訳）: CaLMFlow:因果言語モデルを用いたボルテラフローマッチング
• Authors: Sizhuang He, Daniel Levine, Ivan Vrkic, Marco Francesco Bressana, David Zhang, Syed Asad Rizvi, Yangtian Zhang, Emanuele Zappala, David van Dijk,
• Abstract要約: CaLMFlowはVolterra積分方程式(VIE)としてフローマッチングをキャストするフレームワークである 本手法は,空間と時間にまたがるトークン化を実現し,これらの領域上でVIEを解く。 単一セル摂動応答予測を含む合成および実世界のデータに対するCaLMFlowの有効性を実証する。
• 参考スコア（独自算出の注目度）: 14.035963716966787
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce CaLMFlow (Causal Language Models for Flow Matching), a novel framework that casts flow matching as a Volterra integral equation (VIE), leveraging the power of large language models (LLMs) for continuous data generation. CaLMFlow enables the direct application of LLMs to learn complex flows by formulating flow matching as a sequence modeling task, bridging discrete language modeling and continuous generative modeling. Our method implements tokenization across space and time, thereby solving a VIE over these domains. This approach enables efficient handling of high-dimensional data and outperforms ODE solver-dependent methods like conditional flow matching (CFM). We demonstrate CaLMFlow's effectiveness on synthetic and real-world data, including single-cell perturbation response prediction, showcasing its ability to incorporate textual context and generalize to unseen conditions. Our results highlight LLM-driven flow matching as a promising paradigm in generative modeling, offering improved scalability, flexibility, and context-awareness.
• Abstract（参考訳）: 本稿では、Volterra積分方程式(VIE)としてフローマッチングをキャストする新しいフレームワークであるCaLMFlowを紹介し、大規模言語モデル(LLM)のパワーを連続データ生成に活用する。 CaLMFlowは,フローマッチングをシーケンスモデリングタスクとして定式化し,個別言語モデリングと連続生成モデリングをブリッジすることで,LCMの複雑な流れを直接的に学習することを可能にする。 本手法は,空間と時間にまたがるトークン化を実現し,これらの領域上でVIEを解く。 このアプローチは、高次元データの効率的なハンドリングを可能にし、条件付きフローマッチング(CFM)のようなODEソルバに依存した手法より優れている。 単一セル摂動応答予測を含む合成および実世界のデータに対するCaLMFlowの有効性を示す。 この結果から,LLM駆動型フローマッチングは,拡張性,柔軟性,コンテキスト認識性を向上した生成モデルとして有望なパラダイムとして注目された。

関連論文リスト

• Matchmaker: Self-Improving Large Language Model Programs for Schema Matching [60.23571456538149]
  本稿では,スキーママッチングのための合成言語モデルプログラムを提案する。 Matchmakerは、ラベル付きデモを必要とせずに、ゼロショットで自己改善する。 実証的に、Matchmakerが以前のMLベースのアプローチより優れている実世界の医療スキーママッチングベンチマークを実証する。
  論文  参考訳（メタデータ） (2024-10-31T16:34:03Z)
• Flow-DPO: Improving LLM Mathematical Reasoning through Online Multi-Agent Learning [14.156753196673598]
  本稿では,大規模言語モデルの微調整のための高品質な推論トレースを作成するための新しい手法を提案する。 本手法では,コンポーネントLLMが協調的にソリューションを構築するために,インクリメンタルな出力生成フローを用いる。 オンラインダイレクトパラメータ最適化(DPO)学習を用いてフローをトレーニングし、トレーニング例毎にDPOペアを生成し、モデルをリアルタイムで更新する。
  論文  参考訳（メタデータ） (2024-10-29T17:50:31Z)
• Unlocking the Potential of Model Merging for Low-Resource Languages [66.7716891808697]
  大規模言語モデルを新しい言語に適応させるには、通常、継続事前訓練(CT)と、教師付き微調整(SFT)が含まれる。 我々は低リソース言語の代替としてモデルマージを提案し、異なる機能を持つモデルを追加トレーニングなしで単一のモデルに組み合わせる。 Llama-2-7Bをベースとした実験により、モデルマージはタスク解決能力の低い低リソース言語に対して、極めて少ないデータを持つシナリオにおいて、CT-then-SFTよりも優れていることが実証された。
  論文  参考訳（メタデータ） (2024-07-04T15:14:17Z)
• FLUID-LLM: Learning Computational Fluid Dynamics with Spatiotemporal-aware Large Language Models [15.964726158869777]
  大規模言語モデル(LLM)は、顕著なパターン認識と推論能力を示している。 FLUID-LLMは,非定常流体力学を予測するために,事前学習LLMと事前認識符号化を組み合わせた新しいフレームワークである。 この結果から,FLUID-LLMは時間情報を事前学習したLLMに効果的に統合し,CFDタスク性能を向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-06-06T20:55:40Z)
• Language Rectified Flow: Advancing Diffusion Language Generation with Probabilistic Flows [53.31856123113228]
  本稿では,言語認識フロー (ours) を提案する。 本手法は, 標準確率流モデルの再構成に基づく。 実験およびアブレーション実験により,本手法は多くのNLPタスクに対して汎用的,効果的,有益であることが示されている。
  論文  参考訳（メタデータ） (2024-03-25T17:58:22Z)
• Model Composition for Multimodal Large Language Models [71.5729418523411]
  本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。 我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-20T06:38:10Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)
• Normalizing Flows with Multi-Scale Autoregressive Priors [131.895570212956]
  マルチスケール自己回帰前処理(mAR)を通した遅延空間におけるチャネルワイド依存性を導入する。 我々のmARは、分割結合フロー層(mAR-SCF)を持つモデルに先立って、複雑なマルチモーダルデータの依存関係をよりよく捉えます。 我々は,mAR-SCFにより画像生成品質が向上し,FIDとインセプションのスコアは最先端のフローベースモデルと比較して向上したことを示す。
  論文  参考訳（メタデータ） (2020-04-08T09:07:11Z)
• Closing the Dequantization Gap: PixelCNN as a Single-Layer Flow [16.41460104376002]
  有限体積を変換し、離散データに対する確率の正確な計算を可能にするサブセットフローを導入する。 我々は、WaveNets、PixelCNNs、Transformersを含む通常の離散自己回帰モデルを単層フローとして識別する。 我々は, CIFAR-10 を用いて, 脱量子化を訓練した流れモデルについて, 実測結果を示す。
  論文  参考訳（メタデータ） (2020-02-06T22:58:51Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。