論文の概要: CaLMFlow: Volterra Flow Matching using Causal Language Models

• arxiv url: http://arxiv.org/abs/2410.05292v1
• Date: Thu, 3 Oct 2024 05:07:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-11-01 19:47:38.390170
• Title: CaLMFlow: Volterra Flow Matching using Causal Language Models
• Title（参考訳）: CaLMFlow:因果言語モデルを用いたボルテラフローマッチング
• Authors: Sizhuang He, Daniel Levine, Ivan Vrkic, Marco Francesco Bressana, David Zhang, Syed Asad Rizvi, Yangtian Zhang, Emanuele Zappala, David van Dijk,
• Abstract要約: CaLMFlowはVolterra積分方程式(VIE)としてフローマッチングをキャストするフレームワークである 本手法は,空間と時間にまたがるトークン化を実現し,これらの領域上でVIEを解く。 単一セル摂動応答予測を含む合成および実世界のデータに対するCaLMFlowの有効性を実証する。
• 参考スコア（独自算出の注目度）: 14.035963716966787
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: We introduce CaLMFlow (Causal Language Models for Flow Matching), a novel framework that casts flow matching as a Volterra integral equation (VIE), leveraging the power of large language models (LLMs) for continuous data generation. CaLMFlow enables the direct application of LLMs to learn complex flows by formulating flow matching as a sequence modeling task, bridging discrete language modeling and continuous generative modeling. Our method implements tokenization across space and time, thereby solving a VIE over these domains. This approach enables efficient handling of high-dimensional data and outperforms ODE solver-dependent methods like conditional flow matching (CFM). We demonstrate CaLMFlow's effectiveness on synthetic and real-world data, including single-cell perturbation response prediction, showcasing its ability to incorporate textual context and generalize to unseen conditions. Our results highlight LLM-driven flow matching as a promising paradigm in generative modeling, offering improved scalability, flexibility, and context-awareness.
• Abstract（参考訳）: 本稿では、Volterra積分方程式(VIE)としてフローマッチングをキャストする新しいフレームワークであるCaLMFlowを紹介し、大規模言語モデル(LLM)のパワーを連続データ生成に活用する。 CaLMFlowは,フローマッチングをシーケンスモデリングタスクとして定式化し,個別言語モデリングと連続生成モデリングをブリッジすることで,LCMの複雑な流れを直接的に学習することを可能にする。 本手法は,空間と時間にまたがるトークン化を実現し,これらの領域上でVIEを解く。 このアプローチは、高次元データの効率的なハンドリングを可能にし、条件付きフローマッチング(CFM)のようなODEソルバに依存した手法より優れている。 単一セル摂動応答予測を含む合成および実世界のデータに対するCaLMFlowの有効性を示す。 この結果から,LLM駆動型フローマッチングは,拡張性,柔軟性,コンテキスト認識性を向上した生成モデルとして有望なパラダイムとして注目された。

関連論文リスト

• FELLE: Autoregressive Speech Synthesis with Token-Wise Coarse-to-Fine Flow Matching [51.32059240975148]
  FELLEは、言語モデリングとトークンワイドフローマッチングを統合する自動回帰モデルである。 各連続値トークンに対して、FELLEは、前ステップからの情報を組み込んで、フローマッチングにおける一般的な事前分布を変更する。 FELLEは、言語モデルの出力に基づいて階層的に連続値のトークンを生成する。
  論文  参考訳（メタデータ） (2025-02-16T13:54:32Z)
• Simulation Streams: A Programming Paradigm for Controlling Large Language Models and Building Complex Systems with Generative AI [3.3126968968429407]
  Simulation Streamsは、LLM(Large Language Models)を効率的に制御し活用するために設計されたプログラミングパラダイムである。 私たちの一番の目標は、一貫性を維持するための制限に対処しながら、LLMのエージェント能力を活用するフレームワークを作ることです。
  論文  参考訳（メタデータ） (2025-01-30T16:38:03Z)
• Multimodal Latent Language Modeling with Next-Token Diffusion [111.93906046452125]
  マルチモーダル生成モデルは、離散データ(テキストやコードなど)と連続データ(画像、オーディオ、ビデオなど)の両方を扱う統一的なアプローチを必要とする。 因果変換器を用いて連続データと離散データをシームレスに統合する潜在言語モデリング(LatentLM)を提案する。
  論文  参考訳（メタデータ） (2024-12-11T18:57:32Z)
• Matchmaker: Self-Improving Large Language Model Programs for Schema Matching [60.23571456538149]
  本稿では,スキーママッチングのための合成言語モデルプログラムを提案する。 Matchmakerは、ラベル付きデモを必要とせずに、ゼロショットで自己改善する。 実証的に、Matchmakerが以前のMLベースのアプローチより優れている実世界の医療スキーママッチングベンチマークを実証する。
  論文  参考訳（メタデータ） (2024-10-31T16:34:03Z)
• Local Flow Matching Generative Models [19.859984725284896]
  局所フローマッチング(Local Flow Matching)は、フローベース生成モデルに基づく密度推定のための計算フレームワークである。 $textttLFM$はシミュレーション不要のスキームを採用し、フローマッチングサブモデルのシーケンスを漸進的に学習する。 FMと比較して, $textttLFM$ のトレーニング効率と競争的生成性能の改善を実証した。
  論文  参考訳（メタデータ） (2024-10-03T14:53:10Z)
• FLUID-LLM: Learning Computational Fluid Dynamics with Spatiotemporal-aware Large Language Models [15.964726158869777]
  大規模言語モデル(LLM)は、顕著なパターン認識と推論能力を示している。 FLUID-LLMは,非定常流体力学を予測するために,事前学習LLMと事前認識符号化を組み合わせた新しいフレームワークである。 この結果から,FLUID-LLMは時間情報を事前学習したLLMに効果的に統合し,CFDタスク性能を向上させることが示唆された。
  論文  参考訳（メタデータ） (2024-06-06T20:55:40Z)
• Language Rectified Flow: Advancing Diffusion Language Generation with Probabilistic Flows [53.31856123113228]
  本稿では,言語認識フロー (ours) を提案する。 本手法は, 標準確率流モデルの再構成に基づく。 実験およびアブレーション実験により,本手法は多くのNLPタスクに対して汎用的,効果的,有益であることが示されている。
  論文  参考訳（メタデータ） (2024-03-25T17:58:22Z)
• Model Composition for Multimodal Large Language Models [71.5729418523411]
  本稿では,既存のMLLMのモデル構成による新しいパラダイムを提案する。 我々の基本的な実装であるNaiveMCは、モダリティエンコーダを再利用し、LLMパラメータをマージすることで、このパラダイムの有効性を実証する。
  論文  参考訳（メタデータ） (2024-02-20T06:38:10Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。