論文の概要: LLM Flow Processes for Text-Conditioned Regression

• arxiv url: http://arxiv.org/abs/2601.06147v1
• Date: Mon, 05 Jan 2026 21:20:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-01-13 19:08:00.614482
• Title: LLM Flow Processes for Text-Conditioned Regression
• Title（参考訳）: テキストコンディション回帰のためのLCMフロープロセス
• Authors: Felix Biggs, Samuel Willis,
• Abstract要約: 大規模言語モデル(LLM)は、説明やメタデータとともに、さまざまな実世界の回帰データセットを含む巨大なコーパスでトレーニングされる。 最近の作業では、これをレグレッションタスクに拡張し、そのような事前の知識とメタデータを活用することができ、驚くほど優れたパフォーマンスを実現しています。 本稿では,拡散・流れマッチングモデルと,確率密度が2値の「専門家」の積から抽出する一般手法を提案する。
• 参考スコア（独自算出の注目度）: 4.196805115026664
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Meta-learning methods for regression like Neural (Diffusion) Processes achieve impressive results, but with these models it can be difficult to incorporate expert prior knowledge and information contained in metadata. Large Language Models (LLMs) are trained on giant corpora including varied real-world regression datasets alongside their descriptions and metadata, leading to impressive performance on a range of downstream tasks. Recent work has extended this to regression tasks and is able to leverage such prior knowledge and metadata, achieving surprisingly good performance, but this still rarely matches dedicated meta-learning methods. Here we introduce a general method for sampling from a product-of-experts of a diffusion or flow matching model and an `expert' with binned probability density; we apply this to combine neural diffusion processes with LLM token probabilities for regression (which may incorporate textual knowledge), exceeding the empirical performance of either alone.
• Abstract（参考訳）: ニューラル(拡散)プロセスのような回帰のメタラーニング手法は印象的な結果をもたらすが、これらのモデルでは、専門的な事前知識とメタデータに含まれる情報を組み込むことは困難である。 大規模言語モデル(LLM)は、さまざまな実世界の回帰データセットを含む巨大なコーパスでトレーニングされ、説明やメタデータとともに、さまざまな下流タスクにおける印象的なパフォーマンスを実現している。 最近の研究は、これをレグレッションタスクにまで拡張し、そのような以前の知識とメタデータを活用することができ、驚くほど優れたパフォーマンスを実現しています。 本稿では,拡散・流動マッチングモデルと「専門家」の積と双発確率密度の積から抽出する一般的な手法を紹介し,この手法を用いて,ニューラルネットワークの拡散過程とLLMトークンの回帰確率(テキスト知識を組み込むことも可能)を組み合わせ,両者の実証的性能を上回るものにする。

関連論文リスト

• Large Language Models as Universal Predictors? An Empirical Study on Small Tabular Datasets [0.0]
  大規模言語モデル(LLM)は、下流タスクを明示的に微調整することなく、構造化された入力に対して予測タスクを実行することができる。 分類,回帰,クラスタリングタスクのための小規模構造化データセット上でのLCMの実証関数近似能力について検討した。 以上の結果から,LLMは構造化データの汎用的予測エンジンとして機能する可能性が示唆された。
  論文  参考訳（メタデータ） (2025-08-24T15:00:51Z)
• Method-Based Reasoning for Large Language Models: Extraction, Reuse, and Continuous Improvement [0.3807314298073301]
  本稿では,学習内容,生成応答,ユーザインタラクションから抽出した,大規模言語モデル(LLM)を明示的かつ再利用可能な手順で拡張する手法に基づくモデルを提案する。 我々のモデルは,次の予測を超える連続的な学習,手法の再利用,論理的一貫性を実現する。
  論文  参考訳（メタデータ） (2025-08-06T10:26:52Z)
• DUET: Optimizing Training Data Mixtures via Feedback from Unseen Evaluation Tasks [40.91931801667421]
  本稿では, ベイズ最適化を用いたデータ選択手法として, 影響関数をインターリーブし, 特定の未確認評価タスクからのフィードバックによるデータ混合を最適化する, グローバル・ローカルなアルゴリズムを提案する。 DUETの累積的後悔を解析することにより、DUETはタスクに関するデータ知識がなくても、見えないタスクに対して最適なトレーニングデータ混合に収束することを示す。
  論文  参考訳（メタデータ） (2025-02-01T01:52:32Z)
• Forewarned is Forearmed: Leveraging LLMs for Data Synthesis through Failure-Inducing Exploration [90.41908331897639]
  大規模言語モデル(LLM)は、多種多様な高品質なタスク特化データのトレーニングの恩恵を受けている。 本稿では,効果的なトレーニングサンプルを自動生成する新しい手法であるReverseGenを提案する。
  論文  参考訳（メタデータ） (2024-10-22T06:43:28Z)
• FREE: Faster and Better Data-Free Meta-Learning [77.90126669914324]
  Data-Free Meta-Learning (DFML) は、トレーニング済みモデルのコレクションから、元のデータを必要としない知識を抽出することを目的としている。 i)事前訓練されたモデルからトレーニングタスクを迅速に回復するためのメタジェネレータ,(ii)新しい未知のタスクに一般化するためのメタラーナーを含む、より高速で優れたデータフリーなメタラーニングフレームワークを紹介する。
  論文  参考訳（メタデータ） (2024-05-02T03:43:19Z)
• In-Context Symbolic Regression: Leveraging Large Language Models for Function Discovery [5.2387832710686695]
  本稿では,記号回帰のタスクにLarge Language Models(LLM)を利用する,最初の包括的フレームワークを紹介する。 In-Context Symbolic Regression (ICSR) は、外部LLMで関数形式を反復的に洗練し、その係数を外部LLMで決定するSR手法である。 以上の結果から,LLMは与えられたデータに適合するシンボリック方程式の発見に成功し,最高のSRベースラインの総合性能を4つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2024-04-29T20:19:25Z)
• Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
  大きな言語モデル(LLM)の能力を高めることが大きな課題だ。 本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。 次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
  論文  参考訳（メタデータ） (2024-02-22T04:10:57Z)
• Amortizing intractable inference in large language models [56.92471123778389]
  難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。 我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。 重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
  論文  参考訳（メタデータ） (2023-10-06T16:36:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。