論文の概要: LLM REgression with a Latent Iterative State Head

• arxiv url: http://arxiv.org/abs/2604.01206v1
• Date: Wed, 01 Apr 2026 17:50:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-04-02 16:44:32.131306
• Title: LLM REgression with a Latent Iterative State Head
• Title（参考訳）: ラテントイテレーティブ・ステートヘッドを用いたLCM回帰
• Authors: Yiheng Su, Matthew Lease,
• Abstract要約: RELISH (Regression with a Latent Iterative State Head) は、大規模言語モデルによるテキスト回帰のために設計された。 数値ターゲットをテキストとしてデコードしたり、複数の出力を集約する代わりに、RELISHは凍結したLLM表現から直接スカラー値を予測する。
• 参考スコア（独自算出の注目度）: 5.834466269126943
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present RELISH (REgression with a Latent Iterative State Head), a novel, lightweight architecture designed for text regression with large language models. Rather than decoding numeric targets as text or aggregating multiple generated outputs, RELISH predicts scalar values directly from frozen LLM representations by iteratively refining a learned latent state through cross-attention over token-level representations, and then mapping the final state to a point estimate with a linear regressor. Across five datasets, four LLM backbones, and two LLM training regimes, RELISH consistently outperforms prior baselines from all three major LLM regression families, including autoregressive decoding, regression-aware inference, and existing predictive head methods. Despite these gains, RELISH remains highly parameter-efficient, requiring only 3.4-3.7M trainable parameters across frozen LLM backbones (only 0.01-0.04% additional overhead), far less than LoRA-based alternatives that grow with model size (0.26-0.42%).
• Abstract（参考訳）: 本稿では,RELISH(Regression with a Latent Iterative State Head)について述べる。 数値ターゲットをテキストとしてデコードしたり、複数の生成された出力を集約する代わりに、RELISHは、トークンレベルの表現を横断して学習した潜在状態を反復的に精算することで、凍結LDM表現から直接スカラー値を予測し、最終状態を線形回帰器で点推定にマッピングする。 5つのデータセット、4つのLLMバックボーン、2つのLLMトレーニングレジームにおいて、RELISHは自動回帰復号、回帰認識推論、既存の予測ヘッドメソッドを含む3つの主要なLLM回帰ファミリーのベースラインを一貫して上回っている。 これらの利益にもかかわらず、RELISHは非常にパラメータ効率が高く、凍ったLCMのバックボーンに3.4-3.7Mのトレーニング可能なパラメータしか必要とせず(0.01-0.04%の追加オーバーヘッド)、モデルサイズ(0.26-0.42%)で成長するLoRAベースの代替機よりもはるかに少ない。

関連論文リスト

• LLM-as-RNN: A Recurrent Language Model for Memory Updates and Sequence Prediction [16.71499144106184]
  大規模言語モデルは強いシーケンス予測子であるが、標準推論は不変のコンテキスト履歴に依存している。 提案するLLM-as-RNNは,凍結したLLMを,その隠れ状態を自然言語メモリとして表現することで,再帰予測器に変換する推論専用フレームワークである。 本手法はLlama, Gemma, GPTモデルファミリにおける医療, 気象学, ファイナンスにおける3つの逐次ベンチマークで評価した。
  論文  参考訳（メタデータ） (2026-01-19T19:41:39Z)
• RIDE: Enhancing Large Language Model Alignment through Restyled In-Context Learning Demonstration Exemplars [57.6513924960128]
  調整調整は、大きな言語モデル(LLM)が倫理的かつ有用な振る舞いを確実にするために不可欠である。 本稿では,LLMアライメントを向上させるために,ICL(In-context Learning)を用いた低コストでチューニング不要な手法を提案する。
  論文  参考訳（メタデータ） (2025-02-17T11:16:19Z)
• LLM-Lasso: A Robust Framework for Domain-Informed Feature Selection and Regularization [59.75242204923353]
  LLM-Lassoは大規模言語モデル(LLM)を利用してラッソ回帰における特徴選択を導くフレームワークである。 LLMは各特徴に対してペナルティ因子を生成し、単純でチューニング可能なモデルを用いてラスソペナルティの重みに変換される。 LLMによりより関連づけられた特徴は、より低い罰を受け、最終モデルに保持される可能性を高める。
  論文  参考訳（メタデータ） (2025-02-15T02:55:22Z)
• Understanding LLM Embeddings for Regression [8.095573259696092]
  本論文は埋め込み型回帰に関する最初の包括的な研究の1つを提供する。 LLMを機能として組み込むことは,従来の機能工学よりも高次元回帰作業に有効であることを示す。 私たちは異なるモデル効果、特にモデルのサイズと言語理解の貢献を定量化します。
  論文  参考訳（メタデータ） (2024-11-22T03:33:51Z)
• In-Context Symbolic Regression: Leveraging Large Language Models for Function Discovery [5.2387832710686695]
  本稿では,記号回帰のタスクにLarge Language Models(LLM)を利用する,最初の包括的フレームワークを紹介する。 In-Context Symbolic Regression (ICSR) は、外部LLMで関数形式を反復的に洗練し、その係数を外部LLMで決定するSR手法である。 以上の結果から,LLMは与えられたデータに適合するシンボリック方程式の発見に成功し,最高のSRベースラインの総合性能を4つのベンチマークで評価した。
  論文  参考訳（メタデータ） (2024-04-29T20:19:25Z)
• Regression-aware Inference with LLMs [52.764328080398805]
  提案手法は,一般的な回帰と評価指標に準最適であることを示す。 本稿では,ベイズ最適解を推定し,サンプル応答からクローズド形式の評価指標を推定する代替推論手法を提案する。
  論文  参考訳（メタデータ） (2024-03-07T03:24:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。