論文の概要: DUALVIEW: Leveraging Broad and Output-Specific Evidence for LLM-based Multi-Output Text Regression

• arxiv url: http://arxiv.org/abs/2610.19206v1
• Date: Tue, 13 Oct 2026 21:17:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-15 21:06:15.811709
• Title: DUALVIEW: Leveraging Broad and Output-Specific Evidence for LLM-based Multi-Output Text Regression
• Title（参考訳）: DUALVIEW:LLMに基づく多出力テキスト回帰の広帯域化と出力特異なエビデンス
• Abstract要約: DualView は多出力テキスト回帰に LLM を利用するためのパラメータ効率のよいアプローチである。 3つの最強ベースラインの82--1842倍の適合パラメータが要求される。 Gemini 3.1 Proで教師なしの予測を上回ります。
• 参考スコア（独自算出の注目度）: 28.529040118998754
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: While work on LLM-based regression has largely focused on scalar prediction, multi-output text regression remains less explored. We present DualView, a parameter-efficient approach to leverage LLMs for multi-output text regression. \method{} first extracts broad and output-specific representations from a frozen LLM, then uses a dual-branch architecture to produce the full score vector. Across five heterogeneous regression tasks and eight LLMs (up to 122B), DualView outperforms seven supervised regression baselines while requiring 82--1842 times fewer fitted parameters than the three strongest baselines. These improvements extend across individual output dimensions and persist even with limited training data. Notably, DualView using a smaller open-weight LLM can outperform unsupervised prediction with Gemini 3.1 Pro. Controlled ablations show that broad and output-specific evidence provide complementary predictive benefits, while lightweight shared predictors achieve strong performance with fewer trainable parameters.
• Abstract（参考訳）: LLMに基づく回帰の研究はスカラー予測に重点を置いているが、マルチアウトプットテキストの回帰はいまだ研究されていない。 マルチ出力テキストレグレッションに LLM を利用するパラメータ効率のよいアプローチである DualView を提案する。 凍った LLM から広義および出力固有の表現を抽出し、次にデュアルブランチアーキテクチャを用いて完全なスコアベクトルを生成する。 5つの異種回帰タスクと8つのLLM(最大122B)で、DualViewは7つの教師付き回帰ベースラインを上回り、82-1842のパラメータは3つの最強ベースラインより少ない。 これらの改善は、個々の出力ディメンションにまたがって拡張され、限られたトレーニングデータでも持続する。 特に、より小型のオープンウェイトLCMを使用するDualViewは、Gemini 3.1 Proで教師なしの予測より優れている。 制御されたアブリゲーションは、広範かつ出力固有のエビデンスによって相補的な予測上の利点が得られ、一方軽量な共有予測器はトレーニング可能なパラメータを少なくして高いパフォーマンスを達成できることを示している。

関連論文リスト

• LLM REgression with a Latent Iterative State Head [5.834466269126943]
  RELISH (Regression with a Latent Iterative State Head) は、大規模言語モデルによるテキスト回帰のために設計された。 数値ターゲットをテキストとしてデコードしたり、複数の出力を集約する代わりに、RELISHは凍結したLLM表現から直接スカラー値を予測する。
  論文  参考訳（メタデータ） (2026-04-01T17:50:32Z)
• SpeLLM: Character-Level Multi-Head Decoding [6.474939955469084]
  SpeLLMは、複数の出力ヘッドを通して文字レベルの文字列を予測することで、入力と出力の語彙を分離する手法である。 SpeLLMでは、$k$のリニアヘッドが1つの文字を同時に予測し、モデルがより大きな出力空間を表現できるようにする。 4つの事前学習 LLM を用いた実験により,SpeLLM 変種は下流タスク上での競合性能を実現し,ランタイムを5.1%削減した。
  論文  参考訳（メタデータ） (2025-07-22T08:07:06Z)
• Univariate to Multivariate: LLMs as Zero-Shot Predictors for Time-Series Forecasting [6.100075022678881]
  時系列予測や予測は多くの実世界の動的システムにおいて重要である。 近年,この課題にLarge Language Models (LLM) を用いることが提案されている。 時系列列をテキストに変換してLLMに送ってゼロショット予測を行うことにより,LLMに基づく時系列予測を向上するLLMPredを提案する。
  論文  参考訳（メタデータ） (2025-06-03T03:02:47Z)
• First SFT, Second RL, Third UPT: Continual Improving Multi-Modal LLM Reasoning via Unsupervised Post-Training [37.80193099472551]
  MLLMの教師なし後学習のための簡易かつ効果的なフレームワークであるMM-UPTを提案する。 本実験は,Qwen2.5-VL-7Bの推論能力を効果的に向上することを示した。 我々は、MLLMに新しいトレーニングサンプルを合成させる2つの戦略を設計し、我々のフレームワークをデータ・セルフジェネレーション・セッティングに拡張する。
  論文  参考訳（メタデータ） (2025-05-28T15:11:16Z)
• R-Sparse: Rank-Aware Activation Sparsity for Efficient LLM Inference [77.47238561728459]
  R-スパース(R-Sparse)は、高度なLCMにおいて高い疎度を達成できる訓練不要なアクティベーション・スパシティ・アプローチである。 10種類のタスクにわたるLlama-2/3およびMistralモデルの実験は、R-Sparseが50%のモデルレベルの間隔で同等のパフォーマンスを達成することを示した。
  論文  参考訳（メタデータ） (2025-04-28T03:30:32Z)
• LLM2: Let Large Language Models Harness System 2 Reasoning [65.89293674479907]
  大規模言語モデル(LLM)は、無数のタスクにまたがって印象的な機能を示してきたが、時には望ましくない出力が得られる。 本稿では LLM とプロセスベースの検証器を組み合わせた新しいフレームワーク LLM2 を紹介する。 LLMs2は妥当な候補を生成するのに責任を持ち、検証者は望ましい出力と望ましくない出力を区別するためにタイムリーなプロセスベースのフィードバックを提供する。
  論文  参考訳（メタデータ） (2024-12-29T06:32:36Z)
• Dspy-based Neural-Symbolic Pipeline to Enhance Spatial Reasoning in LLMs [29.735465300269993]
  大規模言語モデル(LLM)は、様々なタスクにまたがる顕著な能力を示してきたが、しばしば空間的推論に苦しむ。 本稿では LLM と Answer Set Programming (ASP) の反復的フィードバックにより LLM の空間推論能力を高める新しいニューラルシンボリックフレームワークを提案する。 我々は、StepGameとSparQAという2つのベンチマークデータセットに対するアプローチを評価した。
  論文  参考訳（メタデータ） (2024-11-27T18:04:05Z)
• Scaling Laws for Predicting Downstream Performance in LLMs [75.28559015477137]
  この研究は、性能推定のためのより計算効率のよい指標として、事前学習損失に焦点を当てている。 FLP-Mは、事前トレーニング中に複数のソースからのデータセットを統合する実践的なニーズに対処する、パフォーマンス予測の基本的なアプローチである。
  論文  参考訳（メタデータ） (2024-10-11T04:57:48Z)
• On Learning to Summarize with Large Language Models as References [101.79795027550959]
  大型言語モデル (LLM) は、一般的な要約データセットにおける元の参照要約よりも人間のアノテーションに好まれる。 より小さなテキスト要約モデルに対するLLM-as-reference学習設定について検討し,その性能が大幅に向上するかどうかを検討する。
  論文  参考訳（メタデータ） (2023-05-23T16:56:04Z)
• LLM-Pruner: On the Structural Pruning of Large Language Models [65.02607075556742]
  大規模言語モデル(LLM)は、言語理解と生成において顕著な能力を示している。 タスク非依存であり、元のトレーニングデータセットへの依存を最小限に抑えるという2つの制約の範囲内でLLMの圧縮に取り組む。 LLM-Prunerという名前のこの手法は、非臨界結合構造を選択的に除去する構造プルーニングを採用する。
  論文  参考訳（メタデータ） (2023-05-19T12:10:53Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。