Fugu-MT 論文翻訳(概要): Regression-aware Inference with LLMs

論文の概要: Regression-aware Inference with LLMs

arxiv url: http://arxiv.org/abs/2403.04182v3
Date: Fri, 01 Nov 2024 17:57:01 GMT
ステータス: 翻訳完了
システム内更新日: 2024-11-04 14:33:30.496740
Title: Regression-aware Inference with LLMs
Title（参考訳）: LLMを用いた回帰認識推論
Authors: Michal Lukasik, Harikrishna Narasimhan, Aditya Krishna Menon, Felix Yu, Sanjiv Kumar,
Abstract要約: 提案手法は,一般的な回帰と評価指標に準最適であることを示す。本稿では,ベイズ最適解を推定し,サンプル応答からクローズド形式の評価指標を推定する代替推論手法を提案する。
参考スコア（独自算出の注目度）: 52.764328080398805
License:
Abstract: Large language models (LLMs) have shown strong results on a range of applications, including regression and scoring tasks. Typically, one obtains outputs from an LLM via autoregressive sampling from the model's output distribution. We show that this inference strategy can be sub-optimal for common regression and scoring evaluation metrics. As a remedy, we build on prior work on Minimum Bayes Risk decoding, and propose alternate inference strategies that estimate the Bayes-optimal solution for regression and scoring metrics in closed-form from sampled responses. We show that our proposal significantly improves over baselines across datasets and models.
Abstract（参考訳）: 大規模言語モデル(LLM)は、回帰やスコアリングタスクを含む、さまざまなアプリケーションに対して強力な結果を示している。通常、モデルの出力分布から自己回帰サンプリングによってLCMから出力を取得する。我々は,この推論戦略が,一般的な回帰と評価指標に準最適であることを示す。本稿では,最小ベイズリスクの復号化に関する先行研究に基づいて,ベイズ最適解を推定する代替推論手法を提案する。提案では,データセットやモデル間のベースラインよりも大幅に改善されていることを示す。

関連論文リスト

Understanding LLM Embeddings for Regression [8.095573259696092]
本論文は埋め込み型回帰に関する最初の包括的な研究の1つを提供する。 LLMを機能として組み込むことは,従来の機能工学よりも高次元回帰作業に有効であることを示す。私たちは異なるモデル効果、特にモデルのサイズと言語理解の貢献を定量化します。
論文参考訳（メタデータ） (2024-11-22T03:33:51Z)
Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
大きな言語モデル(LLM)の能力を高めることが大きな課題だ。本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
論文参考訳（メタデータ） (2024-02-22T04:10:57Z)
Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
論文参考訳（メタデータ） (2023-10-16T05:21:50Z)
Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文参考訳（メタデータ） (2023-10-06T16:36:08Z)
Engression: Extrapolation through the Lens of Distributional Regression [2.519266955671697]
我々は、エングレースと呼ばれるニューラルネットワークに基づく分布回帰手法を提案する。エングレスモデル(engression model)は、適合した条件分布からサンプリングできるという意味で生成され、高次元結果にも適している。一方、最小二乗法や量子回帰法のような従来の回帰手法は、同じ仮定の下では不十分である。
論文参考訳（メタデータ） (2023-07-03T08:19:00Z)
Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling [58.14878401145309]
PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。 Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
論文参考訳（メタデータ） (2022-05-12T11:15:47Z)
Human Pose Regression with Residual Log-likelihood Estimation [48.30425850653223]
本稿では,Residual Log-likelihood Estimation (RLE) を用いた新たな回帰パラダイムを提案する。 RLEは、トレーニングプロセスを容易にするために、未参照の基盤となる分布ではなく、分布の変化を学習する。従来の回帰パラダイムと比較して、RLEによる回帰はテスト時間オーバーヘッドを伴わずに、MSCOCOに12.4mAPの改善をもたらす。
論文参考訳（メタデータ） (2021-07-23T15:06:31Z)
Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。回帰フリーモデル更新を制約付き最適化問題に定式化する。モデルアンサンブルが回帰を減らす方法を実証的に分析します。
論文参考訳（メタデータ） (2021-05-07T03:33:00Z)
Active Sampling for Min-Max Fairness [28.420886416425077]
min-maxフェアネスを最適化するための簡易なアクティブサンプリングと再重み付け手法を提案する。実装の容易さとロバストな定式化の汎用性により、不備な群におけるモデル性能を改善するための魅力的な選択肢となる。線形回帰法やロジスティック回帰法のような凸学習問題に対しては、分極値解への収束率を証明し、きめ細かな解析を行う。
論文参考訳（メタデータ） (2020-06-11T23:57:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。