Fugu-MT 論文翻訳(概要): Metric-aware LLM inference

論文の概要: Metric-aware LLM inference

arxiv url: http://arxiv.org/abs/2403.04182v1
Date: Thu, 7 Mar 2024 03:24:34 GMT
ステータス: 処理完了
システム内更新日: 2024-03-08 15:26:28.750448
Title: Metric-aware LLM inference
Title（参考訳）: メトリック認識LDM推論
Authors: Michal Lukasik, Harikrishna Narasimhan, Aditya Krishna Menon, Felix Yu, Sanjiv Kumar
Abstract要約: 大規模言語モデル(LLM)は、様々なNLPタスクに対して強い結果を示してきた。我々は,この推論戦略が,タスクや関連する評価指標に最適であることを示す。提案手法は,推定時にカスタムメトリクスを最適化する決定論的手法である。
参考スコア（独自算出の注目度）: 56.60799590257398
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Large language models (LLMs) have demonstrated strong results on a range of NLP tasks. Typically, outputs are obtained via autoregressive sampling from the LLM's underlying distribution. We show that this inference strategy can be suboptimal for a range of tasks and associated evaluation metrics. As a remedy, we propose metric aware LLM inference: a decision theoretic approach optimizing for custom metrics at inference time. We report improvements over baselines on academic benchmarks and publicly available models.
Abstract（参考訳）: 大規模言語モデル(LLM)は、様々なNLPタスクに対して強い結果を示している。通常、出力はLLMの基底分布から自己回帰サンプリングによって得られる。我々は,この推論戦略が,タスクや関連する評価指標に最適であることを示す。そこで,我々はメトリクス認識型llm推論を提案する: 推論時にカスタムメトリクスを最適化する決定論的アプローチ。学術ベンチマークと公開モデルに基づくベースラインの改善について報告する。

関連論文リスト

Understanding LLM Embeddings for Regression [8.095573259696092]
本論文は埋め込み型回帰に関する最初の包括的な研究の1つを提供する。 LLMを機能として組み込むことは,従来の機能工学よりも高次元回帰作業に有効であることを示す。私たちは異なるモデル効果、特にモデルのサイズと言語理解の貢献を定量化します。
論文参考訳（メタデータ） (2024-11-22T03:33:51Z)
Take the Bull by the Horns: Hard Sample-Reweighted Continual Training Improves LLM Generalization [165.98557106089777]
大きな言語モデル(LLM)の能力を高めることが大きな課題だ。本研究は,従来の事前学習データセットを用いたLCMの光連続訓練に関する実証的戦略から始まった。次に、この戦略をインスタンス重み付け分散ロバスト最適化の原則化されたフレームワークに定式化します。
論文参考訳（メタデータ） (2024-02-22T04:10:57Z)
Let's reward step by step: Step-Level reward model as the Navigators for Reasoning [64.27898739929734]
Process-Supervised Reward Model (PRM)は、トレーニングフェーズ中にステップバイステップのフィードバックをLLMに提供する。 LLMの探索経路を最適化するために,PRMからのステップレベルのフィードバックを応用した欲求探索アルゴリズムを提案する。提案手法の汎用性を探るため,コーディングタスクのステップレベル報酬データセットを自動生成する手法を開発し,コード生成タスクにおける同様の性能向上を観察する。
論文参考訳（メタデータ） (2023-10-16T05:21:50Z)
Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文参考訳（メタデータ） (2023-10-06T16:36:08Z)
Engression: Extrapolation through the Lens of Distributional Regression [2.519266955671697]
我々は、エングレースと呼ばれるニューラルネットワークに基づく分布回帰手法を提案する。エングレスモデル(engression model)は、適合した条件分布からサンプリングできるという意味で生成され、高次元結果にも適している。一方、最小二乗法や量子回帰法のような従来の回帰手法は、同じ仮定の下では不十分である。
論文参考訳（メタデータ） (2023-07-03T08:19:00Z)
Low-variance estimation in the Plackett-Luce model via quasi-Monte Carlo sampling [58.14878401145309]
PLモデルにおいて,より標本効率の高い予測値を生成するための新しい手法を開発した。 Amazon MusicのリアルなレコメンデーションデータとYahooの学習からランクへの挑戦を理論的にも実証的にも使用しています。
論文参考訳（メタデータ） (2022-05-12T11:15:47Z)
Human Pose Regression with Residual Log-likelihood Estimation [48.30425850653223]
本稿では,Residual Log-likelihood Estimation (RLE) を用いた新たな回帰パラダイムを提案する。 RLEは、トレーニングプロセスを容易にするために、未参照の基盤となる分布ではなく、分布の変化を学習する。従来の回帰パラダイムと比較して、RLEによる回帰はテスト時間オーバーヘッドを伴わずに、MSCOCOに12.4mAPの改善をもたらす。
論文参考訳（メタデータ） (2021-07-23T15:06:31Z)
Regression Bugs Are In Your Model! Measuring, Reducing and Analyzing Regressions In NLP Model Updates [68.09049111171862]
この研究は、NLPモデル更新における回帰エラーの定量化、低減、分析に重点を置いている。回帰フリーモデル更新を制約付き最適化問題に定式化する。モデルアンサンブルが回帰を減らす方法を実証的に分析します。
論文参考訳（メタデータ） (2021-05-07T03:33:00Z)
Active Sampling for Min-Max Fairness [28.420886416425077]
min-maxフェアネスを最適化するための簡易なアクティブサンプリングと再重み付け手法を提案する。実装の容易さとロバストな定式化の汎用性により、不備な群におけるモデル性能を改善するための魅力的な選択肢となる。線形回帰法やロジスティック回帰法のような凸学習問題に対しては、分極値解への収束率を証明し、きめ細かな解析を行う。
論文参考訳（メタデータ） (2020-06-11T23:57:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。