論文の概要: Inferring from Logits: Exploring Best Practices for Decoding-Free Generative Candidate Selection

• arxiv url: http://arxiv.org/abs/2501.17338v1
• Date: Tue, 28 Jan 2025 23:21:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-30 15:55:02.242603
• Title: Inferring from Logits: Exploring Best Practices for Decoding-Free Generative Candidate Selection
• Title（参考訳）: ログからの推論:デコード不要な生成候補選択のためのベストプラクティスを探る
• Authors: Mingyu Derek Ma, Yanna Ding, Zijie Huang, Jianxi Gao, Yizhou Sun, Wei Wang,
• Abstract要約: 生成言語モデルは、トークンによる出力シーケンストークンを生成するために自動回帰デコードに依存する。 本稿では,包括的タスクセットに基づくデコード自由候補選択手法の包括的コレクションの評価について紹介する。
• 参考スコア（独自算出の注目度）: 37.54564513506548
• License:
• Abstract: Generative Language Models rely on autoregressive decoding to produce the output sequence token by token. Many tasks such as preference optimization, require the model to produce task-level output consisting of multiple tokens directly by selecting candidates from a pool as predictions. Determining a task-level prediction from candidates using the ordinary token-level decoding mechanism is constrained by time-consuming decoding and interrupted gradients by discrete token selection. Existing works have been using decoding-free candidate selection methods to obtain candidate probability from initial output logits over vocabulary. Though these estimation methods are widely used, they are not systematically evaluated, especially on end tasks. We introduce an evaluation of a comprehensive collection of decoding-free candidate selection approaches on a comprehensive set of tasks, including five multiple-choice QA tasks with a small candidate pool and four clinical decision tasks with a massive amount of candidates, some with 10k+ options. We evaluate the estimation methods paired with a wide spectrum of foundation LMs covering different architectures, sizes and training paradigms. The results and insights from our analysis inform the future model design.
• Abstract（参考訳）: 生成言語モデルは、トークンごとに出力シーケンストークンを生成するために自動回帰デコードに依存する。 優先順位最適化のような多くのタスクでは、プールから候補を予測として選択することで、複数のトークンからなるタスクレベルの出力を生成する必要がある。 通常のトークンレベルの復号化機構を用いてタスクレベルの予測を候補から決定するには、離散トークン選択による時間を要する復号化と割り込み勾配によって制約される。 既存の研究は、語彙上の初期出力ロジットから候補確率を得るために、復号自由候補選択法を用いてきた。 これらの推定法は広く用いられているが、特に終末タスクでは体系的に評価されていない。 提案手法では, 候補プールを有する5つの多目的QAタスクと, 多数の候補を持つ4つの臨床決定タスクと, 10k以上の選択肢を含む, 包括的タスクに対するデコードフリー候補選択アプローチの包括的コレクションの評価について紹介する。 異なるアーキテクチャ,サイズ,トレーニングパラダイムを網羅した,幅広い基礎的 LM と組み合わせた推定手法の評価を行った。 我々の分析から得られた結果と洞察は将来のモデル設計を示唆する。

関連論文リスト

• Multi-Draft Speculative Sampling: Canonical Architectures and Theoretical Limits [26.220189807865548]
  提案手法は,異なるドラフトモデルから独立して提案シーケンスをサンプリングするマルチドラフト・投機的サンプリングについて検討する。 最適スキームを2段階の解に分解できることを示す。
  論文  参考訳（メタデータ） (2024-10-23T19:28:34Z)
• On Speeding Up Language Model Evaluation [48.51924035873411]
  LLM(Large Language Models)を用いたプロンプトベースの手法の開発には、多くの意思決定が必要である。 この課題に対処するための新しい手法を提案する。 典型的に必要とされるリソースの5～15%しか必要とせず,トップパフォーマンスの手法を識別できることが示される。
  論文  参考訳（メタデータ） (2024-07-08T17:48:42Z)
• Multi-Candidate Speculative Decoding [82.05519287513444]
  大規模な言語モデルは、様々なNLPタスクで印象的な機能を示してきたが、その生成は自動回帰的に時間を要する。 これは高速なドラフトモデルから候補セグメントを生成し、ターゲットモデルによって並列に検証する。 本稿では,複数の候補をドラフトモデルから抽出し,検証のためにバッチにまとめる手法を提案する。 対象モデルの分布を維持しつつ,効率的な多候補検証のためのアルゴリズムを設計する。
  論文  参考訳（メタデータ） (2024-01-12T17:15:23Z)
• Large Language Models Are Not Robust Multiple Choice Selectors [117.72712117510953]
  複数選択質問(MCQ)は、大規模言語モデル(LLM)の評価において、一般的なが重要なタスク形式として機能する。 この研究は、現代のLLMが、その固有の「選択バイアス」によるオプション位置変化に対して脆弱であることを示している。 そこで本研究では,オプションIDに対する事前バイアスを全体予測分布から分離するPriDeという,ラベルのない推論時間脱バイアス手法を提案する。
  論文  参考訳（メタデータ） (2023-09-07T17:44:56Z)
• Probabilistic Planning with Prioritized Preferences over Temporal Logic Objectives [26.180359884973566]
  マルコフ決定過程(MDP)をモデルとした確率的環境における時間的計画に関する研究 本稿では,有限トレース上の線形時間論理を優先的に定性的選択する新しい仕様言語を提案する。 ユーザの好みに応じて期待される不満のスコアを最小化する最適ポリシーを定式化し、解き明かす。
  論文  参考訳（メタデータ） (2023-04-23T13:03:27Z)
• Selection by Prediction with Conformal p-values [7.917044695538599]
  本研究では,未観測結果がユーザ指定値を超える候補を選択するためのスクリーニング手順について検討する。 本研究では,任意の予測モデルをラップして候補のサブセットを生成する手法を開発した。
  論文  参考訳（メタデータ） (2022-10-04T06:34:49Z)
• Biological Sequence Design with GFlowNets [75.1642973538266]
  望ましい性質を持つデノボ生物配列の設計には、数ラウンドの分子のアイデアと高価なウェットラブ評価を伴う活性ループが伴うことが多い。 これにより、提案された候補の多様性は、構想段階において重要な考慮事項となる。 本稿では,不確実性推定と近年提案されているGFlowNetを多種多様な候補解の生成元として活用した能動的学習アルゴリズムを提案する。
  論文  参考訳（メタデータ） (2022-03-02T15:53:38Z)
• Online Active Model Selection for Pre-trained Classifiers [72.84853880948894]
  我々は,任意のラウンドにおいて高い確率で最良のモデルをラベル付けし,出力する情報的サンプルを積極的に選択するオンライン選択的サンプリング手法を設計する。 我々のアルゴリズムは、敵とストリームの両方のオンライン予測タスクに利用できる。
  論文  参考訳（メタデータ） (2020-10-19T19:53:15Z)
• Optimal Multiple Stopping Rule for Warm-Starting Sequential Selection [9.625436987364909]
  本稿では,動的プログラミングを用いて開発したWarm-starting Dynamic Thresholdingアルゴリズムを,標準的なオンライン選択問題の変種として提案する。 この問題は、仕事のポジションが自由であるか、プロセスの開始時に既に占められているかのいずれかである。 選択プロセスを通じて、意思決定者は、新たな候補を次々とインタビューし、それぞれの品質スコアを明らかにする。
  論文  参考訳（メタデータ） (2020-02-12T14:04:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。