論文の概要: Soft-Prompt Tuning for Fair and Efficient LLM Benchmark Evaluation

• arxiv url: http://arxiv.org/abs/2606.12117v1
• Date: Wed, 10 Jun 2026 14:12:19 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-06-11 16:42:38.500056
• Title: Soft-Prompt Tuning for Fair and Efficient LLM Benchmark Evaluation
• Title（参考訳）: 公平かつ効率的なLCMベンチマーク評価のためのソフトプロンプトチューニング
• Authors: Selen Erkan, Bastian Boll, Kristian Kersting, Björn Deiseroth, Letitia Parcalabescu,
• Abstract要約: ベンチマークスコアは、大きな言語モデル(LLM)の知識を誤って表現することが多い。 本稿では,ソフト・プロンプト・チューニング,効率的で公正かつアーキテクチャに依存しないモデル評価を提案する。
• 参考スコア（独自算出の注目度）: 39.077125280168936
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Benchmark scores often misrepresent a large language model's (LLM's) knowledge, because they rely, e.g., on the model's ability to follow specific formatting requirements. This especially penalizes base models that may know the correct answers but lack the ability -- typically introduced in post-training -- to structure them as instructed. To overcome this, we propose soft-prompt tuning, an efficient, fair, and architecture-agnostic model evaluation. By optimizing only 10 soft-prompt vectors (roughly 0.0006% parameters for a 7B model) over a short tuning period, we adapt models to specific benchmark formats, closing gaps in format-following and ensuring that underlying knowledge is accurately reflected in benchmark scores. This allows one to fairly compare different base models -- trained with various pre-training recipes -- on benchmarks without the need for full post-training. We evaluated soft-prompt tuning across 7 models and 7 datasets. The results show that (a) soft-prompt tuning saturates format-following within 80 steps (~640 samples) making it highly efficient, (b) soft-prompt tuning significantly outperforms zero- and few-shot prompting, surfacing base model knowledge that standard prompting misses, that (c) even post-trained models can benefit from soft-prompts to maximize format compliance, and that (d) soft-prompted base model performance predicts post-trained model rankings more reliably than zero- and few-shot baselines, offering a low-cost proxy for downstream model quality. Our contributions include (1) metrics which disentangle format-following and knowledge accuracy, (2) a fairer benchmarking protocol of LLM knowledge, and (3) a cost- and memory-effective recipe to identify optimal pre-training strategies early in LLM development.
• Abstract（参考訳）: ベンチマークスコアは、大きな言語モデル(LLM)の知識を誤って表現することが多い。 これは、正しい答えを知っていますが、指示されたようにそれらを構築する能力(通常、ポストトレーニングで導入された)が欠如しているベースモデルに特に罰を与えます。 そこで本研究では,ソフト・プロンプト・チューニング,効率的・公正・アーキテクチャに依存しないモデル評価を提案する。 短いチューニング期間で10個のソフトプロンプトベクトル(約0.0006%の7Bモデルパラメータ)を最適化することにより、モデルを特定のベンチマークフォーマットに適応させ、フォーマット追従のギャップを埋め、基礎となる知識がベンチマークスコアに正確に反映されることを保証する。 これにより、完全なポストトレーニングを必要とせずに、ベンチマーク上で、さまざまなベースモデル – さまざまな事前トレーニングレシピでトレーニングされた – を正確に比較することが可能になります。 7つのモデルと7つのデータセットでソフトプロンプトチューニングを評価した。 その結果は (a)ソフトプロンプトチューニングは、80ステップ(〜640サンプル)以内のフォーマットフォローを飽和させ、効率を高くする。 (b)ソフト・プロンプト・チューニングは、標準が見逃すようなゼロと少数ショットのプロンプト・ベースモデル知識を著しく上回ります。 (c) 訓練後モデルでさえ、フォーマットコンプライアンスを最大化するためにソフトプロンプトの恩恵を受けることができる。 (d)ソフトプロンプトベースモデルの性能は、訓練後モデルのランク付けをゼロや少数ショットベースラインよりも確実に予測し、ダウンストリームモデル品質のための低コストプロキシを提供する。 コントリビューションには,(1) 書式追跡と知識の精度を下げる指標,(2) LLM 知識のより公平なベンチマークプロトコル,(3) LLM 開発の初期段階において最適な事前学習戦略を特定するためのコストとメモリ効率のレシピなどが含まれている。

関連論文リスト

• Do Instruction-Tuned Models Always Perform Better Than Base Models? Evidence from Math and Domain-Shifted Benchmarks [0.6536121591910934]
  我々は,標準数学ベンチマーク,構造的摂動変異,ドメインシフトタスクに基づいて,ベースモデルと命令調整モデルを評価する。 この結果から,ベースモデルはドメイン固有のMedCalcベンチマークにおいて,命令調整のバリエーションを上回ることがわかった。 インストラクションチューニングされたモデルでは、摂動データセットが急激な低下を示し、頑健な推論よりも構造に敏感であることを示している。
  論文  参考訳（メタデータ） (2026-01-19T17:26:49Z)
• Robust LLM-based Column Type Annotation via Prompt Augmentation with LoRA Tuning [0.749377967268953]
  カラムタイプ。 CTAはスキーマアライメントとセマンティック理解を実現するための基本的なステップです。 既存のエンコーダのみの言語モデルでは,ラベル付き列を微調整すると高い精度が得られる。 本稿では,CTAのパラメータ効率向上のためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-12-28T02:04:17Z)
• Shadow-FT: Tuning Instruct Model via Training on Paired Base Model [67.20706292627106]
  大規模言語モデル(LLM)は、様々なタスクのさらなる微調整の恩恵を一貫して受けている。 本稿では,対応するベースモデルを活用してインストラクタモデルをチューニングするための新しいシャドウ-FTフレームワークを提案する。 提案するShadow-FTは,追加パラメータを導入せず,実装が容易で,性能が大幅に向上する。
  論文  参考訳（メタデータ） (2025-05-19T05:16:21Z)
• The First Few Tokens Are All You Need: An Efficient and Effective Unsupervised Prefix Fine-Tuning Method for Reasoning Models [69.798277882245]
  大規模言語モデルの推論効率を向上させるために,Unsupervised Prefix Fine-Tuning (UPFT)を導入した。 UPFTはラベル付きデータや徹底的なサンプリングの必要性を取り除く。 実験の結果,UPFTは教師付き手法の性能と一致していることがわかった。
  論文  参考訳（メタデータ） (2025-03-04T18:56:03Z)
• Reference Trustable Decoding: A Training-Free Augmentation Paradigm for Large Language Models [79.41139393080736]
  大規模言語モデル(LLM)は急速に進歩し、印象的な機能を示している。 In-Context Learning (ICL) など。 効率的なファインチューニング(PEFT)は、現在2つの主要な拡張方法である。 下流タスクへのLLM。 我々は、モデルが微調整なしで新しいタスクに迅速に適応できるパラダイムである参照信頼復号(RTD)を提案する。
  論文  参考訳（メタデータ） (2024-09-30T10:48:20Z)
• LIMIT: Less Is More for Instruction Tuning Across Evaluation Paradigms [2.249916681499244]
  オープンソースMPT-7BおよびMPT-30Bモデルを1kから60kのサンプルから様々なサイズの命令微調整データセットに微調整する。 我々は,(1)従来のNLPベンチマークと(2)モデルに基づく評価の両方において,1k-6k命令の微調整サンプルのサブセットが良好な性能を達成するのに十分であることを確認した。
  論文  参考訳（メタデータ） (2023-11-22T03:37:01Z)
• Quantifying Language Models' Sensitivity to Spurious Features in Prompt Design or: How I learned to start worrying about prompt formatting [68.19544657508509]
  言語モデル(LLM)は、言語技術の基本コンポーネントとして採用されている。 いくつかの広く使われているオープンソースLLMは、数ショット設定でプロンプトフォーマットの微妙な変更に対して非常に敏感であることがわかった。 本稿では,与えられたタスクに対して有効なプロンプトフォーマットのサンプルセットを迅速に評価するアルゴリズムを提案し,モデル重み付けにアクセスせずに期待性能の間隔を報告する。
  論文  参考訳（メタデータ） (2023-10-17T15:03:30Z)
• Pruning Large Language Models via Accuracy Predictor [0.0]
  数十億のパラメータ(あるいはそれ以上)を含む大規模言語モデル(LLM)は、様々なNLPタスクにおいて印象的な機能を示している。 まず,一定の数のアーキテクチャと精度のペアのトレーニングセットを構築し,非ニューラルネットワークモデルを精度予測器として訓練する。
  論文  参考訳（メタデータ） (2023-09-18T06:38:24Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。