論文の概要: Flatness-Aware Prompt Selection Improves Accuracy and Sample Efficiency
- arxiv url: http://arxiv.org/abs/2305.10713v1
- Date: Thu, 18 May 2023 05:17:57 GMT
- ステータス: 処理完了
- システム内更新日: 2023-05-19 16:52:15.181130
- Title: Flatness-Aware Prompt Selection Improves Accuracy and Sample Efficiency
- Title（参考訳）: フラットネスアウェアプロンプト選択による精度向上とサンプル効率向上
- Authors: Lingfeng Shen, Weiting Tan, Boyuan Zheng, Daniel Khashabi
- Abstract要約: 本稿では,言語プロンプトの期待される有用性を定量化する新しい指標であるプロンプト平坦性を導入する。
既存の指標と即時平坦性を組み合わせることで、性能とサンプル効率が向上することを示す。
- 参考スコア（独自算出の注目度）: 10.738339223282582
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: With growing capabilities of large language models, prompting them has become
the dominant way to access them. This has motivated the development of
strategies for automatically selecting effective language prompts. In this
paper, we introduce prompt flatness, a new metric to quantify the expected
utility of a language prompt. This metric is inspired by flatness
regularization in statistical learning that quantifies the robustness of the
model towards its parameter perturbations. We provide theoretical foundations
for this metric and its relationship with other prompt selection metrics,
providing a comprehensive understanding of existing methods. Empirically, we
show that combining prompt flatness with existing metrics improves both
performance and sample efficiency. Our metric outperforms the previous prompt
selection metrics with an average increase of 5% in accuracy and 10% in Pearson
correlation across 6 classification benchmarks.
- Abstract（参考訳）: 大規模言語モデルの能力が増大するにつれ、それらにアクセスするための主要な方法となっている。
これにより、効果的な言語プロンプトを自動選択する戦略の開発が動機となった。
本稿では,言語プロンプトの期待される有用性を定量化するための新しい指標であるプロンプト平坦性を導入する。
この計量は統計学習における平坦性正規化にインスパイアされ、モデルの頑健さをパラメータ摂動に向けて定量化する。
我々は,この指標の理論的基礎と他の素早い選択指標との関係を提供し,既存の手法の包括的理解を提供する。
実験により,既存の指標と即時平坦性を組み合わせることで,性能と試料効率が向上することを示した。
我々の測定値は,6つの分類ベンチマークにおいて,5%の精度向上と10%のピアソン相関で,前回のプロンプト選択指標を上回った。
関連論文リスト
- FamiCom: Further Demystifying Prompts for Language Models with Task-Agnostic Performance Estimation [73.454943870226]
言語モデルは、コンテキスト内学習能力に優れています。
本稿では,タスク非依存のパフォーマンス推定のためのより包括的な尺度であるFamiComを提案する。
論文 参考訳（メタデータ） (2024-06-17T06:14:55Z) - Evaluation of Faithfulness Using the Longest Supported Subsequence [52.27522262537075]
本稿では,文脈によって支持される請求項の最長不連続性を計算し,機械生成テキストの忠実さを評価する新しい手法を提案する。
新しい人間アノテーション付きデータセットを使用して、モデルを微調整してLongest Supported Subsequence(LSS)を生成する。
提案手法は,我々のデータセットの忠実度に対する最先端のメトリクスよりも18%向上していることを示す。
論文 参考訳（メタデータ） (2023-08-23T14:18:44Z) - ROSCOE: A Suite of Metrics for Scoring Step-by-Step Reasoning [63.77667876176978]
大規模言語モデルでは、最終回答を正当化するためにステップバイステップの推論を生成するように促された場合、ダウンストリームタスクの解釈可能性が改善されている。
これらの推論ステップは、モデルの解釈可能性と検証を大幅に改善するが、客観的にそれらの正確性を研究することは困難である。
本稿では、従来のテキスト生成評価指標を改善し拡張する、解釈可能な教師なし自動スコアのスイートであるROSを提案する。
論文 参考訳（メタデータ） (2022-12-15T15:52:39Z) - Classification Performance Metric Elicitation and its Applications [5.5637552942511155]
その実践的関心にもかかわらず、機械学習アプリケーションのためのメトリクスの選択方法に関する正式なガイダンスは限られている。
この論文は、暗黙のユーザの嗜好を最も反映したパフォーマンスメトリックを選択するための原則的なフレームワークとして、メトリクスの誘惑を概説している。
論文 参考訳（メタデータ） (2022-08-19T03:57:17Z) - Evaluating natural language processing models with generalization
metrics that do not need access to any training or testing data [66.11139091362078]
本稿では,Hugingface から事前学習した大規模トランスフォーマーに対して,一般化指標を用いた最初のモデル選択結果を提案する。
ニッチな状況にもかかわらず、ヘビーテール(HT)の観点から派生したメトリクスは、特にNLPタスクにおいて有用である。
論文 参考訳（メタデータ） (2022-02-06T20:07:35Z) - Query-augmented Active Metric Learning [3.871148938060281]
本稿では,対制約付きクラスタリングのためのアクティブなメトリック学習手法を提案する。
メトリクスを学習する際の追加情報を提供するために、よりペアワイズなラベルを生成することで、クエリ制約を増大させます。
我々は、学習したメトリックを逐次更新し、無関係な特徴を適応的に罰することで、メトリクス学習の堅牢性を高める。
論文 参考訳（メタデータ） (2021-11-08T23:32:13Z) - Efficient Nearest Neighbor Language Models [114.40866461741795]
非パラメトリックニューラルネットワークモデル(NLM)は、外部データストアを用いてテキストの予測分布を学習する。
比較性能を維持しながら、推論速度の最大6倍の高速化を実現する方法を示す。
論文 参考訳（メタデータ） (2021-09-09T12:32:28Z) - Meta-Learned Confidence for Few-shot Learning [60.6086305523402]
数ショットのメトリックベースのアプローチのための一般的なトランスダクティブ推論手法は、最も確実なクエリ例の平均で、各クラスのプロトタイプを更新することである。
本稿では,各クエリの信頼度をメタラーニングして,ラベルのないクエリに最適な重みを割り当てる手法を提案する。
4つのベンチマークデータセットに対してメタ学習の信頼度で、少数ショットの学習モデルを検証した。
論文 参考訳（メタデータ） (2020-02-27T10:22:17Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。