論文の概要: Can We Afford The Perfect Prompt? Balancing Cost and Accuracy with the Economical Prompting Index

• arxiv url: http://arxiv.org/abs/2412.01690v1
• Date: Mon, 02 Dec 2024 16:34:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-04 15:46:55.876024
• Title: Can We Afford The Perfect Prompt? Balancing Cost and Accuracy with the Economical Prompting Index
• Title（参考訳）: 完璧なプロンプットは達成できるか? - 経済的なプロンプティング指標によるコストと正確さのバランス
• Authors: Tyler McDonald, Anthony Colosimo, Yifeng Li, Ali Emami,
• Abstract要約: 本稿では,正確度スコアとトークン消費を組み合わせた新しい指標であるEconomical Prompting Index(EPI)を紹介する。 本研究は, 思考の連鎖, 自己整合性, 思考の木の6つの先進的促進技術について検討した。
• 参考スコア（独自算出の注目度）: 5.714609806192087
• License:
• Abstract: As prompt engineering research rapidly evolves, evaluations beyond accuracy are crucial for developing cost-effective techniques. We present the Economical Prompting Index (EPI), a novel metric that combines accuracy scores with token consumption, adjusted by a user-specified cost concern level to reflect different resource constraints. Our study examines 6 advanced prompting techniques, including Chain-of-Thought, Self-Consistency, and Tree of Thoughts, across 10 widely-used language models and 4 diverse datasets. We demonstrate that approaches such as Self-Consistency often provide statistically insignificant gains while becoming cost-prohibitive. For example, on high-performing models like Claude 3.5 Sonnet, the EPI of simpler techniques like Chain-of-Thought (0.72) surpasses more complex methods like Self-Consistency (0.64) at slight cost concern levels. Our findings suggest a reevaluation of complex prompting strategies in resource-constrained scenarios, potentially reshaping future research priorities and improving cost-effectiveness for end-users.
• Abstract（参考訳）: 技術研究が急速に進展するにつれて、コスト効率のよい技術を開発するためには、精度を超える評価が不可欠である。 本稿では,正確度スコアとトークン消費を組み合わせ,異なるリソース制約を反映して,ユーザ特定コストの懸念レベルを調整した新しい指標であるEconomical Prompting Index(EPI)を提案する。 本研究は,10の広く使用されている言語モデルと4つの多様なデータセットにまたがって,Chain-of-Thought,Self-Consistency,Tree of Thoughtsを含む6つの高度なプロンプト技術について検討した。 自己整合性のようなアプローチは、コスト抑制の一方で統計的に重要でない利益をもたらすことが多いことを実証する。 例えば、Claude 3.5 Sonnetのような高性能なモデルでは、Chain-of-Thought (0.72)のようなより単純なテクニックの EPI は、より複雑な手法である Self-Consistency (0.64) を少しコストのかかるレベルで上回っている。 本研究は, 資源制約シナリオにおける複雑な促進戦略の再評価, 今後の研究の優先順位の変更, エンドユーザーへの費用対効果の向上を示唆するものである。

関連論文リスト

• Fast or Better? Balancing Accuracy and Cost in Retrieval-Augmented Generation with Flexible User Control [52.405085773954596]
  Retrieval-Augmented Generation (RAG) は、大規模言語モデル幻覚を緩和するための強力なアプローチとして登場した。 既存のRAGフレームワークは、しばしば無差別に検索を適用し、非効率な再検索につながる。 本稿では,精度・コストのトレードオフを動的に調整できる新しいユーザ制御可能なRAGフレームワークを提案する。
  論文  参考訳（メタデータ） (2025-02-17T18:56:20Z)
• Predictions as Surrogates: Revisiting Surrogate Outcomes in the Age of AI [12.569286058146343]
  我々は、生物統計学における数十年前の代理結果モデルと予測駆動推論(PPI)の新たな分野との正式な関係を確立する。 我々は、既存のPPI提案よりも効率的な統計的推論手法である、補正予測を用いた推論を開発する。 我々は,最先端の機械学習/AIモデルを活用した3つのアプリケーションを通じて,既存のPPI提案よりも有効サンプルサイズが大幅に向上したことを示す。
  論文  参考訳（メタデータ） (2025-01-16T18:30:33Z)
• CERET: Cost-Effective Extrinsic Refinement for Text Generation [14.43795791836198]
  本研究では,意味的安定性,包含性,サンプル間不確実性を考慮したテキスト生成手法であるCERETを提案する。 実験結果から, CERETは, 各種タスク設定下での自己整合性, 自己整合性, 自走性ベースラインを一貫して上回っていることがわかった。
  論文  参考訳（メタデータ） (2024-06-08T22:17:52Z)
• Monte Carlo Tree Search Boosts Reasoning via Iterative Preference Learning [55.96599486604344]
  本稿では,Large Language Models (LLMs) の推論能力向上を目的とした,反復的な選好学習プロセスによるアプローチを提案する。 我々は、MCTS(Monte Carlo Tree Search)を用いて好みデータを反復的に収集し、そのルックアヘッド機能を利用して、インスタンスレベルの報酬をよりきめ細かいステップレベルの信号に分解する。 提案アルゴリズムはDPO(Direct Preference Optimization)を用いて,新たに生成されたステップレベルの優先度データを用いてLCMポリシーを更新する。
  論文  参考訳（メタデータ） (2024-05-01T11:10:24Z)
• SURE: SUrvey REcipes for building reliable and robust deep networks [12.268921703825258]
  本稿では,深層ニューラルネットワークにおける不確実性推定手法を再検討し,信頼性を高めるために一連の手法を統合する。 我々は,不確実性推定の有効性を示す重要なテストベッドである故障予測のベンチマークに対して,SUREを厳格に評価する。 データ破損、ラベルノイズ、長い尾のクラス分布といった現実世界の課題に適用した場合、SUREは顕著な堅牢性を示し、現在の最先端の特殊手法と同等あるいは同等な結果をもたらす。
  論文  参考訳（メタデータ） (2024-03-01T13:58:19Z)
• Online Learning under Budget and ROI Constraints via Weak Adaptivity [57.097119428915796]
  制約付きオンライン学習問題に対する既存の原始双対アルゴリズムは、2つの基本的な仮定に依存している。 このような仮定は、標準の原始双対テンプレートを弱適応的後悔最小化器で与えることによって、どのように回避できるのかを示す。 上記の2つの前提が満たされていない場合に保証される、世界の最高の保証を証明します。
  論文  参考訳（メタデータ） (2023-02-02T16:30:33Z)
• Rethinking Cost-sensitive Classification in Deep Learning via Adversarial Data Augmentation [4.479834103607382]
  コストに敏感な分類は、誤分類エラーがコストで大きく異なるアプリケーションにおいて重要である。 本稿では,過度パラメータ化モデルにコスト感受性を持たせるために,コスト依存型逆データ拡張フレームワークを提案する。 提案手法は,全体のコストを効果的に最小化し,臨界誤差を低減するとともに,全体的な精度で同等の性能を達成できる。
  論文  参考訳（メタデータ） (2022-08-24T19:00:30Z)
• A Simple Fine-tuning Is All You Need: Towards Robust Deep Learning Via Adversarial Fine-tuning [90.44219200633286]
  我々は,$textitslow start, fast decay$ learning rate schedulingストラテジーに基づく,単純かつ非常に効果的な敵の微調整手法を提案する。 実験の結果,提案手法はCIFAR-10, CIFAR-100, ImageNetデータセットの最先端手法よりも優れていた。
  論文  参考訳（メタデータ） (2020-12-25T20:50:15Z)
• Hierarchical Adaptive Contextual Bandits for Resource Constraint based Recommendation [49.69139684065241]
  コンテキスト多重武装バンディット(MAB)は、様々な問題において最先端のパフォーマンスを達成する。 本稿では,階層型適応型文脈帯域幅法(HATCH)を提案する。
  論文  参考訳（メタデータ） (2020-04-02T17:04:52Z)
• Cost-Sensitive Portfolio Selection via Deep Reinforcement Learning [100.73223416589596]
  深層強化学習を用いたコスト依存型ポートフォリオ選択手法を提案する。 具体的には、価格系列パターンと資産相関の両方を抽出するために、新しい2ストリームポートフォリオポリシーネットワークを考案した。 蓄積したリターンを最大化し、強化学習によるコストの両立を抑えるため、新たなコスト感受性報酬関数が開発された。
  論文  参考訳（メタデータ） (2020-03-06T06:28:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。