論文の概要: Enabling Fine-Grained Operating Points for Black-Box LLMs

• arxiv url: http://arxiv.org/abs/2510.17727v2
• Date: Tue, 21 Oct 2025 05:22:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-25 03:08:12.132301
• Title: Enabling Fine-Grained Operating Points for Black-Box LLMs
• Title（参考訳）: ブラックボックスLCM用微細粒状動作点の創製
• Authors: Ege Beyazit, KL Navaneet, Prashant Mathur, Roi Blanco, Vidit Bansal, Karim Bouyarmane,
• Abstract要約: Black-box Large Language Models (LLMs)は、他の機械学習手法の実用的な代替手段を提供する。 ブラックボックスLSMによる意思決定は、数値出力の基準が低いため、依然として好ましくないままである。 利用可能な操作点の数と多様性を大幅に向上させる効率的なアプローチを提案する。
• 参考スコア（独自算出の注目度）: 9.07510751605487
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Black-box Large Language Models (LLMs) provide practical and accessible alternatives to other machine learning methods, as they require minimal labeled data and machine learning expertise to develop solutions for various decision making problems. However, for applications that need operating with constraints on specific metrics (e.g., precision $\geq$ 95%), decision making with black-box LLMs remains unfavorable, due to their low numerical output cardinalities. This results in limited control over their operating points, preventing fine-grained adjustment of their decision making behavior. In this paper, we study using black-box LLMs as classifiers, focusing on efficiently improving their operational granularity without performance loss. Specifically, we first investigate the reasons behind their low-cardinality numerical outputs and show that they are biased towards generating rounded but informative verbalized probabilities. Then, we experiment with standard prompt engineering, uncertainty estimation and confidence elicitation techniques, and observe that they do not effectively improve operational granularity without sacrificing performance or increasing inference cost. Finally, we propose efficient approaches to significantly increase the number and diversity of available operating points. Our proposed approaches provide finer-grained operating points and achieve comparable to or better performance than the benchmark methods across 11 datasets and 3 LLMs.
• Abstract（参考訳）: Black-box Large Language Models (LLMs)は、さまざまな意思決定問題に対するソリューションを開発するために、最小限のラベル付きデータと機械学習の専門知識を必要とするため、他の機械学習手法に対して実用的でアクセス可能な代替手段を提供する。 しかしながら、特定の指標(例えば、精度$\geq$95%)の制約で操作する必要があるアプリケーションでは、ブラックボックスのLCMによる意思決定は、数値出力の基準が低いため、好ましくないままである。 これにより、操作点の制御が制限され、決定動作のきめ細かい調整が防止される。 本稿では,ブラックボックスLSMを分類器として使用し,性能損失を伴わない操作粒度を効率的に改善することに着目した。 具体的には、まず、低心拍数出力の背景にある理由を調査し、丸みを帯びながら情報に富んだ言語的確率を生成することに偏りがあることを示す。 そこで,我々は,標準的なプロンプト工学,不確実性推定,信頼性評価手法を実験し,性能を犠牲にしたり,推論コストを増大させることなく,運用の粒度を効果的に改善しないことを観察した。 最後に、利用可能な操作点の数と多様性を大幅に向上させる効率的なアプローチを提案する。 提案手法は,11個のデータセットと3個のLLMのベンチマーク手法に比較して,粒度の細かい演算点を提供し,性能を向上する。

関連論文リスト

• Optimising Language Models for Downstream Tasks: A Post-Training Perspective [0.0]
  言語モデル(LM)は、NLPにおいて顕著な能力を示している。 しかし、それらを効率的かつ堅牢に特定のタスクに適用することは、依然として困難である。 この論文は、下流アプリケーションにLMを適応させる一連の方法を提案する。
  論文  参考訳（メタデータ） (2025-06-26T00:49:35Z)
• EVOLvE: Evaluating and Optimizing LLMs For In-Context Exploration [76.66831821738927]
  大規模言語モデル(LLM)は、不確実性の下で最適な意思決定を必要とするシナリオにおいて、未調査のままである。 多くのアプリケーションに関係のあるステートレス強化学習環境である,帯域幅を最適に決定できる LLM の (in) 能力の測定を行う。 最適な探索アルゴリズムの存在を動機として,このアルゴリズム知識をLLMに統合する効率的な方法を提案する。
  論文  参考訳（メタデータ） (2024-10-08T17:54:03Z)
• Improving LLM Reasoning through Scaling Inference Computation with Collaborative Verification [52.095460362197336]
  大規模言語モデル(LLM)は一貫性と正確な推論に苦しむ。 LLMは、主に正しいソリューションに基づいて訓練され、エラーを検出して学習する能力を減らす。 本稿では,CoT(Chain-of-Thought)とPoT(Program-of-Thought)を組み合わせた新しい協調手法を提案する。
  論文  参考訳（メタデータ） (2024-10-05T05:21:48Z)
• Uncertainty Estimation and Quantification for LLMs: A Simple Supervised Approach [6.209293868095268]
  LLMにおける不確実性推定と校正の問題について検討する。 LLMの応答の不確かさを推定するためにラベル付きデータセットを利用する教師付きアプローチを提案する。 本手法は,ブラックボックス,グレイボックス,ホワイトボックスなど,モデルアクセシビリティの異なるレベルに適応し,実装が容易である。
  論文  参考訳（メタデータ） (2024-04-24T17:10:35Z)
• On Leveraging Large Language Models for Enhancing Entity Resolution: A Cost-efficient Approach [7.996010840316654]
  本稿では,Large Language Models (LLMs) を用いた不確実性低減フレームワークを提案する。 LLMは、先進的な言語能力と、広範なデータサイエンスの専門知識を持たない人々に対して大きな利点をもたらす「従量制」モデルに便乗している。 我々は,本手法が効率的かつ効果的であることを示し,実世界のタスクに有望な応用を提供する。
  論文  参考訳（メタデータ） (2024-01-07T09:06:58Z)
• Leaving the Nest: Going Beyond Local Loss Functions for Predict-Then-Optimize [57.22851616806617]
  本手法は,文献から得られた4つの領域において,最先端の成果が得られることを示す。 提案手法は, 局所性仮定が破られた場合, 既存手法よりも200%近く性能が向上する。
  論文  参考訳（メタデータ） (2023-05-26T11:17:45Z)
• Editing Large Language Models: Problems, Methods, and Opportunities [51.903537096207]
  本稿では, LLMのモデル編集に関わる問題, 方法, 機会を深く探究する。 本稿では,モデル編集に関わるタスク定義と課題の概観と,現在処理中の最も進歩的な手法の詳細な実証分析について述べる。 本研究の目的は,各編集手法の有効性と実現可能性に関する貴重な知見を提供することであり,特定のタスクやコンテキストに対して,最も適切な方法の選択に関する情報決定を行う上で,コミュニティを支援することである。
  論文  参考訳（メタデータ） (2023-05-22T16:00:00Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。