論文の概要: Cost and Reward Infused Metric Elicitation

• arxiv url: http://arxiv.org/abs/2501.00696v1
• Date: Wed, 01 Jan 2025 01:36:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-05 17:13:05.554425
• Title: Cost and Reward Infused Metric Elicitation
• Title（参考訳）: コストと逆注入型メトリック・エミッション
• Authors: Chethan Bhateja, Joseph O'Brien, Afnaan Hashmi, Eva Prakash,
• Abstract要約: 機械学習において、メトリック・エリケーション(英: metric elicitation)とは、特定のアプリケーションに対する個人の暗黙の好みを最も反映したパフォーマンス指標の選択を指す。 提案するDLPME(Diagonal Linear Performance Metric Elicitation)アルゴリズムを外挿し,追加のバウンドコストと報酬を考慮に入れた。
• 参考スコア（独自算出の注目度）: 0.5356944479760104
• License:
• Abstract: In machine learning, metric elicitation refers to the selection of performance metrics that best reflect an individual's implicit preferences for a given application. Currently, metric elicitation methods only consider metrics that depend on the accuracy values encoded within a given model's confusion matrix. However, focusing solely on confusion matrices does not account for other model feasibility considerations such as varied monetary costs or latencies. In our work, we build upon the multiclass metric elicitation framework of Hiranandani et al., extrapolating their proposed Diagonal Linear Performance Metric Elicitation (DLPME) algorithm to account for additional bounded costs and rewards. Our experimental results with synthetic data demonstrate our approach's ability to quickly converge to the true metric.
• Abstract（参考訳）: 機械学習において、メトリック・エリケーション(英: metric elicitation)とは、特定のアプリケーションに対する個人の暗黙の好みを最も反映したパフォーマンス指標の選択を指す。 現在、メートル法は、与えられたモデルの混乱行列内で符号化された精度値に依存するメトリクスのみを考慮している。 しかし、混乱行列にのみ焦点をあてることは、様々な金銭的コストや遅延といった他のモデルの実現可能性を考慮していない。 本研究は, 平南谷らによるマルチクラス・メトリック・エリケーション・フレームワークを構築し, 追加の限界費用と報酬を考慮に入れた対角線形パフォーマンス・メトリック・エミュレーション (DLPME) アルゴリズムを外挿した。 我々の合成データによる実験結果は、我々のアプローチが真の計量に迅速に収束する能力を示している。

関連論文リスト

• Cycles of Thought: Measuring LLM Confidence through Stable Explanations [53.15438489398938]
  大規模言語モデル(LLM)は、様々なベンチマークで人間レベルの精度に到達し、さらに超えることができるが、不正確な応答における過度な自信は、依然として十分に文書化された障害モードである。 本稿では,LLMの不確実性を測定するためのフレームワークを提案する。
  論文  参考訳（メタデータ） (2024-06-05T16:35:30Z)
• Data-freeWeight Compress and Denoise for Large Language Models [101.53420111286952]
  パラメータ行列を圧縮する手法として,データフリーなジョイントランクk近似を提案する。 キャリブレーションデータなしで、元の性能の93.43%を維持しながら80%のパラメータのモデルプルーニングを実現する。
  論文  参考訳（メタデータ） (2024-02-26T05:51:47Z)
• From Quantity to Quality: Boosting LLM Performance with Self-Guided Data Selection for Instruction Tuning [52.257422715393574]
  本稿では,Large Language Models (LLMs) の自己誘導手法を導入し,オープンソースデータセットからサクラサンプルを自動識別し,選択する。 我々の重要な革新である命令追従困難度(IFD)メトリックは、モデルが期待する応答と本質的な生成能力の相違を識別するための重要な指標として現れます。
  論文  参考訳（メタデータ） (2023-08-23T09:45:29Z)
• Enriching Disentanglement: From Logical Definitions to Quantitative Metrics [59.12308034729482]
  複雑なデータにおける説明的要素を遠ざけることは、データ効率の表現学習にとって有望なアプローチである。 論理的定義と量的指標の関連性を確立し, 理論的に根ざした絡み合いの指標を導出する。 本研究では,非交叉表現の異なる側面を分離することにより,提案手法の有効性を実証的に実証する。
  論文  参考訳（メタデータ） (2023-05-19T08:22:23Z)
• Multi-Fidelity Covariance Estimation in the Log-Euclidean Geometry [0.0]
  対称正定値多様体の対数ユークリッド幾何学を利用する共分散行列の多値推定器を導入する。 固定予算が与えられた推定器の平均二乗誤差を最小化する最適サンプル割り当て方式を開発した。 物理アプリケーションからのデータによるアプローチの評価は、ベンチマークと比較すると、より正確なメトリック学習と1桁以上のスピードアップを示している。
  論文  参考訳（メタデータ） (2023-01-31T16:33:46Z)
• Exploring validation metrics for offline model-based optimisation with diffusion models [50.404829846182764]
  モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。 モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。 本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
  論文  参考訳（メタデータ） (2022-11-19T16:57:37Z)
• Classification Performance Metric Elicitation and its Applications [5.5637552942511155]
  その実践的関心にもかかわらず、機械学習アプリケーションのためのメトリクスの選択方法に関する正式なガイダンスは限られている。 この論文は、暗黙のユーザの嗜好を最も反映したパフォーマンスメトリックを選択するための原則的なフレームワークとして、メトリクスの誘惑を概説している。
  論文  参考訳（メタデータ） (2022-08-19T03:57:17Z)
• A time-weighted metric for sets of trajectories to assess multi-object tracking algorithms [3.3989643515413235]
  本稿では,多目的追跡アルゴリズムを評価するために,トラジェクトリセットのメトリクスを提案する。 提案した計量は、異なる時間ステップに関連するコストに対する重みを含めることで、[1]で計量を拡張した。
  論文  参考訳（メタデータ） (2021-10-26T07:15:52Z)
• ReMP: Rectified Metric Propagation for Few-Shot Learning [67.96021109377809]
  修正されたメートル法空間は、トレーニングからテストまでのメートル法一貫性を維持するために学習される。 多くの分析結果から、目的の単純な修正がかなりの性能向上をもたらすことが示唆された。 提案したReMPは効率的で効率的であり、様々な標準的な数発の学習データセットで芸術の状態を上回ります。
  論文  参考訳（メタデータ） (2020-12-02T00:07:53Z)
• Optimizing Black-box Metrics with Adaptive Surrogates [20.836228396622104]
  ブラックボックスとハード・トゥ・オプティマイズ・メトリクスを用いたトレーニングモデルの課題を,少数の簡易・最適化サロゲートの単調関数として表現することで解決する。 トレーニング問題を緩和された代理空間上の最適化として、計量の局所勾配を推定し、不正確な凸射影を実行することで解決する。
  論文  参考訳（メタデータ） (2020-02-20T07:52:08Z)
• Learning Flat Latent Manifolds with VAEs [16.725880610265378]
  本稿では、ユークリッド計量がデータポイント間の類似性のプロキシとなる変分自動エンコーダのフレームワークの拡張を提案する。 我々は、変分オートエンコーダで一般的に使用されるコンパクトな以前のものを、最近発表されたより表現力のある階層型に置き換える。 提案手法は,ビデオ追跡ベンチマークを含む,さまざまなデータセットを用いて評価する。
  論文  参考訳（メタデータ） (2020-02-12T09:54:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。