Fugu-MT 論文翻訳(概要): Metric Elicitation; Moving from Theory to Practice

論文の概要: Metric Elicitation; Moving from Theory to Practice

arxiv url: http://arxiv.org/abs/2212.03495v1
Date: Wed, 7 Dec 2022 07:30:30 GMT
ステータス: 処理完了
システム内更新日: 2022-12-08 15:40:35.008724
Title: Metric Elicitation; Moving from Theory to Practice
Title（参考訳）: 計量的解明;理論から実践へ
Authors: Safinah Ali, Sohini Upadhyay, Gaurush Hiranandani, Elena L. Glassman, Oluwasanmi Koyejo
Abstract要約: Metric Elicitation(ME)は、暗黙のユーザの好みに合わせて分類メトリクスを抽出するフレームワークである。我々はWebベースのMEインターフェースを作成し、二項分類設定でユーザの好みのメトリクスを抽出するユーザスタディを実施します。
参考スコア（独自算出の注目度）: 28.266525003598122
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Metric Elicitation (ME) is a framework for eliciting classification metrics that better align with implicit user preferences based on the task and context. The existing ME strategy so far is based on the assumption that users can most easily provide preference feedback over classifier statistics such as confusion matrices. This work examines ME, by providing a first ever implementation of the ME strategy. Specifically, we create a web-based ME interface and conduct a user study that elicits users' preferred metrics in a binary classification setting. We discuss the study findings and present guidelines for future research in this direction.
Abstract（参考訳）: Metric Elicitation(ME)は、タスクとコンテキストに基づいて暗黙のユーザー嗜好に合うように分類メトリクスを抽出するフレームワークである。既存のME戦略は、ユーザが混乱行列のような分類器統計よりも、最も容易に好みのフィードバックを提供できるという仮定に基づいている。この研究は、me戦略の初めての実装を提供することで、私を検証します。具体的には、webベースのmeインタフェースを作成し、ユーザの好みのメトリクスをバイナリ分類設定で導き出すユーザ調査を行う。本研究の成果と今後の研究指針について論じる。

関連論文リスト

Towards Realistic Evaluation of Commit Message Generation by Matching Online and Offline Settings [77.20838441870151]
コミットメッセージ生成は、ソフトウェアエンジニアリングにおいて重要なタスクであり、正しく評価することが難しい。オンラインメトリック - VCSに生成されたメッセージをコミットする前にユーザが導入する編集回数 - を使用して、オフライン実験用のメトリクスを選択します。その結果,編集距離が最も高い相関を示すのに対し,BLEUやMETEORなどの類似度は低い相関を示すことがわかった。
論文参考訳（メタデータ） (2024-10-15T20:32:07Z)
Improved Diversity-Promoting Collaborative Metric Learning for Recommendation [127.08043409083687]
CML(Collaborative Metric Learning)は、リコメンデーションシステムにおいて人気のある手法として最近登場した。本稿では,ユーザが複数のカテゴリの関心を持つ,困難なシナリオに焦点をあてる。 textitDiversity-Promoting Collaborative Metric Learning (DPCML) と呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2024-09-02T07:44:48Z)
Exploring validation metrics for offline model-based optimisation with diffusion models [50.404829846182764]
モデルベース最適化(MBO)では、マシンラーニングを使用して、(基底真理)オラクルと呼ばれるブラックボックス関数に対する報酬の尺度を最大化する候補を設計することに興味があります。モデル検証中に基底オラクルに対する近似をトレーニングし、その代わりに使用することができるが、その評価は近似的であり、敵の例に対して脆弱である。本手法は,外挿量を測定するために提案した評価フレームワークにカプセル化されている。
論文参考訳（メタデータ） (2022-11-19T16:57:37Z)
Canary in a Coalmine: Better Membership Inference with Ensembled Adversarial Queries [53.222218035435006]
私たちは、差別的で多様なクエリを最適化するために、逆ツールを使用します。我々の改善は既存の方法よりもはるかに正確な会員推定を実現している。
論文参考訳（メタデータ） (2022-10-19T17:46:50Z)
The Minority Matters: A Diversity-Promoting Collaborative Metric Learning Algorithm [154.47590401735323]
CML(Collaborative Metric Learning)は、リコメンデーションシステムにおいて人気のある手法として最近登場した。本稿では,ユーザが複数のカテゴリの関心を持つ,困難なシナリオに焦点をあてる。 textitDiversity-Promoting Collaborative Metric Learning (DPCML) と呼ばれる新しい手法を提案する。
論文参考訳（メタデータ） (2022-09-30T08:02:18Z)
Classification Performance Metric Elicitation and its Applications [5.5637552942511155]
その実践的関心にもかかわらず、機械学習アプリケーションのためのメトリクスの選択方法に関する正式なガイダンスは限られている。この論文は、暗黙のユーザの嗜好を最も反映したパフォーマンスメトリックを選択するための原則的なフレームワークとして、メトリクスの誘惑を概説している。
論文参考訳（メタデータ） (2022-08-19T03:57:17Z)
Meta-Wrapper: Differentiable Wrapping Operator for User Interest Selection in CTR Prediction [97.99938802797377]
クリックスルー率(CTR)予測は、ユーザーが商品をクリックする確率を予測することを目的としており、リコメンデーションシステムにおいてますます重要になっている。近年,ユーザの行動からユーザの興味を自動的に抽出する深層学習モデルが大きな成功を収めている。そこで我々は,メタラッパー(Meta-Wrapper)と呼ばれるラッパー手法の枠組みに基づく新しい手法を提案する。
論文参考訳（メタデータ） (2022-06-28T03:28:15Z)
Learning Personalized Item-to-Item Recommendation Metric via Implicit Feedback [24.37151414523712]
本稿では,暗黙のフィードバックによるメトリクス学習の新しい視点から,レコメンデーションシステムにおける項目間推薦問題について検討する。本研究では,アイテムの内部コンテンツとユーザによるインタラクションの両方をキャプチャする,パーソナライズ可能なディープメトリックモデルを開発し,検討する。
論文参考訳（メタデータ） (2022-03-18T18:08:57Z)
A Unified Framework for Rank-based Evaluation Metrics for Link Prediction in Knowledge Graphs [19.822126244784133]
負の負の3倍数を持たない知識グラフ上のリンク予測タスクは、ランクベースのメトリクスの使用を動機付けている。本稿では,既存の測度を改善するための2つの方法について,代替アグリゲーション関数と確率論の概念を用いて検討する。本稿では,知識グラフ埋め込みモデルのベンチマークにおいて,その使用例を示すとともに,より容易に解釈・比較できる新しいランクベースの指標を提案する。
論文参考訳（メタデータ） (2022-03-14T23:09:46Z)
Quadratic Metric Elicitation for Fairness and Beyond [28.1407078984806]
本稿では,速度の2次関数によって定義される,よりフレキシブルなマルチクラスメトリクスを抽出するための戦略を開発する。本稿では,2次違反に基づくグループフェアメトリクスの抽出への応用について述べる。
論文参考訳（メタデータ） (2020-11-03T07:22:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。