論文の概要: Evaluating Deep Taylor Decomposition for Reliability Assessment in the
Wild
- arxiv url: http://arxiv.org/abs/2206.02661v1
- Date: Tue, 3 May 2022 12:59:21 GMT
- ステータス: 処理完了
- システム内更新日: 2023-02-14 11:30:29.981572
- Title: Evaluating Deep Taylor Decomposition for Reliability Assessment in the
Wild
- Title(参考訳): 野生の信頼性評価のための深部テイラー分解の評価
- Authors: Stephanie Brandl, Daniel Hershcovich, Anders S{\o}gaard
- Abstract要約: 本稿では,Deep Taylor分解に基づくトークン属性の評価について述べる。
この手法をRoBERTa-Largeと組み合わせることで、Gossip Corpusを微調整し、より高速で優れた人間の意思決定を可能にした。
- 参考スコア(独自算出の注目度): 5.023891066282676
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We argue that we need to evaluate model interpretability methods 'in the
wild', i.e., in situations where professionals make critical decisions, and
models can potentially assist them. We present an in-the-wild evaluation of
token attribution based on Deep Taylor Decomposition, with professional
journalists performing reliability assessments. We find that using this method
in conjunction with RoBERTa-Large, fine-tuned on the Gossip Corpus, led to
faster and better human decision-making, as well as a more critical attitude
toward news sources among the journalists. We present a comparison of human and
model rationales, as well as a qualitative analysis of the journalists'
experiences with machine-in-the-loop decision making.
- Abstract(参考訳): 我々は、専門家が重要な決定を下し、モデルがそれらを支援できるような状況において、モデル解釈可能性の手法を「荒野」で評価する必要があると論じる。
本稿では,信頼度評価を行うプロジャーナリストを対象に,深いテイラー分解に基づくトークン帰属の評価を行った。
この手法をRoBERTa-Largeと組み合わせることで、Gossip Corpusを微調整し、より高速で優れた人的意思決定を実現し、ジャーナリストのニュースソースに対してより批判的な態度を取ることができた。
本稿では,人間とモデルによる合理性の比較と,ループ内意思決定におけるジャーナリストの経験の質的分析について述べる。
関連論文リスト
- Generative Judge for Evaluating Alignment [84.09815387884753]
本稿では,これらの課題に対処するために,13Bパラメータを持つ生成判断器Auto-Jを提案する。
我々のモデルは,大規模な実環境シナリオ下でのユーザクエリとLLM生成応答に基づいて訓練されている。
実験的に、Auto-Jはオープンソースモデルとクローズドソースモデルの両方を含む、強力なライバルのシリーズを上回っている。
論文 参考訳(メタデータ) (2023-10-09T07:27:15Z) - On the Definition of Appropriate Trust and the Tools that Come with it [0.0]
本稿は文献からの適切な信頼の定義から始まる。
定義とモデル性能評価を比較し、適切な信頼とモデル性能評価の強い類似性を示す。
本稿では,不確実性の測定方法や回帰の適切な信頼度など,ユーザパフォーマンスのさまざまな側面に対する簡易な評価手法を提案する。
論文 参考訳(メタデータ) (2023-09-21T09:52:06Z) - ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。
分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
論文 参考訳(メタデータ) (2023-08-14T15:13:04Z) - Bring Your Own Data! Self-Supervised Evaluation for Large Language
Models [52.15056231665816]
大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。
閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。
自己監督評価と人監督評価との間には強い相関関係が認められた。
論文 参考訳(メタデータ) (2023-06-23T17:59:09Z) - Off-policy evaluation for learning-to-rank via interpolating the
item-position model and the position-based model [83.83064559894989]
産業レコメンデーションシステムにとって重要なニーズは、製品にデプロイする前に、レコメンデーションポリシーをオフラインで評価する機能である。
我々は、最も人気のある2つの非政治推定器の問題を緩和する新しい推定器を開発する。
特に、InterPOLと呼ばれる新しい推定器は、潜在的に不特定位置ベースモデルのバイアスに対処する。
論文 参考訳(メタデータ) (2022-10-15T17:22:30Z) - Interpretable Fake News Detection with Topic and Deep Variational Models [2.15242029196761]
我々は,解釈可能な特徴と手法を用いた偽ニュース検出に焦点をあてる。
我々は,テキストニュースの高密度表現を統合した深層確率モデルを開発した。
我々のモデルは最先端の競合モデルに匹敵する性能を達成する。
論文 参考訳(メタデータ) (2022-09-04T05:31:00Z) - Personalized multi-faceted trust modeling to determine trust links in
social media and its potential for misinformation management [61.88858330222619]
ソーシャルメディアにおけるピア間の信頼関係を予測するためのアプローチを提案する。
本稿では,データ駆動型多面信頼モデルを提案する。
信頼を意識したアイテムレコメンデーションタスクで説明され、提案したフレームワークを大規模なYelpデータセットのコンテキストで評価する。
論文 参考訳(メタデータ) (2021-11-11T19:40:51Z) - A Sentiment Analysis Dataset for Trustworthiness Evaluation [22.734197353027632]
深層学習モデルはブラックボックス問題のために信頼できないとしばしば批判される。
我々は、頑健さと解釈可能性を評価するために、新しくよく注釈付けされた感情分析データセットをリリースする。
論文 参考訳(メタデータ) (2021-08-30T11:58:16Z) - Leveraging Expert Consistency to Improve Algorithmic Decision Support [89.01584399789951]
歴史的専門家の意思決定を豊富な情報源として利用することを検討します。
観察されたラベルだけで学習する制限を緩和するために活用できることを示しています。
論文 参考訳(メタデータ) (2021-01-24T05:40:29Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。