Fugu-MT 論文翻訳(概要): Evaluating Deep Taylor Decomposition for Reliability Assessment in the Wild

論文の概要: Evaluating Deep Taylor Decomposition for Reliability Assessment in the Wild

arxiv url: http://arxiv.org/abs/2206.02661v1
Date: Tue, 3 May 2022 12:59:21 GMT
ステータス: 処理完了
システム内更新日: 2023-02-14 11:30:29.981572
Title: Evaluating Deep Taylor Decomposition for Reliability Assessment in the Wild
Title（参考訳）: 野生の信頼性評価のための深部テイラー分解の評価
Authors: Stephanie Brandl, Daniel Hershcovich, Anders S{\o}gaard
Abstract要約: 本稿では,Deep Taylor分解に基づくトークン属性の評価について述べる。この手法をRoBERTa-Largeと組み合わせることで、Gossip Corpusを微調整し、より高速で優れた人間の意思決定を可能にした。
参考スコア（独自算出の注目度）: 5.023891066282676
License: http://creativecommons.org/licenses/by/4.0/
Abstract: We argue that we need to evaluate model interpretability methods 'in the wild', i.e., in situations where professionals make critical decisions, and models can potentially assist them. We present an in-the-wild evaluation of token attribution based on Deep Taylor Decomposition, with professional journalists performing reliability assessments. We find that using this method in conjunction with RoBERTa-Large, fine-tuned on the Gossip Corpus, led to faster and better human decision-making, as well as a more critical attitude toward news sources among the journalists. We present a comparison of human and model rationales, as well as a qualitative analysis of the journalists' experiences with machine-in-the-loop decision making.
Abstract（参考訳）: 我々は、専門家が重要な決定を下し、モデルがそれらを支援できるような状況において、モデル解釈可能性の手法を「荒野」で評価する必要があると論じる。本稿では,信頼度評価を行うプロジャーナリストを対象に,深いテイラー分解に基づくトークン帰属の評価を行った。この手法をRoBERTa-Largeと組み合わせることで、Gossip Corpusを微調整し、より高速で優れた人的意思決定を実現し、ジャーナリストのニュースソースに対してより批判的な態度を取ることができた。本稿では,人間とモデルによる合理性の比較と,ループ内意思決定におけるジャーナリストの経験の質的分析について述べる。

関連論文リスト

Towards Objective and Unbiased Decision Assessments with LLM-Enhanced Hierarchical Attention Networks [6.520709313101523]
本研究では,人的専門家による高い意思決定過程における認知バイアスの識別について検討する。人間の判断を超越したバイアス対応AI拡張ワークフローを提案する。実験では,提案モデルとエージェントワークフローの両方が,人間の判断と代替モデルの両方において有意に改善されている。
論文参考訳（メタデータ） (2024-11-13T10:42:11Z)
Out-of-Distribution Learning with Human Feedback [26.398598663165636]
本稿では,人的フィードバックによるOOD学習のための新しい枠組みを提案する。当社のフレームワークは、無償で利用可能な未ラベルデータに便乗しています。人間のフィードバックを利用して、機械学習モデルの堅牢性と信頼性を高める。
論文参考訳（メタデータ） (2024-08-14T18:49:27Z)
Rigorous Probabilistic Guarantees for Robust Counterfactual Explanations [80.86128012438834]
モデルシフトに対する反ファクトの堅牢性を計算することはNP完全であることを示す。本稿では,頑健性の厳密な推定を高い保証で実現する新しい確率論的手法を提案する。
論文参考訳（メタデータ） (2024-07-10T09:13:11Z)
ConSiDERS-The-Human Evaluation Framework: Rethinking Human Evaluation for Generative Large Language Models [53.00812898384698]
生成型大規模言語モデル(LLM)の人間による評価は多分野にわたる作業であるべきだと論じる。認知バイアスが、流動的な情報や真理をいかに説明するか、そして、認識の不確実性が、Likertのような評価スコアの信頼性にどのように影響するかを強調します。本稿では,ConSiDERS-The-Human評価フレームワークを提案する。一貫性,スコーリング基準,差別化,ユーザエクスペリエンス,責任,スケーラビリティの6つの柱からなる。
論文参考訳（メタデータ） (2024-05-28T22:45:28Z)
Reliability Estimation of News Media Sources: Birds of a Feather Flock Together [0.7249731529275342]
本稿では,強化学習戦略を活用した情報源信頼度推定手法を提案する。本手法を,既存データセットよりも桁違いに大きいニュースメディア信頼性データセット上で検証した。我々は、情報検証に取り組んでいるNLPコミュニティにとって貴重なリソースを提供することを目的として、実装とデータセットをリリースする。
論文参考訳（メタデータ） (2024-04-15T08:27:47Z)
ChatEval: Towards Better LLM-based Evaluators through Multi-Agent Debate [57.71597869337909]
われわれはChatEvalと呼ばれるマルチエージェントの審判チームを構築し、異なるモデルから生成された応答の品質を自律的に議論し評価する。分析の結果,ChatEvalは単なるテキストスコアリングを超越し,信頼性評価のための人間模倣評価プロセスを提供することがわかった。
論文参考訳（メタデータ） (2023-08-14T15:13:04Z)
Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。自己監督評価と人監督評価との間には強い相関関係が認められた。
論文参考訳（メタデータ） (2023-06-23T17:59:09Z)
Off-policy evaluation for learning-to-rank via interpolating the item-position model and the position-based model [83.83064559894989]
産業レコメンデーションシステムにとって重要なニーズは、製品にデプロイする前に、レコメンデーションポリシーをオフラインで評価する機能である。我々は、最も人気のある2つの非政治推定器の問題を緩和する新しい推定器を開発する。特に、InterPOLと呼ばれる新しい推定器は、潜在的に不特定位置ベースモデルのバイアスに対処する。
論文参考訳（メタデータ） (2022-10-15T17:22:30Z)
Interpretable Fake News Detection with Topic and Deep Variational Models [2.15242029196761]
我々は,解釈可能な特徴と手法を用いた偽ニュース検出に焦点をあてる。我々は,テキストニュースの高密度表現を統合した深層確率モデルを開発した。我々のモデルは最先端の競合モデルに匹敵する性能を達成する。
論文参考訳（メタデータ） (2022-09-04T05:31:00Z)
Personalized multi-faceted trust modeling to determine trust links in social media and its potential for misinformation management [61.88858330222619]
ソーシャルメディアにおけるピア間の信頼関係を予測するためのアプローチを提案する。本稿では,データ駆動型多面信頼モデルを提案する。信頼を意識したアイテムレコメンデーションタスクで説明され、提案したフレームワークを大規模なYelpデータセットのコンテキストで評価する。
論文参考訳（メタデータ） (2021-11-11T19:40:51Z)
A Sentiment Analysis Dataset for Trustworthiness Evaluation [22.734197353027632]
深層学習モデルはブラックボックス問題のために信頼できないとしばしば批判される。我々は、頑健さと解釈可能性を評価するために、新しくよく注釈付けされた感情分析データセットをリリースする。
論文参考訳（メタデータ） (2021-08-30T11:58:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。