論文の概要: TRIVEA: Transparent Ranking Interpretation using Visual Explanation of Black-Box Algorithmic Rankers

• arxiv url: http://arxiv.org/abs/2308.14622v1
• Date: Mon, 28 Aug 2023 16:58:44 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-29 13:25:10.176994
• Title: TRIVEA: Transparent Ranking Interpretation using Visual Explanation of Black-Box Algorithmic Rankers
• Title（参考訳）: TRIVEA:ブラックボックスアルゴリズムの視覚的説明を用いた透明ランキング解釈
• Authors: Jun Yuan, Kaustav Bhattacharjee, Akm Zahirul Islam and Aritra Dasgupta
• Abstract要約: ランク付けスキームは、どこで勉強するか、誰を雇うか、何を買うかなど、多くの現実世界の意思決定を促します。 これらの決定の核心は、データエンティティの順序を決定する不透明なランキングスキームである。 我々は、利用可能なデータから学習するアルゴリズム的なランク付けと、説明可能なAI(XAI)手法を用いて学習したランキング差について人間の推論を行うことで、ランキング解釈における透明性の実現を目指している。
• 参考スコア（独自算出の注目度）: 4.336037935247747
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Ranking schemes drive many real-world decisions, like, where to study, whom to hire, what to buy, etc. Many of these decisions often come with high consequences. For example, a university can be deemed less prestigious if not featured in a top-k list, and consumers might not even explore products that do not get recommended to buyers. At the heart of most of these decisions are opaque ranking schemes, which dictate the ordering of data entities, but their internal logic is inaccessible or proprietary. Drawing inferences about the ranking differences is like a guessing game to the stakeholders, like, the rankees (i.e., the entities who are ranked, like product companies) and the decision-makers (i.e., who use the rankings, like buyers). In this paper, we aim to enable transparency in ranking interpretation by using algorithmic rankers that learn from available data and by enabling human reasoning about the learned ranking differences using explainable AI (XAI) methods. To realize this aim, we leverage the exploration-explanation paradigm of human-data interaction to let human stakeholders explore subsets and groupings of complex multi-attribute ranking data using visual explanations of model fit and attribute influence on rankings. We realize this explanation paradigm for transparent ranking interpretation in TRIVEA, a visual analytic system that is fueled by: i) visualizations of model fit derived from algorithmic rankers that learn the associations between attributes and rankings from available data and ii) visual explanations derived from XAI methods that help abstract important patterns, like, the relative influence of attributes in different ranking ranges. Using TRIVEA, end users not trained in data science have the agency to transparently reason about the global and local behavior of the rankings without the need to open black-box ranking models and develop confidence in the resulting attribute-based inferences. We demonstrate the efficacy of TRIVEA using multiple usage scenarios and subjective feedback from researchers with diverse domain expertise. Keywords: Visual Analytics, Learning-to-Rank, Explainable ML, Ranking
• Abstract（参考訳）: ランク付け方式は、勉強先、採用先、購入先など、多くの現実世界の意思決定を駆動する。 これらの決定の多くは、しばしば高い結果をもたらす。 例えば、大学はトップkリストに載らないと名声が低いと見なすことができ、消費者は購入者に推奨されない製品を探索するかもしれない。 これらの決定の核心は、データエンティティの順序を決定する不透明なランキングスキームであるが、内部ロジックはアクセス不能またはプロプライエタリである。 ランキングの違いに関する推論は、利害関係者(例えば、製品会社のようなランク付けされた団体)や意思決定者(すなわち、買い手のようなランキングを使用する者)に対する推測ゲームのようなものだ。 本稿では,利用可能なデータから学習するアルゴリズムによるランク付けと,説明可能なai (xai) 手法を用いて学習したランク付けの違いを人間による推論を行うことにより,ランク付け解釈の透明性を実現することを目的とする。 この目的を達成するために、人間の利害関係者がモデル適合と属性影響の視覚的説明を用いて、複雑な多属性ランキングデータのサブセットとグループ化を探索できるように、人間とデータ相互作用の探索・説明パラダイムを活用する。 視覚分析システムtriveaでは,この説明パラダイムを透明なランキング解釈のために実現している。 一 利用可能なデータから属性とランキングの関係を学習するアルゴリズム的ランカから導出したモデル適合の可視化 二 異なるランク範囲における属性の相対的影響等、重要なパターンを抽象化するXAI法から派生した視覚的説明。 TRIVEAを使用することで、データサイエンスの訓練を受けていないエンドユーザは、ブラックボックスランキングモデルを開くことなく、グローバルおよびローカルなランキングの振る舞いを透過的に判断し、結果として生じる属性ベースの推論に対する信頼性を高めることができる。 本稿では,様々な分野の専門家による複数のシナリオと主観的フィードバックを用いて,triveaの有効性を示す。 キーワード:ビジュアルアナリティクス、ラーニング・トゥ・ランド、説明可能なML、ランキング

関連論文リスト

• Is Interpretable Machine Learning Effective at Feature Selection for Neural Learning-to-Rank? [15.757181795925336]
  ニューラルネットワークのランキングモデルは、現実世界の検索とレコメンデーションシステムでますます人気が高まっている。 ツリーベースのモデルとは異なり、ニューラルモデルは解釈がはるかに少ない。 これは、現実世界のシステムにとって解釈可能性が非常に重要であるため、特に不利である。
  論文  参考訳（メタデータ） (2024-05-13T14:26:29Z)
• XAL: EXplainable Active Learning Makes Classifiers Better Low-resource Learners [71.8257151788923]
  低リソーステキスト分類のための新しい説明可能なアクティブラーニングフレームワーク(XAL)を提案する。 XALは分類器に対して、推論を正当化し、合理的な説明ができないラベルのないデータを掘り下げることを推奨している。 6つのデータセットの実験では、XALは9つの強いベースラインに対して一貫した改善を達成している。
  論文  参考訳（メタデータ） (2023-10-09T08:07:04Z)
• D-BIAS: A Causality-Based Human-in-the-Loop System for Tackling Algorithmic Bias [57.87117733071416]
  D-BIASは、人間のループ内AIアプローチを具現化し、社会的バイアスを監査し軽減する視覚対話型ツールである。 ユーザは、因果ネットワークにおける不公平な因果関係を識別することにより、グループに対する偏見の存在を検出することができる。 それぞれのインタラクション、例えばバイアスのある因果縁の弱体化/削除は、新しい(偏りのある)データセットをシミュレートするために、新しい方法を用いている。
  論文  参考訳（メタデータ） (2022-08-10T03:41:48Z)
• Re-Examining Human Annotations for Interpretable NLP [80.81532239566992]
  我々は、Interpretable NLPで広く使われている2つのデータセット上で、クラウドソースのウェブサイトを用いて制御実験を行う。 我々は,異なる資格レベルを満たす人材の募集から得られた注釈結果を比較した。 以上の結果から,アノテーションの品質は労働者の資格に高い影響を受けており,労働者は指示によって特定のアノテーションを提供するように指導することができることがわかった。
  論文  参考訳（メタデータ） (2022-04-10T02:27:30Z)
• MINER: Improving Out-of-Vocabulary Named Entity Recognition from an Information Theoretic Perspective [57.19660234992812]
  NERモデルは標準のNERベンチマークで有望な性能を達成した。 近年の研究では、従来のアプローチはエンティティ参照情報に過度に依存し、OoV(out-of-vocabulary)エンティティ認識の性能が劣っていることが示されている。 我々は、情報理論の観点からこの問題を改善するための新しいNER学習フレームワークであるMINERを提案する。
  論文  参考訳（メタデータ） (2022-04-09T05:18:20Z)
• Integrating Rankings into Quantized Scores in Peer Review [61.27794774537103]
  ピアレビューでは、レビュアーは通常、論文のスコアを提供するように求められます。 この問題を軽減するため、カンファレンスはレビュアーにレビューした論文のランキングを付加するように求め始めている。 このランキング情報を使用するための標準的な手順はなく、エリアチェアは異なる方法でそれを使用することができる。 我々は、ランキング情報をスコアに組み込むために、原則化されたアプローチを取る。
  論文  参考訳（メタデータ） (2022-04-05T19:39:13Z)
• Data Driven and Visualization based Strategization for University Rank Improvement using Decision Trees [1.933681537640272]
  本稿では,Decision Tree (DT) に基づくアルゴリズムを用いてランキングデータを分類し,データ可視化技術を用いてランク改善のための決定経路を抽出する手法を提案する。 提案手法は,HEIが改善の範囲を定量的に評価し,詳細な長期行動計画と適切な道路マップを作成するのに役立つ。
  論文  参考訳（メタデータ） (2021-10-18T06:41:45Z)
• Analysis of Multivariate Scoring Functions for Automatic Unbiased Learning to Rank [14.827143632277274]
  ユーザのバイアスモデル(すなわち、確率モデル)とアンバイアスなランク付けを共同で学習するAutoULTRアルゴリズムは、性能が優れ、実際のデプロイコストが低いため、多くの注目を集めている。 近年の文脈認識型学習 to ランクモデルの進歩により,複数の文書をまとめて読み上げ,それらのランキングスコアを予測する多変量スコア関数が,人間関連ラベルを用いたランキングタスクにおいて,一変量ランキング関数よりも強力であることが示されている。 2つの大規模ベンチマークデータセットの合成クリック実験により、置換不変な多変量スコアリング機能を持つAutoULTRモデルの性能が著しく向上したことが示された。
  論文  参考訳（メタデータ） (2020-08-20T16:31:59Z)
• Controlling Fairness and Bias in Dynamic Learning-to-Rank [31.41843594914603]
  暗黙のフィードバックデータからランキング関数を学習しながら、グループフェアネスの概念を確実にする学習アルゴリズムを提案する。 このアルゴリズムは、公平さと実用性の両方のために、偏見のない推定器を統合するコントローラの形をとっている。 厳密な理論基盤と収束保証に加えて、アルゴリズムが極めて実用的で堅牢であることが実証的に明らかになった。
  論文  参考訳（メタデータ） (2020-05-29T17:57:56Z)
• Valid Explanations for Learning to Rank Models [5.320400771224103]
  本稿では,入力特徴の少数のサブセットをランキング決定の理由として同定するモデルに依存しない局所的説明法を提案する。 我々は,選択された特徴の有無に基づいて,ランク付けに特化して説明の妥当性と完全性という新たな概念を導入する。
  論文  参考訳（メタデータ） (2020-04-29T06:21:56Z)
• Bias in Multimodal AI: Testbed for Fair Automatic Recruitment [73.85525896663371]
  異種情報ソースに基づく現在のマルチモーダルアルゴリズムは、データ中の機密要素や内部バイアスによってどのように影響を受けるかを検討する。 我々は、性別や人種の偏りを意識的に評価したマルチモーダルな合成プロファイルを用いて、自動求人アルゴリズムを訓練する。 我々の方法論と結果は、一般により公平なAIベースのツール、特により公平な自動採用システムを生成する方法を示している。
  論文  参考訳（メタデータ） (2020-04-15T15:58:05Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。