論文の概要: Rethinking Affect Analysis: A Protocol for Ensuring Fairness and Consistency
- arxiv url: http://arxiv.org/abs/2408.02164v2
- Date: Wed, 7 Aug 2024 09:23:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-08-08 12:15:09.202975
- Title: Rethinking Affect Analysis: A Protocol for Ensuring Fairness and Consistency
- Title（参考訳）: 影響分析の再考:公正性と一貫性を確保するためのプロトコル
- Authors: Guanyu Hu, Dimitrios Kollias, Eleni Papadopoulou, Paraskevi Tzouveli, Jie Wei, Xinyu Yang,
- Abstract要約: 本稿では,データベース分割のための統一プロトコルを提案する。
我々は、(人種、性別、年齢の観点から)詳細な統計アノテーション、評価指標、および表現認識のための共通のフレームワークを提供する。
また、新しいプロトコルでメソッドを再実行し、より公平な比較で影響認識の今後の研究を促進するための新しいリーダーボードを導入します。
- 参考スコア（独自算出の注目度）: 24.737468736951374
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Evaluating affect analysis methods presents challenges due to inconsistencies in database partitioning and evaluation protocols, leading to unfair and biased results. Previous studies claim continuous performance improvements, but our findings challenge such assertions. Using these insights, we propose a unified protocol for database partitioning that ensures fairness and comparability. We provide detailed demographic annotations (in terms of race, gender and age), evaluation metrics, and a common framework for expression recognition, action unit detection and valence-arousal estimation. We also rerun the methods with the new protocol and introduce a new leaderboards to encourage future research in affect recognition with a fairer comparison. Our annotations, code, and pre-trained models are available on \hyperlink{https://github.com/dkollias/Fair-Consistent-Affect-Analysis}{Github}.
- Abstract（参考訳）: 影響分析手法の評価は、データベース分割と評価プロトコルの不整合による課題を示し、不公平で偏りのある結果をもたらす。
これまでの研究では、継続的なパフォーマンス改善が主張されていたが、我々の研究はこのような主張に異議を唱えた。
これらの知見を用いて、公平性と互換性を確保するために、データベース分割のための統一的なプロトコルを提案する。
本稿では,(人種,性別,年齢の面で)詳細な統計アノテーション,評価指標,表現認識,行動単位検出,原子価-覚醒推定のための共通フレームワークを提供する。
また、新しいプロトコルでメソッドを再実行し、より公平な比較で影響認識の今後の研究を促進するための新しいリーダーボードを導入します。
私たちのアノテーション、コード、事前トレーニングされたモデルは、 \hyperlink{https://github.com/dkollias/Fair-Consistent-Affect-Analysis}{Github}で利用可能です。
関連論文リスト
- Adversarial Pruning: A Survey and Benchmark of Pruning Methods for Adversarial Robustness [16.623648447423438]
近年の研究では、敵の例に対する堅牢性を保ちながら、ネットワークのサイズを小さくするニューラルネットワークプルーニング技術が提案されている。
これらの手法には複雑で明瞭な設計が含まれており、違いを分析して公正かつ正確な比較を確立することは困難である。
そこで我々は,パイプライン,いつ産卵するべきか,具体例,どのように産卵するべきかという2つの主要な次元に基づいて分類する新しい分類法を提案する。
論文 参考訳（メタデータ） (2024-09-02T13:34:01Z) - Bridging the Gap: Protocol Towards Fair and Consistent Affect Analysis [24.737468736951374]
日々の生活における機械学習アルゴリズムの統合の増加は、その展開における公平性と公平性の重要性を浮き彫りにしている。
既存のデータベースと方法論は均一性に欠けており、バイアスのある評価につながっている。
この研究は、6つの感情的なデータベースを分析し、属性を注釈付けし、データベース分割のための共通のプロトコルを提案することで、これらの問題に対処する。
論文 参考訳（メタデータ） (2024-05-10T22:40:01Z) - Backdoor-based Explainable AI Benchmark for High Fidelity Evaluation of Attribution Methods [49.62131719441252]
属性法は入力特徴の重要度を計算し、深層モデルの出力予測を説明する。
本研究はまず,属性手法の信頼性ベンチマークが満たすであろう信頼度基準の集合を同定する。
次に、望ましい忠実度基準に準拠したBackdoorベースのeXplainable AIベンチマーク(BackX)を紹介します。
論文 参考訳（メタデータ） (2024-05-02T13:48:37Z) - Cobra Effect in Reference-Free Image Captioning Metrics [58.438648377314436]
視覚言語事前学習モデル(VLM)を活用した参照フリー手法の普及が出現している。
本稿では,基準自由度に欠陥があるかどうかを考察する。
GPT-4Vは生成した文を評価するための評価ツールであり,提案手法がSOTA(State-of-the-art)の性能を達成することを示す。
論文 参考訳（メタデータ） (2024-02-18T12:36:23Z) - Fairness meets Cross-Domain Learning: a new perspective on Models and
Metrics [80.07271410743806]
クロスドメイン学習(CD)とモデルフェアネスの関係について検討する。
いくつかの人口集団にまたがる顔画像と医療画像のベンチマークと、分類とローカライゼーションタスクについて紹介する。
本研究は,3つの最先端フェアネスアルゴリズムとともに,14のCDアプローチをカバーし,前者が後者に勝ることを示す。
論文 参考訳（メタデータ） (2023-03-25T09:34:05Z) - TRUE: Re-evaluating Factual Consistency Evaluation [29.888885917330327]
TRUE: 多様なタスクから既存のテキストの標準化されたコレクション上での、事実整合性メトリクスの総合的な研究である。
我々の標準化により、前述した相関よりも動作可能で解釈可能なサンプルレベルのメタ評価プロトコルが実現される。
さまざまな最先端のメトリクスと11のデータセットから、大規模NLIと質問生成と回答に基づくアプローチが、強力で相補的な結果をもたらすことが分かりました。
論文 参考訳（メタデータ） (2022-04-11T10:14:35Z) - FineDiving: A Fine-grained Dataset for Procedure-aware Action Quality
Assessment [93.09267863425492]
競争力のあるスポーツビデオにおける行動の高レベル意味論と内部時間構造の両方を理解することが、予測を正確かつ解釈可能なものにする鍵である、と我々は主張する。
本研究では,多様なダイビングイベントに対して,アクションプロシージャに関する詳細なアノテーションを付加した,ファインディビングと呼ばれる詳細なデータセットを構築した。
論文 参考訳（メタデータ） (2022-04-07T17:59:32Z) - A Closer Look at Debiased Temporal Sentence Grounding in Videos:
Dataset, Metric, and Approach [53.727460222955266]
テンポラル・センテンス・グラウンディング・イン・ビデオ(TSGV)は、未編集のビデオに自然言語文を埋め込むことを目的としている。
最近の研究では、現在のベンチマークデータセットには明らかなモーメントアノテーションバイアスがあることが判明している。
偏りのあるデータセットによる膨らませ評価を緩和するため、基礎的リコールスコアを割引する新しい評価基準「dR@n,IoU@m」を導入する。
論文 参考訳（メタデータ） (2022-03-10T08:58:18Z) - Evaluation of Unsupervised Entity and Event Salience Estimation [17.74208462902158]
Salience Estimationは、文書における用語の重要性を予測することを目的としている。
過去の研究は通常、評価のための疑似根拠の真実を生成します。
本研究では,軽量で実用的な実体とイベントサリエンス評価プロトコルを提案する。
論文 参考訳（メタデータ） (2021-04-14T15:23:08Z) - Aligning Intraobserver Agreement by Transitivity [1.0152838128195467]
我々は、アノテータの整合性やアノテータのオブザーバ内合意(IA)を計測する新しい手法を提案する。
提案手法は、合理的意思決定の文脈で徹底的に研究されている推移性に基づく。
論文 参考訳（メタデータ） (2020-09-29T09:55:04Z) - Addressing Class Imbalance in Scene Graph Parsing by Learning to
Contrast and Score [65.18522219013786]
シーングラフ解析は、画像シーン内のオブジェクトを検出し、それらの関係を認識することを目的としている。
最近の手法は、いくつかの人気のあるベンチマークで高い平均スコアを達成しているが、稀な関係を検出するには失敗している。
本稿では,クラス不均衡問題を解決するために,分類とランキングの新たな統合フレームワークを提案する。
論文 参考訳（メタデータ） (2020-09-28T13:57:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。