論文の概要: Data Leakage and Evaluation Issues in Micro-Expression Analysis

• arxiv url: http://arxiv.org/abs/2211.11425v1
• Date: Mon, 21 Nov 2022 13:12:07 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-22 21:07:00.943152
• Title: Data Leakage and Evaluation Issues in Micro-Expression Analysis
• Title（参考訳）: マイクロ表現解析におけるデータ漏洩と評価問題
• Authors: Tuomas Varanka, Yante Li, Wei Peng and Guoying Zhao
• Abstract要約: マイクロ圧縮の文献では,データ漏洩と断片化評価プロトコルが問題となっている。 そこで我々は,2000以上のマイクロ圧縮サンプルを用いた顔動作ユニットを用いた新しい評価プロトコルを提案し,その評価プロトコルを標準化された方法で実装したオープンソースライブラリを提供する。
• 参考スコア（独自算出の注目度）: 45.215233522470115
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Micro-expressions have drawn increasing interest lately due to various potential applications. The task is, however, difficult as it incorporates many challenges from the fields of computer vision, machine learning and emotional sciences. Due to the spontaneous and subtle characteristics of micro-expressions, the available training and testing data are limited, which make evaluation complex. We show that data leakage and fragmented evaluation protocols are issues among the micro-expression literature. We find that fixing data leaks can drastically reduce model performance, in some cases even making the models perform similarly to a random classifier. To this end, we go through common pitfalls, propose a new standardized evaluation protocol using facial action units with over 2000 micro-expression samples, and provide an open source library that implements the evaluation protocols in a standardized manner. Code will be available in \url{https://github.com/tvaranka/meb}.
• Abstract（参考訳）: 近年,様々な応用の可能性から,マイクロ表現への関心が高まっている。 しかし、コンピュータビジョン、機械学習、感情科学の分野から多くの課題を取り入れているため、この課題は難しい。 マイクロ表現の自発的かつ微妙な特性のため、利用可能なトレーニングとテストデータは限定され、評価が複雑になる。 マイクロ圧縮の文献では,データ漏洩と断片化評価プロトコルが問題となっている。 データリークの修正は、モデルのパフォーマンスを劇的に低下させ、場合によってはモデルがランダムな分類器と同じように振る舞うことさえある。 この目的のために,我々は共通の落とし穴を乗り越え,2000以上のマイクロ表現サンプルを持つ顔動作ユニットを用いた新しい標準化評価プロトコルを提案し,評価プロトコルを標準化したオープンソースライブラリを提供する。 コードは \url{https://github.com/tvaranka/meb} で入手できる。

関連論文リスト

• Assessing Privacy Risks in Language Models: A Case Study on Summarization Tasks [65.21536453075275]
  我々は要約作業に焦点をあて、会員推測(MI)攻撃について調査する。 テキストの類似性や文書修正に対するモデルの抵抗をMI信号として活用する。 我々は、MI攻撃から保護するための要約モデルの訓練と、プライバシとユーティリティの本質的にのトレードオフについて議論する。
  論文  参考訳（メタデータ） (2023-10-20T05:44:39Z)
• Bring Your Own Data! Self-Supervised Evaluation for Large Language Models [52.15056231665816]
  大規模言語モデル(LLM)の自己教師型評価のためのフレームワークを提案する。 閉書知識,毒性,長期文脈依存性を測定するための自己指導型評価戦略を実証する。 自己監督評価と人監督評価との間には強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-06-23T17:59:09Z)
• Rethinking Dense Retrieval's Few-Shot Ability [24.86681340512899]
  少数の高密度検索は,いくつかのサンプルを学習することで,新しい検索シナリオに一般化することを目的としている。 現在の手法では、教師付きデータセットからランダムにサンプリングして、"few-data"セットアップを作成することが多い。 カスタマイズされたFewDRデータセットと統一評価ベンチマークを提案する。
  論文  参考訳（メタデータ） (2023-04-12T13:20:16Z)
• CoCo: Coherence-Enhanced Machine-Generated Text Detection Under Data Limitation With Contrastive Learning [14.637303913878435]
  低リソースシナリオ下でMGTを検出するために,コヒーレンスに基づくコントラスト学習モデルCoCoを提案する。 言語的特徴を活用するために,グラフ形式でコヒーレンス情報をテキスト表現にエンコードする。 2つの公開データセットと2つの自己構築データセットの実験結果は、我々のアプローチが最先端の手法を大幅に上回っていることを証明している。
  論文  参考訳（メタデータ） (2022-12-20T15:26:19Z)
• On the Blind Spots of Model-Based Evaluation Metrics for Text Generation [79.01422521024834]
  テキスト生成評価指標のロバスト性分析に有用であるが,しばしば無視される手法を探索する。 我々は、幅広い潜在的な誤差を設計、合成し、それらが測定値の余計な低下をもたらすかどうかを確認する。 私たちの実験では、既存のメトリクスの興味深い不感、バイアス、あるいは抜け穴が明らかになりました。
  論文  参考訳（メタデータ） (2022-12-20T06:24:25Z)
• Annotation Error Detection: Analyzing the Past and Present for a More Coherent Future [63.99570204416711]
  我々は、潜在的なアノテーションの誤りを検知するための18の手法を再実装し、9つの英語データセット上で評価する。 アノテーションエラー検出タスクの新しい形式化を含む一様評価設定を定義する。 私たちはデータセットと実装を,使いやすく,オープンソースのソフトウェアパッケージとしてリリースしています。
  論文  参考訳（メタデータ） (2022-06-05T22:31:45Z)
• Video-based Facial Micro-Expression Analysis: A Survey of Datasets, Features and Algorithms [52.58031087639394]
  マイクロ表現は不随意かつ過渡的な表情である。 嘘検出や犯罪検出など、幅広い応用において重要な情報を提供することができる。 マイクロ表現は過渡的で低強度であるため、検出と認識は困難であり、専門家の経験に大きく依存する。
  論文  参考訳（メタデータ） (2022-01-30T05:14:13Z)
• Action Units That Constitute Trainable Micro-expressions (and A Large-scale Synthetic Dataset) [20.866448615388876]
  本研究では,マイクロ圧縮トレーニングデータを大規模に自動合成するプロトコルを開発することを目的とする。 具体的には、トレーニング可能なマイクロ表現を適切に構成できる3種類のアクションユニット(AU)を発見する。 これらのAUでは、様々なアイデンティティを持つ多数の顔画像と、既存の顔生成方式を用いてマイクロ圧縮合成を行う。 マイクロ圧縮認識モデルは、生成されたマイクロ圧縮データセットに基づいてトレーニングされ、実世界のテストセットで評価される。
  論文  参考訳（メタデータ） (2021-12-03T06:09:06Z)
• Is it feasible to detect FLOSS version release events from textual messages? A case study on Stack Overflow [0.0]
  本研究は,Stack Overflow Q&Aプラットフォームからのメッセージのサンプルを用いて,テキストデータのマイクロイベント検出の実現可能性について検討した。 格子探索手法を用いてパラメータを最適化した3つの異なる推定器を用いて,マイクロイベントの検出のためのパイプラインを構築した。 実験では,マイクロイベントの前後における話題の分布や感情の特徴の変化について検討した。
  論文  参考訳（メタデータ） (2020-03-30T16:55:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。