論文の概要: Financial misstatement detection: a realistic evaluation

• arxiv url: http://arxiv.org/abs/2305.17457v1
• Date: Sat, 27 May 2023 12:19:13 GMT
• ステータス: 処理完了
• システム内更新日: 2023-05-30 19:04:29.609508
• Title: Financial misstatement detection: a realistic evaluation
• Title（参考訳）: 財務的誤り検出:現実的な評価
• Authors: Elias Zavitsanos, Dimitris Mavroeidis, Konstantinos Bougiatiotis, Eirini Spyropoulou, Lefteris Loukas, Georgios Paliouras
• Abstract要約: 「この仕事は、文献では、財務報告の誤記検知としてしばしば言及される。」 タスクのための新しい現実的な評価フレームワークを提案する。 評価プロセスがシステム性能に大きく影響を与えることを示す。
• 参考スコア（独自算出の注目度）: 3.4253416336476246
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: In this work, we examine the evaluation process for the task of detecting financial reports with a high risk of containing a misstatement. This task is often referred to, in the literature, as ``misstatement detection in financial reports''. We provide an extensive review of the related literature. We propose a new, realistic evaluation framework for the task which, unlike a large part of the previous work: (a) focuses on the misstatement class and its rarity, (b) considers the dimension of time when splitting data into training and test and (c) considers the fact that misstatements can take a long time to detect. Most importantly, we show that the evaluation process significantly affects system performance, and we analyze the performance of different models and feature types in the new realistic framework.
• Abstract（参考訳）: そこで本研究では,誤報を含むリスクの高い財務報告を検知するタスクの評価プロセスについて検討する。 このタスクは、文献では「財務報告におけるミスステートメント検出」と呼ばれることが多い。 関連文献を概観する。 従来の作業の大部分とは違って,タスクに対する新たな現実的な評価フレームワークを提案する。 (a)不備クラスとその希少性に焦点を当てる。 b) データをトレーニングとテストに分割する際の時間次元を考慮し、 (c)誤言を検知するのに長い時間がかかるという事実を考える。 最も重要な点は,評価プロセスがシステム性能に大きく影響することを示し,新しい現実的なフレームワークにおいて,異なるモデルや特徴型のパフォーマンスを分析することである。

関連論文リスト

• The Mirage of Model Editing: Revisiting Evaluation in the Wild [70.17413507444704]
  質問応答アプリケーションにおけるモデル編集の有効性について検討する。 単一の編集実験により、現在行われている編集手法は、以前報告したよりも大幅に悪化していることが示された。 本分析は,既存のモデル編集手法の現実的適用性と評価手法の両面について,基礎的な再検討を行うものである。
  論文  参考訳（メタデータ） (2025-02-16T15:57:55Z)
• Causality can systematically address the monsters under the bench(marks) [64.36592889550431]
  ベンチマークはさまざまなバイアス、アーティファクト、リークに悩まされている。 モデルは、調査の不十分な障害モードのため、信頼できない振る舞いをする可能性がある。 因果関係はこれらの課題を体系的に解決するための 理想的な枠組みを提供します
  論文  参考訳（メタデータ） (2025-02-07T17:01:37Z)
• Evaluating Mathematical Reasoning Beyond Accuracy [50.09931172314218]
  推論ステップの品質を評価するための新しい方法論であるReasonEvalを紹介します。 ReasonEvalはメタ評価データセットのベースライン手法よりも一貫して優れていることを示す。 我々は、ReasonEvalがデータ選択において重要な役割を果たすことを観察する。
  論文  参考訳（メタデータ） (2024-04-08T17:18:04Z)
• SoK: Machine Learning for Misinformation Detection [0.8057006406834466]
  信頼性と安全性の問題に機械学習を適用する際、奨学金と実践の切り離しについて検討する。 本研究は,現場における248件の有能な論文からなるコーパスにおける誤情報の自動検出に関する文献調査である。 完全自動検出における現在の最先端技術は、人為的誤報の検出において、限られた有効性を有すると結論づける。
  論文  参考訳（メタデータ） (2023-08-23T15:52:20Z)
• Unsupervised Anomaly Detection in Time-series: An Extensive Evaluation and Analysis of State-of-the-art Methods [10.618572317896515]
  時系列における教師なし異常検出は文献で広く研究されている。 本稿では,近年の時系列における教師なし異常検出手法の詳細な評価手法を提案する。
  論文  参考訳（メタデータ） (2022-12-06T15:05:54Z)
• A Call to Reflect on Evaluation Practices for Failure Detection in Image Classification [0.491574468325115]
  本稿では,信頼度評価関数のベンチマーク化を初めて実現した大規模実証的研究について述べる。 簡便なソフトマックス応答ベースラインを全体の最高の実行方法として明らかにすることは、現在の評価の劇的な欠点を浮き彫りにする。
  論文  参考訳（メタデータ） (2022-11-28T12:25:27Z)
• Systematic Evaluation of Predictive Fairness [60.0947291284978]
  バイアス付きデータセットのトレーニングにおけるバイアスの緩和は、重要なオープンな問題である。 複数のタスクにまたがる様々なデバイアス化手法の性能について検討する。 データ条件が相対モデルの性能に強い影響を与えることがわかった。
  論文  参考訳（メタデータ） (2022-10-17T05:40:13Z)
• Evaluation Gaps in Machine Learning Practice [13.963766987258161]
  実際に、機械学習モデルの評価は、しばしば、非文脈化された予測行動の狭い範囲に焦点を当てる。 評価対象の理想化された幅と実際の評価対象の狭い焦点との間の評価ギャップについて検討した。 これらの特性を研究することで、規範的な影響を持つコミットメントの範囲について、機械学習分野の暗黙の仮定を実証する。
  論文  参考訳（メタデータ） (2022-05-11T04:00:44Z)
• Active Surrogate Estimators: An Active Learning Approach to Label-Efficient Model Evaluation [59.7305309038676]
  モデル評価のためのアクティブサロゲート推定器(ASE)を提案する。 ASEは現在の最先端技術よりもラベル効率が高いことが分かりました。
  論文  参考訳（メタデータ） (2022-02-14T17:15:18Z)
• Stateful Offline Contextual Policy Evaluation and Learning [88.9134799076718]
  我々は、シーケンシャルデータから、政治以外の評価と学習について研究する。 動的パーソナライズされた価格設定などの問題の因果構造を形式化する。 本報告では,本クラスにおけるアウト・オブ・サンプル・ポリシーの性能改善について述べる。
  論文  参考訳（メタデータ） (2021-10-19T16:15:56Z)
• Evaluating Predictive Business Process Monitoring Approaches on Small Event Logs [0.0]
  予測的ビジネスプロセス監視は、実行中のプロセスインスタンスが実行時の完了までどのように展開されるかの予測に関係している。 提案されたアプローチのほとんどは、さまざまな機械学習(ML)技術に依存している。 本論文では,既存手法と小データセットの適合性を比較するための評価フレームワークを提案する。
  論文  参考訳（メタデータ） (2021-04-01T09:36:04Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。