論文の概要: Beyond Accuracy: Ensuring Correct Predictions With Correct Rationales

• arxiv url: http://arxiv.org/abs/2411.00132v2
• Date: Thu, 07 Nov 2024 03:22:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-08 19:36:56.713059
• Title: Beyond Accuracy: Ensuring Correct Predictions With Correct Rationales
• Title（参考訳）: 正確性を超えた:正しい合理化による正しい予測を保証する
• Authors: Tang Li, Mengmeng Ma, Xi Peng,
• Abstract要約: 二重補正予測のための二相予測手法を提案する。 まず、視覚認識タスクに対して構造化された合理性を提供する新しいデータセットをキュレートする。 第二に,視覚的エビデンスを解消し,局所化する際のモデル案内のための有理形最適化手法を提案する。
• 参考スコア（独自算出の注目度）: 10.397502254316645
• License:
• Abstract: Large pretrained foundation models demonstrate exceptional performance and, in some high-stakes applications, even surpass human experts. However, most of these models are currently evaluated primarily on prediction accuracy, overlooking the validity of the rationales behind their accurate predictions. For the safe deployment of foundation models, there is a pressing need to ensure double-correct predictions, i.e., correct prediction backed by correct rationales. To achieve this, we propose a two-phase scheme: First, we curate a new dataset that offers structured rationales for visual recognition tasks. Second, we propose a rationale-informed optimization method to guide the model in disentangling and localizing visual evidence for each rationale, without requiring manual annotations. Extensive experiments and ablation studies demonstrate that our model outperforms state-of-the-art models by up to 10.1% in prediction accuracy across a wide range of tasks. Furthermore, our method significantly improves the model's rationale correctness, improving localization by 7.5% and disentanglement by 36.5%. Our dataset, source code, and pretrained weights: https://github.com/deep-real/DCP
• Abstract（参考訳）: 大規模な事前訓練された基礎モデルは、例外的なパフォーマンスを示し、いくつかの高度な応用において、人間の専門家を超越している。 しかしながら、これらのモデルのほとんどは、主に予測精度に基づいて評価されており、それらの正確な予測の背後にある理論的根拠の妥当性を見越している。 基礎モデルの安全な配置には、正しい合理性によって裏打ちされた正しい予測という二重補正予測を保証する必要がある。 まず、視覚認識タスクに対して構造化された有理性を提供する新しいデータセットをキュレートする。 第2に,手動のアノテーションを必要とせず,各論理の視覚的証拠をアンタングル化し,ローカライズする手法を提案する。 大規模な実験とアブレーション研究により、我々のモデルは、幅広いタスクにわたって予測精度を最大10.1%向上させることを示した。 さらに,本手法はモデルの論理的正当性を著しく改善し,局所化を7.5%改善し,アンタングル化を36.5%改善する。 私たちのデータセット、ソースコード、事前訓練された重量:https://github.com/deep-real/DCP

関連論文リスト

• Uncertainty-Guided Enhancement on Driving Perception System via Foundation Models [37.35848849961951]
  本研究では、基礎モデルを利用して既存の駆動知覚モデルから予測を洗練させる手法を開発した。 本手法では,予測精度が10～15%向上し,基礎モデルのクエリ数を50%削減する。
  論文  参考訳（メタデータ） (2024-10-02T00:46:19Z)
• CogDPM: Diffusion Probabilistic Models via Cognitive Predictive Coding [62.075029712357]
  本研究は認知拡散確率モデル(CogDPM)を紹介する。 CogDPMは拡散モデルの階層的サンプリング能力に基づく精度推定法と拡散モデル固有の性質から推定される精度重み付きガイダンスを備える。 我々は,Universal Kindomの降水量と表面風速データセットを用いた実世界の予測タスクにCogDPMを適用した。
  論文  参考訳（メタデータ） (2024-05-03T15:54:50Z)
• Source-Free Unsupervised Domain Adaptation with Hypothesis Consolidation of Prediction Rationale [53.152460508207184]
  Source-Free Unsupervised Domain Adaptation (SFUDA)は、モデルがターゲットのドメインラベルやソースドメインデータにアクセスせずに新しいドメインに適応する必要がある、という課題である。 本稿では,各サンプルについて複数の予測仮説を考察し,各仮説の背景にある理論的根拠について考察する。 最適性能を達成するために,モデル事前適応,仮説統合,半教師付き学習という3段階の適応プロセスを提案する。
  論文  参考訳（メタデータ） (2024-02-02T05:53:22Z)
• A positive feedback method based on F-measure value for Salient Object Detection [1.9249287163937976]
  本稿では,SODに対するF値に基づく正のフィードバック手法を提案する。 提案手法は,画像を検出して既存のモデルに入力し,それぞれの予測マップを取得する。 5つの公開データセットに対する実験結果から,提案手法の正のフィードバックは,5つの評価指標において最新の12の手法よりも優れていた。
  論文  参考訳（メタデータ） (2023-04-28T04:05:13Z)
• Learning Sample Difficulty from Pre-trained Models for Reliable Prediction [55.77136037458667]
  本稿では,大規模事前学習モデルを用いて,サンプル難易度を考慮したエントロピー正規化による下流モデルトレーニングを指導する。 我々は、挑戦的なベンチマークで精度と不確実性の校正を同時に改善する。
  論文  参考訳（メタデータ） (2023-04-20T07:29:23Z)
• A roadmap to fair and trustworthy prediction model validation in healthcare [2.476158303361112]
  予測モデルは、開発データを超えて一般化すれば最も有用である。 本稿では,信頼性,公正,信頼性の高い人工知能予測モデルの開発と適用を促進するロードマップを提案する。
  論文  参考訳（メタデータ） (2023-04-07T04:24:19Z)
• Confidence and Dispersity Speak: Characterising Prediction Matrix for Unsupervised Accuracy Estimation [51.809741427975105]
  この研究は、ラベルを使わずに、分散シフト下でのモデルの性能を評価することを目的としている。 我々は、両方の特性を特徴付けるのに有効であることが示されている核規範を用いる。 核の基準は既存の手法よりも正確で堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T13:30:48Z)
• VisFIS: Visual Feature Importance Supervision with Right-for-the-Right-Reason Objectives [84.48039784446166]
  モデルFI監督は、VQAモデルの精度と、Right-to-the-Right-Reasonメトリクスの性能を有意義に向上させることができることを示す。 我々の最高のパフォーマンス手法であるVisual Feature Importance Supervision (VisFIS)は、ベンチマークVQAデータセットで強いベースラインを上回ります。 説明が妥当で忠実な場合には予測がより正確になる。
  論文  参考訳（メタデータ） (2022-06-22T17:02:01Z)
• Leveraging Unlabeled Data to Predict Out-of-Distribution Performance [63.740181251997306]
  実世界の機械学習デプロイメントは、ソース(トレーニング)とターゲット(テスト)ディストリビューションのミスマッチによって特徴づけられる。 本研究では,ラベル付きソースデータとラベルなしターゲットデータのみを用いて,対象領域の精度を予測する手法を検討する。 本稿では,モデルの信頼度をしきい値として学習し,精度をラベルなし例のごく一部として予測する実践的手法である平均閾値保持信頼度(ATC)を提案する。
  論文  参考訳（メタデータ） (2022-01-11T23:01:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。