論文の概要: Beyond Accuracy: On the Effects of Fine-tuning Towards Vision-Language Model's Prediction Rationality

• arxiv url: http://arxiv.org/abs/2412.13333v2
• Date: Mon, 24 Feb 2025 22:07:58 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-26 15:18:05.497275
• Title: Beyond Accuracy: On the Effects of Fine-tuning Towards Vision-Language Model's Prediction Rationality
• Title（参考訳）: 精度を超えて:視覚言語モデルの予測リレーショナル性への微調整の効果
• Authors: Qitong Wang, Tang Li, Kien X. Nguyen, Xi Peng,
• Abstract要約: 視覚言語モデル(VLM)の予測合理性に及ぼす微調整の影響について検討する。 予測信頼性と推論信頼性という2つの新しい指標を提案する。 精巧な微調整法は, 不正な証拠に基づいて, より正確な予測を導いた。 対象物の有効な証拠を特定できたため、微調整されたVLMは正しい予測を行う可能性が高かった。
• 参考スコア（独自算出の注目度）: 9.192802430973925
• License:
• Abstract: Vision-Language Models (VLMs), such as CLIP, have already seen widespread applications. Researchers actively engage in further fine-tuning VLMs in safety-critical domains. In these domains, prediction rationality is crucial: the prediction should be correct and based on valid evidence. Yet, for VLMs, the impact of fine-tuning on prediction rationality is seldomly investigated. To study this problem, we proposed two new metrics called Prediction Trustworthiness and Inference Reliability. We conducted extensive experiments on various settings and observed some interesting phenomena. On the one hand, we found that the well-adopted fine-tuning methods led to more correct predictions based on invalid evidence. This potentially undermines the trustworthiness of correct predictions from fine-tuned VLMs. On the other hand, having identified valid evidence of target objects, fine-tuned VLMs were more likely to make correct predictions. Moreover, the findings are also consistent under distributional shifts and across various experimental settings. We hope our research offer fresh insights to VLM fine-tuning.
• Abstract（参考訳）: CLIPのようなビジョンランゲージモデル(VLM)はすでに広く使われている。 研究者たちは、安全クリティカルな領域において、さらに細調整されたVLMに積極的に取り組みます。 これらの領域では、予測合理性は重要であり、予測は正しいもので、有効な証拠に基づいているべきである。 しかし, VLMでは, 微調整が予測合理性に与える影響はほとんど調査されていない。 そこで本研究では,予測信頼性と推論信頼性という2つの新しい指標を提案する。 様々な環境で広範囲に実験を行い、興味深い現象を観測した。 一方, 精度のよい微調整法は, 不正な証拠に基づくより正確な予測に繋がることがわかった。 これは、微調整されたVLMからの正確な予測の信頼性を損なう可能性がある。 一方, 対象物体の有効証拠を同定し, 微調整されたVLMの方が正確な予測を行う可能性が高かった。 さらに, 分布変化や種々の実験環境において, 実験結果の整合性も確認できた。 私たちの研究がVLMの微調整に新たな洞察を与えてくれることを願っています。

関連論文リスト

• Uncertainty is Fragile: Manipulating Uncertainty in Large Language Models [79.76293901420146]
  大規模言語モデル(LLM)は、出力の信頼性が不可欠である様々な高い領域で採用されている。 本研究では,不確実性推定の脆弱性を調査し,攻撃の可能性を探る。 攻撃者がLSMにバックドアを埋め込むことができ、入力中の特定のトリガーによって起動されると、最終的な出力に影響を与えることなくモデルの不確実性を操作できることを示す。
  論文  参考訳（メタデータ） (2024-07-15T23:41:11Z)
• Coverage-Guaranteed Prediction Sets for Out-of-Distribution Data [11.416180794737203]
  分割予測(SCP)は、信頼セット予測問題を扱うための効率的なフレームワークである。 SCPを自明に適用すると、未知のターゲットドメインがソースドメインと異なる場合、限界範囲のカバレッジを維持することができないことが示される。 我々は,OOD設定に自信ある予測セットを形成する手法を開発し,提案手法の有効性を理論的に証明する。
  論文  参考訳（メタデータ） (2024-03-29T03:16:29Z)
• Source-Free Unsupervised Domain Adaptation with Hypothesis Consolidation of Prediction Rationale [53.152460508207184]
  Source-Free Unsupervised Domain Adaptation (SFUDA)は、モデルがターゲットのドメインラベルやソースドメインデータにアクセスせずに新しいドメインに適応する必要がある、という課題である。 本稿では,各サンプルについて複数の予測仮説を考察し,各仮説の背景にある理論的根拠について考察する。 最適性能を達成するために,モデル事前適応,仮説統合,半教師付き学習という3段階の適応プロセスを提案する。
  論文  参考訳（メタデータ） (2024-02-02T05:53:22Z)
• Performative Time-Series Forecasting [71.18553214204978]
  我々は,機械学習の観点から,パフォーマンス時系列予測(PeTS)を定式化する。 本稿では,予測分布シフトに対する遅延応答の概念を活用する新しい手法であるFeature Performative-Shifting(FPS)を提案する。 新型コロナウイルスの複数の時系列モデルと交通予報タスクを用いた総合的な実験を行った。
  論文  参考訳（メタデータ） (2023-10-09T18:34:29Z)
• Multiclass Alignment of Confidence and Certainty for Network Calibration [10.15706847741555]
  最近の研究では、ディープニューラルネットワーク(DNN)が過信的な予測を行う傾向があることが示されている。 予測平均信頼度と予測確実性(MACC)の多クラスアライメントとして知られる簡易なプラグアンドプレイ補助損失を特徴とする列車時キャリブレーション法を提案する。 本手法は,領域内および領域外両方のキャリブレーション性能を実現する。
  論文  参考訳（メタデータ） (2023-09-06T00:56:24Z)
• VLUCI: Variational Learning of Unobserved Confounders for Counterfactual Inference [11.191748173380539]
  因果推論は疫学、医療、経済学など様々な分野において重要な役割を担っている。 因果推論研究において、観測データにおける不一致と反実予測が顕著な関心事として浮上している。 本稿では,反実的推論のための新しい変分学習モデルを提案する。
  論文  参考訳（メタデータ） (2023-08-02T01:44:30Z)
• Confidence and Dispersity Speak: Characterising Prediction Matrix for Unsupervised Accuracy Estimation [51.809741427975105]
  この研究は、ラベルを使わずに、分散シフト下でのモデルの性能を評価することを目的としている。 我々は、両方の特性を特徴付けるのに有効であることが示されている核規範を用いる。 核の基準は既存の手法よりも正確で堅牢であることを示す。
  論文  参考訳（メタデータ） (2023-02-02T13:30:48Z)
• VisFIS: Visual Feature Importance Supervision with Right-for-the-Right-Reason Objectives [84.48039784446166]
  モデルFI監督は、VQAモデルの精度と、Right-to-the-Right-Reasonメトリクスの性能を有意義に向上させることができることを示す。 我々の最高のパフォーマンス手法であるVisual Feature Importance Supervision (VisFIS)は、ベンチマークVQAデータセットで強いベースラインを上回ります。 説明が妥当で忠実な場合には予測がより正確になる。
  論文  参考訳（メタデータ） (2022-06-22T17:02:01Z)
• Multi-agent Performative Prediction: From Global Stability and Optimality to Chaos [42.40985526691935]
  このフレームワークの自然なマルチエージェントバージョンを導入し、複数の意思決定者が同じ結果を予測しようとします。 このような競合は、安定性から不安定性、そして最終的にはカオスへの相転移の可能性を証明することによって、興味深い現象をもたらす可能性があることを示す。
  論文  参考訳（メタデータ） (2022-01-25T17:26:12Z)
• Learning to Predict Trustworthiness with Steep Slope Loss [69.40817968905495]
  本研究では,現実の大規模データセットにおける信頼性の予測問題について検討する。 我々は、先行技術損失関数で訓練された信頼性予測器が、正しい予測と誤った予測の両方を信頼に値するものとみなす傾向があることを観察する。 そこで我々は,2つのスライド状の曲線による不正確な予測から,特徴w.r.t.正しい予測を分離する,新たな急勾配損失を提案する。
  論文  参考訳（メタデータ） (2021-09-30T19:19:09Z)
• Neural Predictive Monitoring under Partial Observability [4.1316328854247155]
  本稿では,部分観測可能性(PO)に拘わらず,正確かつ信頼性の高い到達可能性予測を生成する学習ベース予測手法を提案する。 提案手法は,精度の高い到達可能性予測とエラー検出を行い,また,カバー範囲が保証された厳密な予測領域を実現する。
  論文  参考訳（メタデータ） (2021-08-16T15:08:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。