Fugu-MT 論文翻訳(概要): Your Model is Overconfident, and Other Lies We Tell Ourselves

論文の概要: Your Model is Overconfident, and Other Lies We Tell Ourselves

arxiv url: http://arxiv.org/abs/2503.01235v1
Date: Mon, 03 Mar 2025 06:59:28 GMT
ステータス: 翻訳完了
システム内更新日: 2025-03-05 19:20:21.862612
Title: Your Model is Overconfident, and Other Lies We Tell Ourselves
Title（参考訳）: あなたのモデルは自信過剰で、私たち自身に告げる他の嘘
Authors: Timothee Mickus, Aman Sinha, Raúl Vázquez,
Abstract要約: 与えられた例に固有の困難さは、その固有の曖昧さに根ざして、ニューラルNLPモデルを評価する上で、しばしば見過ごされがちな要素である。本研究は,アノテーションの使い分け,トレーニングダイナミクス,モデルの信頼性など,本質的な難易度を評価するための様々な指標間の相互作用とばらつきについて検討する。
参考スコア（独自算出の注目度）: 4.735500711531941
License:
Abstract: The difficulty intrinsic to a given example, rooted in its inherent ambiguity, is a key yet often overlooked factor in evaluating neural NLP models. We investigate the interplay and divergence among various metrics for assessing intrinsic difficulty, including annotator dissensus, training dynamics, and model confidence. Through a comprehensive analysis using 29 models on three datasets, we reveal that while correlations exist among these metrics, their relationships are neither linear nor monotonic. By disentangling these dimensions of uncertainty, we aim to refine our understanding of data complexity and its implications for evaluating and improving NLP models.
Abstract（参考訳）: 与えられた例に固有の困難さは、その固有の曖昧さに根ざして、ニューラルNLPモデルを評価する上で、しばしば見過ごされがちな要素である。本研究は,アノテーションの使い分け,トレーニングダイナミクス,モデルの信頼性など,本質的な難易度を評価するための様々な指標間の相互作用とばらつきについて検討する。 3つのデータセット上の29のモデルを用いた包括的解析により、これらの指標の間に相関は存在するが、それらの関係は線形でも単調でもないことが明らかになった。これらの不確実性の次元を解き明かすことにより、データ複雑性の理解を深め、NLPモデルの評価と改善に寄与することを目指している。

関連論文リスト

Bridging Interpretability and Robustness Using LIME-Guided Model Refinement [0.0]
LIME(Local Interpretable Model-Agnostic Explanations)は、モデルロバスト性を体系的に強化する。複数のベンチマークデータセットに対する実証的な評価は、LIME誘導の洗練は解釈可能性を改善するだけでなく、敵の摂動に対する耐性を著しく向上し、アウト・オブ・ディストリビューションデータへの一般化を促進することを示している。
論文参考訳（メタデータ） (2024-12-25T17:32:45Z)
A Critical Assessment of Interpretable and Explainable Machine Learning for Intrusion Detection [0.0]
本稿では,過度に複雑で不透明なMLモデル,不均衡なデータと相関した特徴,異なる説明法における不整合な影響特徴,そして説明の不可能な有用性について検討する。具体的には、Deep Neural Networksのような複雑な不透明モデルを避け、代わりにDecision Treesのような解釈可能なMLモデルを使用することを推奨する。機能ベースのモデル説明は、多くの場合、異なる設定で矛盾している。
論文参考訳（メタデータ） (2024-07-04T15:35:42Z)
The Risk of Federated Learning to Skew Fine-Tuning Features and Underperform Out-of-Distribution Robustness [50.52507648690234]
フェデレートされた学習は、微調整された特徴をスキイングし、モデルの堅牢性を損なうリスクがある。 3つのロバスト性指標を導入し、多様なロバストデータセットで実験を行う。提案手法は,パラメータ効率のよい微調整手法を含む多種多様なシナリオにまたがるロバスト性を著しく向上させる。
論文参考訳（メタデータ） (2024-01-25T09:18:51Z)
Are Neural Topic Models Broken? [81.15470302729638]
トピックモデルの自動評価と人的評価の関係について検討する。ニューラルトピックモデルは、確立された古典的手法と比較して、両方の点においてより悪くなる。
論文参考訳（メタデータ） (2022-10-28T14:38:50Z)
Generalization of Neural Combinatorial Solvers Through the Lens of Adversarial Robustness [68.97830259849086]
ほとんどのデータセットは単純なサブプロブレムのみをキャプチャし、おそらくは突発的な特徴に悩まされる。本研究では, 局所的な一般化特性である対向ロバスト性について検討し, 厳密でモデル固有な例と突発的な特徴を明らかにする。他のアプリケーションとは異なり、摂動モデルは知覚できないという主観的な概念に基づいて設計されているため、摂動モデルは効率的かつ健全である。驚くべきことに、そのような摂動によって、十分に表現力のあるニューラルソルバは、教師あり学習で共通する正確さと悪質さのトレードオフの限界に悩まされない。
論文参考訳（メタデータ） (2021-10-21T07:28:11Z)
Identifying and Mitigating Spurious Correlations for Improving Robustness in NLP Models [19.21465581259624]
多くの問題は、刺激的な相関を利用したモデルや、トレーニングデータとタスクラベルの間のショートカットに起因する可能性がある。本論文では,NLPモデルにおけるこのような素因的相関を大規模に同定することを目的とする。提案手法は,スケーラブルな「ショートカット」の集合を効果的かつ効率的に同定し,複数のアプリケーションにおいてより堅牢なモデルに導かれることを示す。
論文参考訳（メタデータ） (2021-10-14T21:40:03Z)
Influence Tuning: Demoting Spurious Correlations via Instance Attribution and Instance-Driven Updates [26.527311287924995]
インフルエンスチューニングは、データの急激なパターンからモデルを分解するのに役立ちます。制御された設定では、インフルエンスチューニングは、データの急激なパターンからモデルを分解するのに役立ちます。
論文参考訳（メタデータ） (2021-10-07T06:59:46Z)
Paired Examples as Indirect Supervision in Latent Decision Models [109.76417071249945]
我々は、ペア化された例を活用して、潜在的な決定を学習するためのより強力な手がかりを提供する方法を紹介します。 DROPデータセット上のニューラルネットワークを用いた合成質問応答の改善に本手法を適用した。
論文参考訳（メタデータ） (2021-04-05T03:58:30Z)
Accounting for Unobserved Confounding in Domain Generalization [107.0464488046289]
本稿では,データセットの組み合わせから頑健で一般化可能な予測モデルを学習する際の問題点について検討する。堅牢なモデルを学ぶことの課題の一部は、保存されていない共同設立者の影響にある。異なるモダリティの医療データに対するアプローチの実証的性能を実証する。
論文参考訳（メタデータ） (2020-07-21T08:18:06Z)
On Disentangled Representations Learned From Correlated Data [59.41587388303554]
相関データに対する最も顕著な絡み合うアプローチの挙動を解析することにより、現実のシナリオにギャップを埋める。本研究では,データセットの体系的相関が学習され,潜在表現に反映されていることを示す。また、トレーニング中の弱い監督や、少数のラベルで事前訓練されたモデルを修正することで、これらの潜伏相関を解消する方法を実証する。
論文参考訳（メタデータ） (2020-06-14T12:47:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。