論文の概要: Using Focal Loss to Fight Shallow Heuristics: An Empirical Analysis of
Modulated Cross-Entropy in Natural Language Inference
- arxiv url: http://arxiv.org/abs/2211.13331v1
- Date: Wed, 23 Nov 2022 22:19:00 GMT
- ステータス: 処理完了
- システム内更新日: 2022-11-28 14:49:19.531852
- Title: Using Focal Loss to Fight Shallow Heuristics: An Empirical Analysis of
Modulated Cross-Entropy in Natural Language Inference
- Title（参考訳）: 浅層ヒューリスティックスと戦うために焦点損失を用いる : 自然言語推論における変調クロスエントロピーの実証分析
- Authors: Frano Raji\v{c}, Ivan Stresec, Axel Marmet, Tim Po\v{s}tuvan
- Abstract要約: 一部のデータセットでは、深層ニューラルネットワークが学習プロセスのショートカットを可能にする基盤を発見し、結果として一般化能力が低下する。
標準のクロスエントロピーを使う代わりに、焦点損失と呼ばれる変調されたクロスエントロピーが、基礎を使わずに一般化性能を向上させるためにモデルを制約できるかどうかを検討する。
自然言語推論実験により, 焦点損失は学習過程に一定の影響を与え, 分布外データの精度は向上するが, 分布内データの性能はわずかに低下することがわかった。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: There is no such thing as a perfect dataset. In some datasets, deep neural
networks discover underlying heuristics that allow them to take shortcuts in
the learning process, resulting in poor generalization capability. Instead of
using standard cross-entropy, we explore whether a modulated version of
cross-entropy called focal loss can constrain the model so as not to use
heuristics and improve generalization performance. Our experiments in natural
language inference show that focal loss has a regularizing impact on the
learning process, increasing accuracy on out-of-distribution data, but slightly
decreasing performance on in-distribution data. Despite the improved
out-of-distribution performance, we demonstrate the shortcomings of focal loss
and its inferiority in comparison to the performance of methods such as
unbiased focal loss and self-debiasing ensembles.
- Abstract（参考訳）: 完璧なデータセットというものはありません。
一部のデータセットでは、深層ニューラルネットワークが基礎となるヒューリスティックを発見し、学習プロセスでショートカットを行うことができる。
標準のクロスエントロピーを使う代わりに、焦点損失と呼ばれる変調されたクロスエントロピーが、ヒューリスティックを使わずに一般化性能を向上させるためにモデルを制約できるかどうかを検討する。
自然言語推論実験により, 焦点損失は学習過程に一定の影響を与え, 分布外データの精度は向上するが, 分布内データの性能はわずかに低下することがわかった。
分散性能が向上したにもかかわらず,偏差焦点損失や自己偏差アンサンブルなどの手法の性能と比較し,焦点損失の欠点とその劣等を実証した。
関連論文リスト
- Towards Robust Out-of-Distribution Generalization: Data Augmentation and Neural Architecture Search Approaches [4.577842191730992]
我々は、ディープラーニングのための堅牢なOoD一般化への道を探る。
まず,認識に必須でない特徴間の素早い相関を解消するための,新しい効果的なアプローチを提案する。
次に,OoDシナリオにおけるニューラルアーキテクチャ探索の強化問題について検討する。
論文 参考訳（メタデータ） (2024-10-25T20:50:32Z) - Learning Latent Graph Structures and their Uncertainty [63.95971478893842]
グラフニューラルネットワーク(GNN)は、モデル精度を高めるために帰納バイアスとしてリレーショナル情報を使用する。
課題関連関係が不明なため,下流予測タスクを解きながら学習するためのグラフ構造学習手法が提案されている。
論文 参考訳（メタデータ） (2024-05-30T10:49:22Z) - On the Dynamics Under the Unhinged Loss and Beyond [104.49565602940699]
我々は、閉形式力学を解析するための数学的機会を提供する、簡潔な損失関数であるアンヒンジド・ロスを導入する。
アンヒンジされた損失は、時間変化学習率や特徴正規化など、より実践的なテクニックを検討することができる。
論文 参考訳（メタデータ） (2023-12-13T02:11:07Z) - Inconsistency, Instability, and Generalization Gap of Deep Neural
Network Training [14.871738070617491]
不整合は、損失景観の鋭さよりも、一般化ギャップの信頼性の高い指標であることを示す。
この結果は、共蒸留やアンサンブルといった既存の手法の理論的基盤も提供する。
論文 参考訳（メタデータ） (2023-05-31T20:28:13Z) - Boosting Differentiable Causal Discovery via Adaptive Sample Reweighting [62.23057729112182]
異なるスコアに基づく因果探索法は観測データから有向非巡回グラフを学習する。
本稿では,Reweighted Score関数ReScoreの適応重みを動的に学習することにより因果発見性能を向上させるためのモデルに依存しないフレームワークを提案する。
論文 参考訳（メタデータ） (2023-03-06T14:49:59Z) - Modeling Uncertain Feature Representation for Domain Generalization [49.129544670700525]
提案手法は,複数の視覚タスクにおけるネットワーク一般化能力を常に改善することを示す。
我々の手法は単純だが有効であり、トレーニング可能なパラメータや損失制約を伴わずにネットワークに容易に統合できる。
論文 参考訳（メタデータ） (2023-01-16T14:25:02Z) - Linear Regression with Distributed Learning: A Generalization Error
Perspective [0.0]
大規模線形回帰のための分散学習の性能を検討する。
我々は、一般化エラー、すなわち、見当たらないデータのパフォーマンスに焦点を当てる。
その結果、分散ソリューションの一般化誤差は、集中ソリューションの一般化誤差よりも大幅に高いことが示された。
論文 参考訳（メタデータ） (2021-01-22T08:43:28Z) - Good Classifiers are Abundant in the Interpolating Regime [64.72044662855612]
補間分類器間のテストエラーの完全な分布を正確に計算する手法を開発した。
テストエラーは、最悪の補間モデルのテストエラーから大きく逸脱する、小さな典型的な$varepsilon*$に集中する傾向にある。
以上の結果から,統計的学習理論における通常の解析手法は,実際に観測された優れた一般化性能を捉えるのに十分な粒度にはならない可能性が示唆された。
論文 参考訳（メタデータ） (2020-06-22T21:12:31Z) - On the Benefits of Invariance in Neural Networks [56.362579457990094]
データ拡張によるトレーニングは、リスクとその勾配をよりよく見積もることを示し、データ拡張でトレーニングされたモデルに対して、PAC-Bayes一般化を提供する。
また,データ拡張と比べ,平均化は凸損失を伴う場合の一般化誤差を低減し,PAC-Bayes境界を狭めることを示した。
論文 参考訳（メタデータ） (2020-05-01T02:08:58Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。