論文の概要: TIER-A: Denoising Learning Framework for Information Extraction

• arxiv url: http://arxiv.org/abs/2211.11527v1
• Date: Sun, 13 Nov 2022 11:28:56 GMT
• ステータス: 処理完了
• システム内更新日: 2022-11-27 13:28:00.241051
• Title: TIER-A: Denoising Learning Framework for Information Extraction
• Title（参考訳）: TIER-A:情報抽出のための学習フレームワーク
• Authors: Yongkang Li, Ming Zhang
• Abstract要約: ディープラーニングモデルは、しばしばノイズの多いデータポイントに過度に適合し、パフォーマンスが低下する。 本研究では,オーバーフィッティングプロセスにおける情報エントロピーの役割について検討する。 本稿では,シンプルながら効果的な共同正規化協調学習フレームワークを提案する。
• 参考スコア（独自算出の注目度）: 4.010975396240077
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the development of deep neural language models, great progress has been made in information extraction recently. However, deep learning models often overfit on noisy data points, leading to poor performance. In this work, we examine the role of information entropy in the overfitting process and draw a key insight that overfitting is a process of overconfidence and entropy decreasing. Motivated by such properties, we propose a simple yet effective co-regularization joint-training framework TIER-A, Aggregation Joint-training Framework with Temperature Calibration and Information Entropy Regularization. Our framework consists of several neural models with identical structures. These models are jointly trained and we avoid overfitting by introducing temperature and information entropy regularization. Extensive experiments on two widely-used but noisy datasets, TACRED and CoNLL03, demonstrate the correctness of our assumption and the effectiveness of our framework.
• Abstract（参考訳）: 深層ニューラルネットワークモデルの開発により,近年,情報抽出において大きな進歩を遂げている。 しかし、ディープラーニングモデルはノイズの多いデータポイントに過度に適合し、パフォーマンスが低下する。 本研究では,オーバーフィッティングプロセスにおける情報エントロピーの役割を考察し,オーバーフィッティングが過剰な自信とエントロピーの減少の過程であることを示す。 本研究では, 温度校正と情報エントロピー正規化を併用した簡易かつ効果的な協調学習フレームワークTIER-A, Aggregation Joint-training Frameworkを提案する。 私たちのフレームワークは、同じ構造を持つ複数のニューラルモデルで構成されています。 これらのモデルは協調的に訓練され、温度と情報エントロピーの正規化を導入することで過剰フィッティングを避ける。 広く使われているがノイズの多い2つのデータセットであるTACREDとCoNLL03の大規模な実験は、我々の仮定の正しさとフレームワークの有効性を実証している。

関連論文リスト

• CSTA: Spatial-Temporal Causal Adaptive Learning for Exemplar-Free Video Class-Incremental Learning [62.69917996026769]
  クラスインクリメンタルな学習課題は、空間的外観と時間的行動の関与の両方を学習し、保存することを必要とする。 本稿では,各クラス固有のインクリメンタル情報要件を調整し,新しいクラスパターンを学習するためのアダプタを分離するフレームワークを提案する。 異なる種類の情報間のインクリメントと記憶の衝突を減らすために,因果補償機構を提案する。
  論文  参考訳（メタデータ） (2025-01-13T11:34:55Z)
• USDRL: Unified Skeleton-Based Dense Representation Learning with Multi-Grained Feature Decorrelation [24.90512145836643]
  本稿では,特徴デコレーションに基づく統一骨格に基づくDense Representation Learningフレームワークを提案する。 我々のアプローチは現在のSOTA(State-of-the-art)アプローチよりも大幅に優れています。
  論文  参考訳（メタデータ） (2024-12-12T12:20:27Z)
• ConsistentFeature: A Plug-and-Play Component for Neural Network Regularization [0.32885740436059047]
  過パラメータ化されたニューラルネットワークモデルは、トレーニングとテストセットの間に大きなパフォーマンスの相違をもたらすことが多い。 モデルは異なるデータセットで異なる表現を学習する。 適応的手法であるConsistentFeatureを提案し、同じトレーニングセットのランダムなサブセット間で特徴差を制約することでモデルを正規化する。
  論文  参考訳（メタデータ） (2024-12-02T13:21:31Z)
• Learning with Noisy Foundation Models [95.50968225050012]
  本論文は、事前学習データセットにおけるノイズの性質を包括的に理解し分析する最初の研究である。 雑音の悪影響を緩和し、一般化を改善するため、特徴空間に適応するチューニング法(NMTune)を提案する。
  論文  参考訳（メタデータ） (2024-03-11T16:22:41Z)
• REMEDI: Corrective Transformations for Improved Neural Entropy Estimation [0.7488108981865708]
  我々は微分エントロピーの効率的かつ正確な推定のために$textttREMEDI$を紹介した。 提案手法は,幅広い推定課題にまたがる改善を実証する。 自然に情報理論による教師あり学習モデルに拡張することができる。
  論文  参考訳（メタデータ） (2024-02-08T14:47:37Z)
• Unraveling the Temporal Dynamics of the Unet in Diffusion Models [33.326244121918634]
  拡散モデルはガウスノイズをトレーニングデータに導入し、元のデータを反復的に再構築する。 この反復プロセスの中心は単一のUnetであり、生成を容易にするために時間ステップを越えて適応する。 近年の研究では, この生成過程における組成および脱臭相の存在が明らかにされている。
  論文  参考訳（メタデータ） (2023-12-17T04:40:33Z)
• A PAC-Bayesian Perspective on the Interpolating Information Criterion [54.548058449535155]
  補間系の性能に影響を及ぼす要因を特徴付ける一般モデルのクラスに対して,PAC-Bayes境界がいかに得られるかを示す。 オーバーパラメータ化モデルに対するテスト誤差が、モデルとパラメータの初期化スキームの組み合わせによって課される暗黙の正規化の品質に依存するかの定量化を行う。
  論文  参考訳（メタデータ） (2023-11-13T01:48:08Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Entity-Conditioned Question Generation for Robust Attention Distribution in Neural Information Retrieval [51.53892300802014]
  教師付きニューラル情報検索モデルでは,通過トークンよりも疎注意パターンを学習することが困難であることを示す。 目的とする新しい合成データ生成手法を用いて、与えられた通路内の全てのエンティティに対して、より均一で堅牢な参加をニューラルIRに教える。
  論文  参考訳（メタデータ） (2022-04-24T22:36:48Z)
• Learning Neural Causal Models with Active Interventions [83.44636110899742]
  本稿では,データ生成プロセスの根底にある因果構造を素早く識別する能動的介入ターゲット機構を提案する。 本手法は,ランダムな介入ターゲティングと比較して,要求される対話回数を大幅に削減する。 シミュレーションデータから実世界のデータまで,複数のベンチマークにおいて優れた性能を示す。
  論文  参考訳（メタデータ） (2021-09-06T13:10:37Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。