論文の概要: Exploring Distantly-Labeled Rationales in Neural Network Models
- arxiv url: http://arxiv.org/abs/2106.01809v1
- Date: Thu, 3 Jun 2021 13:00:25 GMT
- ステータス: 処理完了
- システム内更新日: 2021-06-04 16:15:06.632566
- Title: Exploring Distantly-Labeled Rationales in Neural Network Models
- Title（参考訳）: ニューラルネットワークモデルにおける遠方ラベル理論の探求
- Authors: Quzhe Huang, Shengqi Zhu, Yansong Feng, Dongyan Zhao
- Abstract要約: 遠距離ラベル付き有理理論をうまく活用するための2つの新しい補助的損失関数を提案する。
提案手法は,非完全理性から重要な手がかりを効果的に学習するために,分類モデルを推し進めることができる。
- 参考スコア（独自算出の注目度）: 58.59066984736151
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Recent studies strive to incorporate various human rationales into neural
networks to improve model performance, but few pay attention to the quality of
the rationales. Most existing methods distribute their models' focus to
distantly-labeled rationale words entirely and equally, while ignoring the
potential important non-rationale words and not distinguishing the importance
of different rationale words. In this paper, we propose two novel auxiliary
loss functions to make better use of distantly-labeled rationales, which
encourage models to maintain their focus on important words beyond labeled
rationales (PINs) and alleviate redundant training on non-helpful rationales
(NoIRs). Experiments on two representative classification tasks show that our
proposed methods can push a classification model to effectively learn crucial
clues from non-perfect rationales while maintaining the ability to spread its
focus to other unlabeled important words, thus significantly outperform
existing methods.
- Abstract（参考訳）: 近年の研究では、モデル性能を改善するために、ニューラルネットワークに様々な人間の合理性を導入しようとしているが、その合理性の品質に注意を払っていない。
既存の手法のほとんどは、モデルの焦点を遠方のラベル付き合理語に完全に均等に分配するが、異なる合理語の重要性を区別せず、潜在的に重要な非合理語を無視する。
本稿では,ラベル付き有理数(PIN)を超えて重要な単語に焦点を絞ることを奨励し,非ヘルパフル有理数(NoIR)に対する冗長な訓練を緩和する2つの新しい補助的損失関数を提案する。
2つの代表的な分類課題に対する実験により,提案手法は,非完全理性から重要な手がかりを効果的に学習し,その焦点を他のラベルのない重要な単語に広げる能力を維持しつつ,既存の手法よりもはるかに優れていることを示す。
関連論文リスト
- Adversarial Attack for Explanation Robustness of Rationalization Models [17.839644167949906]
合理化モデルは、人間が予測を理解し、信頼するために、入力テキストのサブセットを選択する。
本論文は, 合理化モデルの説明可能性について, 予測を変更せずに損なうことを目的としている。
論文 参考訳（メタデータ） (2024-08-20T12:43:58Z) - Boosting the Power of Small Multimodal Reasoning Models to Match Larger Models with Self-Consistency Training [49.3242278912771]
マルチモーダル推論(multimodal reasoning)は、複数のモーダルをまたいだモデルによる質問に答える難しいタスクである。
既存のアプローチでは、言語と視覚のモダリティを2段階の推論フレームワークに組み込むことで進歩している。
MC-CoTは,複数の合理性と回答を生成し,投票プロセスを通じて最も正確な選択を行う自己整合性学習戦略である。
論文 参考訳（メタデータ） (2023-11-23T17:09:48Z) - Fair Infinitesimal Jackknife: Mitigating the Influence of Biased
Training Data Points Without Refitting [41.96570350954332]
本稿では、慎重に選択されたトレーニングデータポイントをドロップするだけで、事前学習した分類器の公平性を向上するアルゴリズムを提案する。
このような介入はモデルの予測性能を大幅に低下させるものではないが、公正度基準を大幅に改善する。
論文 参考訳（メタデータ） (2022-12-13T18:36:19Z) - Can Rationalization Improve Robustness? [39.741059642044874]
ニューラルNLPモデルが、その解釈可能な性質に加えて、敵攻撃に対して堅牢性をもたらすかどうかを検討する。
トークンと文レベルの合理化タスクの両方に対して,さまざまなタイプのAddText攻撃を生成する。
実験の結果、合理的モデルでは、特定のシナリオで苦労しながら、堅牢性を改善するという約束が示されることがわかった。
論文 参考訳（メタデータ） (2022-04-25T17:02:42Z) - Self-training with Few-shot Rationalization: Teacher Explanations Aid
Student in Few-shot NLU [88.8401599172922]
タスク固有のラベルと合理的性に制限された自己学習言語モデルに基づくフレームワークを開発する。
ニューラルネットワークの性能は,その合理的な予測を意識することで,大幅に向上できることを示す。
論文 参考訳（メタデータ） (2021-09-17T00:36:46Z) - Residual Error: a New Performance Measure for Adversarial Robustness [85.0371352689919]
ディープラーニングの広く普及を制限する大きな課題は、敵の攻撃に対する脆弱さである。
本研究は,ディープニューラルネットワークの対角強靭性を評価するための新しい性能尺度である残留誤差の概念を提示する。
画像分類を用いた実験結果から,提案手法の有効性と有効性を示した。
論文 参考訳（メタデータ） (2021-06-18T16:34:23Z) - Semantic Role Labeling Guided Multi-turn Dialogue ReWriter [63.07073750355096]
意味的役割ラベル付け(SRL)を用いて、誰が誰に何をしたかのコアセマンティック情報を強調することを提案する。
実験の結果、この情報は従来の最先端システムよりも優れていたRoBERTaベースのモデルを大幅に改善することが示された。
論文 参考訳（メタデータ） (2020-10-03T19:50:04Z) - Towards Efficient Processing and Learning with Spikes: New Approaches
for Multi-Spike Learning [59.249322621035056]
各種タスクにおける他のベースラインよりも優れた性能を示すための2つの新しいマルチスパイク学習ルールを提案する。
特徴検出タスクでは、教師なしSTDPの能力と、その制限を提示する能力を再検討する。
提案した学習ルールは,特定の制約を適用せずに,幅広い条件で確実にタスクを解くことができる。
論文 参考訳（メタデータ） (2020-05-02T06:41:20Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。