論文の概要: Towards Interpretable Natural Language Understanding with Explanations as Latent Variables

• arxiv url: http://arxiv.org/abs/2011.05268v3
• Date: Thu, 26 May 2022 22:12:42 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-03 12:09:06.916066
• Title: Towards Interpretable Natural Language Understanding with Explanations as Latent Variables
• Title（参考訳）: 潜在変数としての解釈可能な自然言語理解に向けて
• Authors: Wangchunshu Zhou, Jinyi Hu, Hanlin Zhang, Xiaodan Liang, Maosong Sun, Chenyan Xiong, Jian Tang
• Abstract要約: そこで本研究では,人間に注釈付き説明文の小さなセットだけを必要とする自然言語理解の枠組みを構築した。 我々のフレームワークは、ニューラルネットワークの基本的な推論過程をモデル化する潜在変数として、自然言語の説明を扱う。
• 参考スコア（独自算出の注目度）: 146.83882632854485
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Recently generating natural language explanations has shown very promising results in not only offering interpretable explanations but also providing additional information and supervision for prediction. However, existing approaches usually require a large set of human annotated explanations for training while collecting a large set of explanations is not only time consuming but also expensive. In this paper, we develop a general framework for interpretable natural language understanding that requires only a small set of human annotated explanations for training. Our framework treats natural language explanations as latent variables that model the underlying reasoning process of a neural model. We develop a variational EM framework for optimization where an explanation generation module and an explanation-augmented prediction module are alternatively optimized and mutually enhance each other. Moreover, we further propose an explanation-based self-training method under this framework for semi-supervised learning. It alternates between assigning pseudo-labels to unlabeled data and generating new explanations to iteratively improve each other. Experiments on two natural language understanding tasks demonstrate that our framework can not only make effective predictions in both supervised and semi-supervised settings, but also generate good natural language explanation.
• Abstract（参考訳）: 近年, 自然言語の説明生成は, 解釈可能な説明を提供するだけでなく, 予測のための追加情報や監視を提供する上で, 非常に有望な結果を示している。 しかし、既存のアプローチでは、トレーニングには大量の注釈付きの説明を必要とするが、大量の説明を集めることは時間だけでなくコストもかかる。 本稿では,人間に注釈付き説明文を少量だけ必要とするような,解釈可能な自然言語理解のための一般的な枠組みを開発する。 我々のフレームワークは、自然言語の説明を、神経モデルの基本的な推論過程をモデル化する潜在変数として扱う。 本稿では,説明生成モジュールと説明提供予測モジュールとを交互に最適化し,相互に強化した最適化のための変動emフレームワークを開発した。 さらに,この枠組みに基づく半教師あり学習のための自己学習手法を提案する。 ラベルのないデータへの擬似ラベルの割り当てと、反復的に改善するための新しい説明の生成を交互に行う。 2つの自然言語理解タスクの実験は、我々のフレームワークが教師付きと半教師付きの両方で効果的な予測を行うだけでなく、優れた自然言語説明を生成することを実証している。

関連論文リスト

• Explaining Text Similarity in Transformer Models [52.571158418102584]
  説明可能なAIの最近の進歩により、トランスフォーマーの説明の改善を活用することで、制限を緩和できるようになった。 両線形類似性モデルにおける2次説明の計算のために開発された拡張であるBiLRPを用いて、NLPモデルにおいてどの特徴相互作用が類似性を促進するかを調べる。 我々の発見は、異なる意味的類似性タスクやモデルに対するより深い理解に寄与し、新しい説明可能なAIメソッドが、どのようにして深い分析とコーパスレベルの洞察を可能にするかを強調した。
  論文  参考訳（メタデータ） (2024-05-10T17:11:31Z)
• Explanation-aware Soft Ensemble Empowers Large Language Model In-context Learning [50.00090601424348]
  大規模言語モデル(LLM)は、様々な自然言語理解タスクにおいて顕著な能力を示している。 我々は,LLMを用いたテキスト内学習を支援するための説明型ソフトアンサンブルフレームワークであるEASEを提案する。
  論文  参考訳（メタデータ） (2023-11-13T06:13:38Z)
• Explainability for Large Language Models: A Survey [59.67574757137078]
  大規模言語モデル(LLM)は、自然言語処理における印象的な能力を示している。 本稿では,トランスフォーマーに基づく言語モデルを記述する手法について,説明可能性の分類法を紹介した。
  論文  参考訳（メタデータ） (2023-09-02T22:14:26Z)
• MaNtLE: Model-agnostic Natural Language Explainer [9.43206883360088]
  モデルに依存しない自然言語説明器であるMaNtLEを導入し、複数の分類器の予測を解析する。 MaNtLEは、何千もの合成分類タスクでマルチタスクトレーニングを使用して、忠実な説明を生成する。 シミュレーションユーザスタディでは、平均して、MaNtLEの生成した説明は、LIMEやAnchorsの説明に比べて少なくとも11%忠実であることが示されている。
  論文  参考訳（メタデータ） (2023-05-22T12:58:06Z)
• Parallel Sentence-Level Explanation Generation for Real-World Low-Resource Scenarios [18.5713713816771]
  本論文は,弱教師付き学習から教師なし学習へ,問題を円滑に探求する最初の試みである。 並列説明生成と同時予測を容易にする非自己回帰解釈モデルを提案する。
  論文  参考訳（メタデータ） (2023-02-21T14:52:21Z)
• Explanation Regeneration via Information Bottleneck [29.92996769997743]
  本研究では,情報ボトルネック手法 EIB を開発し,十分かつ簡潔な説明文を生成する。 提案手法は,事前学習された言語モデルからの単一パス出力を洗練することにより,自由テキストの説明を再生する。
  論文  参考訳（メタデータ） (2022-12-19T16:41:19Z)
• Explanations from Large Language Models Make Small Reasoners Better [61.991772773700006]
  提案手法は, 異なる設定において, 微調整ベースラインを連続的に, 著しく向上させることができることを示す。 副次的な利点として、人間の評価は、その予測を正当化するために高品質な説明を生成することができることを示す。
  論文  参考訳（メタデータ） (2022-10-13T04:50:02Z)
• Leap-Of-Thought: Teaching Pre-Trained Models to Systematically Reason Over Implicit Knowledge [96.92252296244233]
  大規模な事前学習言語モデル(LM)は推論能力を得るが、制御は困難である。 本研究では,暗黙的,事前学習された知識と明示的な自然言語文を併用して,体系的推論を確実に行うことができることを示す。 我々の研究は、シンプルな自然言語文を追加することで、モデルを簡単に修正できるユーザと対話することで、常に改善されるオープンドメインシステムへの道を開く。
  論文  参考訳（メタデータ） (2020-06-11T17:02:20Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。