論文の概要: Deep Natural Language Feature Learning for Interpretable Prediction

• arxiv url: http://arxiv.org/abs/2311.05754v1
• Date: Thu, 9 Nov 2023 21:43:27 GMT
• ステータス: 処理完了
• システム内更新日: 2023-11-13 16:35:43.459836
• Title: Deep Natural Language Feature Learning for Interpretable Prediction
• Title（参考訳）: 解釈可能な予測のための深層自然言語特徴学習
• Authors: Felipe Urrutia, Cristian Buc, Valentin Barriere
• Abstract要約: 本稿では,メインの複雑なタスクを仲介しやすいサブタスクの集合に分解する手法を提案する。 本手法では,これらの質問に対する回答からなるベクトルで各例を表現できる。 我々は,学生のオープンエンド数学試験に対する回答の不整合性の検出と,気候変動と農業学に関する科学的論文の体系的な文献レビューのための要約のスクリーニングという,2つのまったく異なるタスクにこの手法を適用した。
• 参考スコア（独自算出の注目度）: 1.6114012813668932
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We propose a general method to break down a main complex task into a set of intermediary easier sub-tasks, which are formulated in natural language as binary questions related to the final target task. Our method allows for representing each example by a vector consisting of the answers to these questions. We call this representation Natural Language Learned Features (NLLF). NLLF is generated by a small transformer language model (e.g., BERT) that has been trained in a Natural Language Inference (NLI) fashion, using weak labels automatically obtained from a Large Language Model (LLM). We show that the LLM normally struggles for the main task using in-context learning, but can handle these easiest subtasks and produce useful weak labels to train a BERT. The NLI-like training of the BERT allows for tackling zero-shot inference with any binary question, and not necessarily the ones seen during the training. We show that this NLLF vector not only helps to reach better performances by enhancing any classifier, but that it can be used as input of an easy-to-interpret machine learning model like a decision tree. This decision tree is interpretable but also reaches high performances, surpassing those of a pre-trained transformer in some cases.We have successfully applied this method to two completely different tasks: detecting incoherence in students' answers to open-ended mathematics exam questions, and screening abstracts for a systematic literature review of scientific papers on climate change and agroecology.
• Abstract（参考訳）: 本稿では,目的とするタスクに関する二分問題として自然言語で定式化した,複雑なメインタスクを中間の容易なサブタスクに分解する一般的な手法を提案する。 本手法では,これらの質問に対する回答からなるベクトルで各例を表現できる。 この表現を自然言語学習特徴(NLLF)と呼ぶ。 NLLFは、Large Language Model(LLM)から自動的に得られる弱いラベルを使用して、自然言語推論(NLI)方式で訓練された小さなトランスフォーマー言語モデル(例えばBERT)によって生成される。 LLMは通常、コンテキスト内学習を用いてメインタスクに苦労するが、これらの最も簡単なサブタスクを処理し、BERTのトレーニングに有用な弱いラベルを生成することができる。 bert の nli ライクなトレーニングでは、ゼロショット推論をバイナリ問題で処理することが可能であり、トレーニング中に見られるものとは限らない。 このNLLFベクトルは,分類器の強化による性能向上に寄与するだけでなく,決定木のような容易に解釈可能な機械学習モデルの入力として使用できることを示す。 この決定木は解釈可能であるが,いくつかのケースでは事前学習された変圧器よりも高い性能を達成し,学生のオープンエンド数学試験に対する回答の不整合の検出と,気候変動と農業学に関する科学的論文の体系的な文献レビューのための要約のスクリーニングという,2つのまったく異なるタスクにこの手法を適用した。

関連論文リスト

• Coupling Large Language Models with Logic Programming for Robust and General Reasoning from Text [5.532477732693001]
  大規模言語モデルは, 意味論的に非常に効果的な数ショットとして機能することを示す。 自然言語文を論理形式に変換し、応答集合プログラムの入力として機能する。 本手法は,bAbI, StepGame, CLUTRR, gSCAN など,いくつかのベンチマークにおいて最先端性能を実現する。
  論文  参考訳（メタデータ） (2023-07-15T03:29:59Z)
• LeTI: Learning to Generate from Textual Interactions [60.425769582343506]
  本稿では,テキストインタラクション(LETI)から学習するLMの可能性を,バイナリラベルによる正当性をチェックするだけでなく,テキストフィードバックを通じて出力中のエラーをピンポイントし,説明する。 私たちの焦点はコード生成タスクであり、そこではモデルが自然言語命令に基づいてコードを生成する。 LETIは、目的のLMを用いて、自然言語命令、LM生成プログラム、テキストフィードバックの結合に基づいて、モデルを反復的に微調整する。
  論文  参考訳（メタデータ） (2023-05-17T15:53:31Z)
• Interpretability at Scale: Identifying Causal Mechanisms in Alpaca [62.65877150123775]
  本研究では、Boundless DASを用いて、命令に従う間、大規模言語モデルにおける解釈可能な因果構造を効率的に探索する。 私たちの発見は、成長し、最も広くデプロイされている言語モデルの内部構造を忠実に理解するための第一歩です。
  論文  参考訳（メタデータ） (2023-05-15T17:15:40Z)
• Leveraging the Inductive Bias of Large Language Models for Abstract Textual Reasoning [3.616948583169635]
  GPT-3やT5のような大きな自然言語モデルは、様々な一般的なNLPタスクにおいて印象的な能力を示している。 このようなモデルに埋め込まれた知識は、従来のNLPタスクだけでなく、シンボリック推論エンジンを訓練する非伝統的なタスクにも有用な帰納的バイアスをもたらすことを示す。
  論文  参考訳（メタデータ） (2021-10-05T21:40:46Z)
• SML: a new Semantic Embedding Alignment Transformer for efficient cross-lingual Natural Language Inference [71.57324258813674]
  トランスフォーマーが質問応答、自然言語推論(NLI)、要約といった様々なタスクを精度良く実行できることは、現在この種のタスクに対処するための最良のパラダイムの1つとしてランク付けすることができる。 nliは、複雑な文を理解するための知識が必要であり、仮説と前提の関係を確立するため、これらのアーキテクチャをテストする最良のシナリオの1つである。 本稿では,自然言語推論のための多言語組込みを効率的にアライメントするための新しいアーキテクチャ siamese multilingual transformer を提案する。
  論文  参考訳（メタデータ） (2021-03-17T13:23:53Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Is Supervised Syntactic Parsing Beneficial for Language Understanding? An Empirical Investigation [71.70562795158625]
  従来のNLPは、高レベルセマンティック言語理解(LU)の成功に必要な構文解析を長い間保持(教師付き)してきた。 近年のエンドツーエンドニューラルネットワークの出現、言語モデリング(LM)による自己監視、および幅広いLUタスクにおける成功は、この信念に疑問を投げかけている。 本研究では,LM-Pretrained Transformer Network の文脈における意味的LUに対する教師あり構文解析の有用性を実証的に検討する。
  論文  参考訳（メタデータ） (2020-08-15T21:03:36Z)
• Probing the Natural Language Inference Task with Automated Reasoning Tools [6.445605125467574]
  自然言語推論(NLI)タスクは、現在のNLPにおいて重要なタスクである。 我々はNLIタスクの論理構造を調べるために他の手法を用いる。 我々は、機械指向の自然言語がNLI文のパースにどの程度うまく利用できるか、また、自動定理証明器が結果の式に対していかにうまく推論できるかを示す。
  論文  参考訳（メタデータ） (2020-05-06T03:18:11Z)
• Information-Theoretic Probing for Linguistic Structure [74.04862204427944]
  本稿では,相互情報を推定するための情報理論による探索運用手法を提案する。 我々は,NLP研究でしばしば不足している10の型的多様言語について評価した。
  論文  参考訳（メタデータ） (2020-04-07T01:06:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。