Fugu-MT 論文翻訳(概要): Learning Disentangled Representations of Negation and Uncertainty

論文の概要: Learning Disentangled Representations of Negation and Uncertainty

arxiv url: http://arxiv.org/abs/2204.00511v1
Date: Fri, 1 Apr 2022 15:12:05 GMT
ステータス: 処理完了
システム内更新日: 2022-04-04 13:58:45.856921
Title: Learning Disentangled Representations of Negation and Uncertainty
Title（参考訳）: 否定と不確かさの無関係表現の学習
Authors: Jake Vasilakes, Chrysoula Zerva, Makoto Miwa, Sophia Ananiadou
Abstract要約: 言語理論は、否定と不確実性の表現は意味的に互いに独立であり、それらが修正する内容である、と仮定している。本研究では,変分オートエンコーダを用いて否定,不確実性,内容の表現をアンタングル化しようとする。
参考スコア（独自算出の注目度）: 25.11863604063283
License: http://creativecommons.org/licenses/by-nc-sa/4.0/
Abstract: Negation and uncertainty modeling are long-standing tasks in natural language processing. Linguistic theory postulates that expressions of negation and uncertainty are semantically independent from each other and the content they modify. However, previous works on representation learning do not explicitly model this independence. We therefore attempt to disentangle the representations of negation, uncertainty, and content using a Variational Autoencoder. We find that simply supervising the latent representations results in good disentanglement, but auxiliary objectives based on adversarial learning and mutual information minimization can provide additional disentanglement gains.
Abstract（参考訳）: 否定と不確実性モデリングは自然言語処理における長年のタスクである。言語理論は、否定と不確実性の表現が意味的に互いに独立であり、それらが修正する内容であると仮定している。しかし、表現学習に関する以前の研究は、この独立性を明示的にモデル化していない。そこで我々は変分オートエンコーダを用いて否定,不確実性,内容の表現を解消しようとする。潜在表現を単純に監督することで、良好な不絡み合いが得られるが、逆学習と相互情報最小化に基づく補助的目的により、さらなる不絡み合いがもたらされる。

関連論文リスト

Revisiting subword tokenization: A case study on affixal negation in large language models [57.75279238091522]
現代英語大言語モデル(LLM)に対する接尾辞否定の影響を計測する。我々は、異なるサブワードトークン化手法を用いてLLMを用いて実験を行う。モデルは全体として、接尾辞の意味を確実に認識できることを示す。
論文参考訳（メタデータ） (2024-04-03T03:14:27Z)
Strong hallucinations from negation and how to fix them [2.1178416840822027]
提案手法は,疎い負のデータに対する訓練を必要とせずに,クローゼプロンプトや否定を伴う自然言語推論タスクにおけるモデル性能を向上させることを示す。このような応答をテキストストロング幻覚と呼び、論理演算子の内部表現とそれらの表現からの出力に対するLMの計算からそれに従うことを証明する。
論文参考訳（メタデータ） (2024-02-16T10:11:20Z)
Uncertainty Quantification for In-Context Learning of Large Language Models [52.891205009620364]
大規模言語モデル(LLM)の画期的な能力として、文脈内学習が登場している。両タイプの不確かさを定量化するための新しい定式化法とそれに対応する推定法を提案する。提案手法は、プラグイン・アンド・プレイ方式でコンテキスト内学習の予測を理解するための教師なしの方法を提供する。
論文参考訳（メタデータ） (2024-02-15T18:46:24Z)
Improving the Reliability of Large Language Models by Leveraging Uncertainty-Aware In-Context Learning [76.98542249776257]
大規模言語モデルはしばしば「ハロシン化」の課題に直面している本研究では,不確実性に応答してモデルが出力を拡張あるいは拒否することを可能にする,不確実性を考慮したコンテキスト内学習フレームワークを提案する。
論文参考訳（メタデータ） (2023-10-07T12:06:53Z)
Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。モデルはこれらの評価セットに対して中程度から低い性能を示す。
論文参考訳（メタデータ） (2023-05-24T06:41:09Z)
Learning Fair Representation via Distributional Contrastive Disentanglement [9.577369164287813]
公正な表現を学ぶことは、公平性を達成するか、センシティブな情報を悪用するために不可欠である。本稿では,FarconVAE(Contrastive Variational AutoEncoder)を用いたFAir表現学習手法を提案する。フェアネス、事前訓練されたモデルデバイアス、および様々なモダリティからの領域一般化タスクにおいて優れた性能を示す。
論文参考訳（メタデータ） (2022-06-17T12:58:58Z)
On the Faithfulness Measurements for Model Interpretations [100.2730234575114]
ポストホックな解釈は、自然言語処理(NLP)モデルがどのように予測を行うかを明らかにすることを目的とする。これらの問題に取り組むために,我々は,削除基準,解釈の感度,解釈の安定性という3つの基準から始める。これらの忠実性概念のデシデラタムに動機づけられ、敵対的領域からのテクニックを採用する新しい解釈方法のクラスを導入する。
論文参考訳（メタデータ） (2021-04-18T09:19:44Z)
Where and What? Examining Interpretable Disentangled Representations [96.32813624341833]
解釈可能なバリエーションの獲得は、長い間、絡み合い学習の目標の1つだった。独立性の仮定と異なり、解釈性は教師なしの設定での絡み合いを促進するために使われることは滅多にない。本論文では, 解釈対象と解釈対象の2つの質問について検討し, 離散表現の解釈可能性を検討する。
論文参考訳（メタデータ） (2021-04-07T11:22:02Z)
Show or Suppress? Managing Input Uncertainty in Machine Learning Model Explanations [5.695163312473304]
特徴属性は、各測定された入力特徴値が出力推定に与える影響を説明するために、解釈可能な機械学習で広く使用されている。入力の不確実性の認識が説明の信頼にどのように影響するかは不明です。モデル説明において不確実性の認識を管理するための2つのアプローチを提案します。
論文参考訳（メタデータ） (2021-01-23T13:10:48Z)
An Experimental Study of Semantic Continuity for Deep Learning Models [11.883949320223078]
意味的不連続性は、不適切な訓練対象から生じ、敵対的堅牢性や解釈可能性などの悪名高い問題に寄与すると主張している。まず、既存のディープラーニングモデルにおける意味的不連続性の証拠を提供するためにデータ分析を行い、その後、理論上モデルがスムーズな勾配を得ることができ、セマンティック指向の特徴を学習できる単純な意味的連続性制約を設計する。
論文参考訳（メタデータ） (2020-11-19T12:23:28Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。