論文の概要: On the Interplay Between Fine-tuning and Composition in Transformers

• arxiv url: http://arxiv.org/abs/2105.14668v1
• Date: Mon, 31 May 2021 01:49:56 GMT
• ステータス: 処理完了
• システム内更新日: 2021-06-01 17:22:45.703882
• Title: On the Interplay Between Fine-tuning and Composition in Transformers
• Title（参考訳）: 変圧器の微調整と組成の相互作用について
• Authors: Lang Yu and Allyson Ettinger
• Abstract要約: 本研究では,微調整が文脈的埋め込み能力に及ぼす影響について検討する。 具体的には、語彙重なりの大きい逆パラフレーズ分類タスクと感情分類タスクを微調整する。 微調整はこれらの表現における構成性の恩恵をほとんど得られないが、感情に関するトレーニングは特定のモデルに対して小さな局所的な利益をもたらす。
• 参考スコア（独自算出の注目度）: 7.513100214864645
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Pre-trained transformer language models have shown remarkable performance on a variety of NLP tasks. However, recent research has suggested that phrase-level representations in these models reflect heavy influences of lexical content, but lack evidence of sophisticated, compositional phrase information. Here we investigate the impact of fine-tuning on the capacity of contextualized embeddings to capture phrase meaning information beyond lexical content. Specifically, we fine-tune models on an adversarial paraphrase classification task with high lexical overlap, and on a sentiment classification task. After fine-tuning, we analyze phrasal representations in controlled settings following prior work. We find that fine-tuning largely fails to benefit compositionality in these representations, though training on sentiment yields a small, localized benefit for certain models. In follow-up analyses, we identify confounding cues in the paraphrase dataset that may explain the lack of composition benefits from that task, and we discuss potential factors underlying the localized benefits from sentiment training.
• Abstract（参考訳）: 事前訓練されたトランスフォーマー言語モデルは、様々なNLPタスクにおいて顕著な性能を示した。 しかし、近年の研究では、これらのモデルにおけるフレーズレベルの表現は、語彙内容の強い影響を反映しているが、洗練された合成句情報の証拠がないことが示唆されている。 本稿では,語彙的内容を超えた句意味情報を取り込むための文脈的埋め込みの能力に対する微調整の影響について検討する。 具体的には,語彙重複度の高い逆パラフレーズ分類タスクと感情分類タスクでモデルを微調整する。 微調整後,事前作業後の制御設定におけるフラシアル表現の分析を行う。 微調整はこれらの表現において構成性に恩恵をもたらすことがほとんどないが、感情の訓練は特定のモデルに小さな局所的な利益をもたらす。 フォローアップ分析では,その課題から構成的利益の欠如を説明できるパラフレーズデータセット内の類似した手がかりを同定し,感情訓練による局所的利益の根底にある潜在的な要因について考察する。

関連論文リスト

• Aggregation Artifacts in Subjective Tasks Collapse Large Language Models' Posteriors [74.04775677110179]
  In-context Learning (ICL) は、Large Language Models (LLM) を用いた自然言語処理の主要な手法となっている。 本研究は,低アグリゲーション,異質なアノテーションを組み合わせたアグリゲーションの結果が,プロンプトに有害なノイズを生じさせるアノテーションのアーティファクトに繋がるかどうかを考察する。 この結果から,アグリゲーションは主観的タスクのモデル化において不明瞭な要因であり,代わりに個人をモデリングすることを重視することが示唆された。
  論文  参考訳（メタデータ） (2024-10-17T17:16:00Z)
• How Truncating Weights Improves Reasoning in Language Models [49.80959223722325]
  特定のグローバルな関連が、特定の重み成分やトランスフォーマーブロックにどのように格納されるかを検討する。 実験的にも理論的にも、トレーニング中にどのように起こるのかを分析します。
  論文  参考訳（メタデータ） (2024-06-05T08:51:08Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Visual Referential Games Further the Emergence of Disentangled Representations [0.12891210250935145]
  本稿では,新興言語のレベルにおける構成性,学習された表現のレベルにおける絡み合い,そして視覚的参照ゲームの文脈における体系性が相互に関連しているかを検討する。
  論文  参考訳（メタデータ） (2023-04-27T20:00:51Z)
• Non-Linguistic Supervision for Contrastive Learning of Sentence Embeddings [14.244787327283335]
  文エンコーダとしてのTransformerモデルの性能はマルチモーダルなマルチタスク損失のトレーニングによって改善できる。 非言語的データに対する我々のフレームワークの依存は、言語に依存しないので、英語のNLPを超えて広く適用することができる。
  論文  参考訳（メタデータ） (2022-09-20T03:01:45Z)
• UCTopic: Unsupervised Contrastive Learning for Phrase Representations and Topic Mining [27.808028645942827]
  UCTopicは、文脈対応のフレーズ表現とトピックマイニングのための、教師なしのコントラスト学習フレームワークである。 2つの句の文脈が同じ意味を持つかどうかを区別するために、大規模に事前訓練されている。 4つのエンティティクラスタリングタスクにおいて、最先端のフレーズ表現モデルを平均38.2%NMIで上回る。
  論文  参考訳（メタデータ） (2022-02-27T22:43:06Z)
• Did the Cat Drink the Coffee? Challenging Transformers with Generalized Event Knowledge [59.22170796793179]
  Transformers Language Models (TLMs) を数学的適合のテクトダイナミックな評価のためのベンチマークで検証した。 以上の結果から, TLM は SDM に匹敵する性能が得られることが示された。 しかし、さらなる分析は、TLMがイベント知識の重要な側面を捉えていないことを一貫して示唆している。
  論文  参考訳（メタデータ） (2021-07-22T20:52:26Z)
• "Let's Eat Grandma": When Punctuation Matters in Sentence Representation for Sentiment Analysis [13.873803872380229]
  我々は、句読点が感情分析において重要な役割を果たすと論じ、構文的および文脈的パフォーマンスを改善するための新しい表現モデルを提案する。 公開データセットの実験を行い、モデルが他の最先端のベースラインメソッドよりも正確に感情を識別することができることを確認します。
  論文  参考訳（メタデータ） (2020-12-10T19:07:31Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• Assessing Phrasal Representation and Composition in Transformers [13.460125148455143]
  ディープトランスモデルはNLPタスクのパフォーマンスを新たな限界に押し上げた。 本稿では,最先端の事前学習型トランスにおけるフレーズ表現の系統的解析を行う。 これらのモデルにおける句表現は、単語の内容に大きく依存しており、ニュアンスな構成の証拠はほとんどない。
  論文  参考訳（メタデータ） (2020-10-08T04:59:39Z)
• Explaining Black Box Predictions and Unveiling Data Artifacts through Influence Functions [55.660255727031725]
  影響関数は、影響力のあるトレーニング例を特定することによって、モデルの判断を説明する。 本稿では,代表課題における影響関数と共通単語順応法の比較を行う。 我々は,学習データ中の成果物を明らかにすることができる影響関数に基づく新しい尺度を開発した。
  論文  参考訳（メタデータ） (2020-05-14T00:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。