論文の概要: Prompting Implicit Discourse Relation Annotation

• arxiv url: http://arxiv.org/abs/2402.04918v1
• Date: Wed, 7 Feb 2024 14:44:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-08 14:49:02.053723
• Title: Prompting Implicit Discourse Relation Annotation
• Title（参考訳）: 暗黙の談話関係のアノテーションを促す
• Authors: Frances Yung, Mansoor Ahmad, Merel Scholman, Vera Demberg
• Abstract要約: ChatGPTは、教師付きトレーニングなしでタスクを推論する際、優れたパフォーマンスをアーカイブする訓練済みの大規模言語モデルである。 本研究は,ChatGPTの談話関係認識を改善するためのいくつかの証明されたプロンプト技術について検討する。 実験結果から,精密な急進的工学でも推論精度がほとんど変化しないことが明らかとなった。
• 参考スコア（独自算出の注目度）: 12.90968187053814
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Pre-trained large language models, such as ChatGPT, archive outstanding performance in various reasoning tasks without supervised training and were found to have outperformed crowdsourcing workers. Nonetheless, ChatGPT's performance in the task of implicit discourse relation classification, prompted by a standard multiple-choice question, is still far from satisfactory and considerably inferior to state-of-the-art supervised approaches. This work investigates several proven prompting techniques to improve ChatGPT's recognition of discourse relations. In particular, we experimented with breaking down the classification task that involves numerous abstract labels into smaller subtasks. Nonetheless, experiment results show that the inference accuracy hardly changes even with sophisticated prompt engineering, suggesting that implicit discourse relation classification is not yet resolvable under zero-shot or few-shot settings.
• Abstract（参考訳）: ChatGPTのような事前訓練済みの大規模言語モデルは、教師なしの様々な推論タスクにおける優れたパフォーマンスをアーカイブし、クラウドソーシング作業者よりも優れていた。 それにもかかわらず、ChatGPTの暗黙的談話関係分類のタスクにおけるパフォーマンスは、標準的な多重選択問題によって引き起こされ、まだ満足には程遠いものであり、最先端の教師付きアプローチよりもかなり劣っている。 本研究は,ChatGPTの談話関係認識を改善するためのいくつかの証明されたプロンプト技術について検討する。 特に,多数の抽象ラベルを含む分類タスクを,より小さなサブタスクに分割する実験を行った。 それにもかかわらず、実験結果から、高度なプロンプトエンジニアリングであっても推論精度がほとんど変化しないことが示され、暗黙の談話関係分類がゼロショットや少数ショット設定下ではまだ解決できないことが示唆された。

関連論文リスト

• Manual Verbalizer Enrichment for Few-Shot Text Classification [1.860409237919611]
  acrshortmaveは、クラスラベルの豊か化による動詞化のためのアプローチである。 本モデルでは, 資源を著しく減らしながら, 最先端の成果が得られている。
  論文  参考訳（メタデータ） (2024-10-08T16:16:47Z)
• FPT: Feature Prompt Tuning for Few-shot Readability Assessment [14.058586527866426]
  豊かな言語知識を取り入れた新しいプロンプトベースのチューニングフレームワークを提案する。 具体的には,テキストから言語的特徴を抽出し,訓練可能なソフトプロンプトに組み込む。 提案手法は,言語関連タスクへの言語的特徴の適応方法に光を当てる,即時チューニングのための新しいアーキテクチャを確立する。
  論文  参考訳（メタデータ） (2024-04-03T14:39:47Z)
• Understanding prompt engineering may not require rethinking generalization [56.38207873589642]
  言語モデルによって与えられるPAC-Bayesと組み合わさったプロンプトの離散的性質は、文献の標準によって非常に厳密な一般化境界をもたらすことを示す。 この研究は、プロンプトエンジニアリングの広範な実践を正当化する可能性がある。
  論文  参考訳（メタデータ） (2023-10-06T00:52:48Z)
• MetricPrompt: Prompting Model as a Relevance Metric for Few-shot Text Classification [65.51149771074944]
  MetricPromptは、数発のテキスト分類タスクをテキストペア関連性推定タスクに書き換えることで、言語設計の難易度を緩和する。 広範に使われている3つのテキスト分類データセットを4つのショット・セッティングで実験する。 結果から,MetricPromptは,手動弁証法や自動弁証法よりも優れた性能を示した。
  論文  参考訳（メタデータ） (2023-06-15T06:51:35Z)
• ChatGPT as a Factual Inconsistency Evaluator for Text Summarization [17.166794984161964]
  ゼロショット設定下において,ChatGPTは事実整合性を評価することができることを示す。 一般的に、二項関係推論、要約ランク付け、一貫性評価に関する以前の評価指標よりも優れています。 しかし、ChatGPTの出力を綿密に検査すると、より語彙的に類似した候補を好むこと、誤った推論、指示の不十分な理解など、一定の制限が示される。
  論文  参考訳（メタデータ） (2023-03-27T22:30:39Z)
• Fairness-guided Few-shot Prompting for Large Language Models [93.05624064699965]
  インコンテキスト学習は、トレーニング例、例えば順、プロンプトフォーマットのバリエーションによって、高い不安定性に悩まされる可能性がある。 ラベルや属性に対する固定的なプロンプトの予測バイアスを評価するための指標を導入する。 そこで本研究では,テキスト内学習の性能向上のための最寄りのプロンプトを特定するための,欲求探索に基づく新しい探索手法を提案する。
  論文  参考訳（メタデータ） (2023-03-23T12:28:25Z)
• PROMPT WAYWARDNESS: The Curious Case of Discretized Interpretation of Continuous Prompts [99.03864962014431]
  目標タスクの微調整連続プロンプトは、フルモデルの微調整に代わるコンパクトな代替品として登場した。 実際には、連続的なプロンプトによって解決されたタスクと、最も近い隣人との間の「方向」の挙動を観察する。
  論文  参考訳（メタデータ） (2021-12-15T18:55:05Z)
• Probing as Quantifying the Inductive Bias of Pre-trained Representations [99.93552997506438]
  本稿では,特定のタスクに対する表現の帰納的バイアスを評価することを目的とした,探索のための新しいフレームワークを提案する。 トークン、アーク、文レベルの一連のタスクに我々のフレームワークを適用します。
  論文  参考訳（メタデータ） (2021-10-15T22:01:16Z)
• Let's be explicit about that: Distant supervision for implicit discourse relation classification via connective prediction [0.0]
  暗黙の談話関係分類では,任意の談話接続が存在しない場合,隣り合う文間の関係を予測したい。 我々は,暗黙関係の明示を通じてデータ不足を回避し,タスクを2つのサブプロブレム(言語モデリングと明示的談話関係分類)に減らした。 実験結果から,本手法は同等性能の代替モデルよりも遥かに単純であるにもかかわらず,最先端技術よりもはるかに優れていることが示された。
  論文  参考訳（メタデータ） (2021-06-06T17:57:32Z)
• Dynamic Semantic Matching and Aggregation Network for Few-shot Intent Detection [69.2370349274216]
  利用可能な注釈付き発話が不足しているため、インテント検出は困難である。 セマンティック成分はマルチヘッド自己認識によって発話から蒸留される。 本手法はラベル付きインスタンスとラベルなしインスタンスの両方の表現を強化するための総合的なマッチング手段を提供する。
  論文  参考訳（メタデータ） (2020-10-06T05:16:38Z)
• A Pairwise Probe for Understanding BERT Fine-Tuning on Machine Reading Comprehension [9.446041739364135]
  本稿では,機械読解(MRC)タスクにおけるBERTの微調整を理解するためのペアワイズプローブを提案する。 ペアワイズ探索タスクにより、各レイヤの事前学習および微調整されたBERTの隠れ表現の性能を比較する。 我々の実験分析は、非常に自信のある結論をもたらす。
  論文  参考訳（メタデータ） (2020-06-02T02:12:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。