論文の概要: Training LLMs to Recognize Hedges in Spontaneous Narratives

• arxiv url: http://arxiv.org/abs/2408.03319v1
• Date: Tue, 6 Aug 2024 17:51:42 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-07 13:28:24.995518
• Title: Training LLMs to Recognize Hedges in Spontaneous Narratives
• Title（参考訳）: 自発的物語におけるヘッジ認識のためのLDMの訓練
• Authors: Amie J. Paige, Adil Soubki, John Murzaku, Owen Rambow, Susan E. Brennan,
• Abstract要約: ヘッジは、話者が、非原型性または「ファジィ」をシグナルとして、発話を暫定的にマークすることを可能にする ここでは,21人の話者が記憶から自然に生成した63のロードランナーの物語を実験的にパラメータ化したコーパスのヘッジに着目した。
• 参考スコア（独自算出の注目度）: 4.832760917132772
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Hedges allow speakers to mark utterances as provisional, whether to signal non-prototypicality or "fuzziness", to indicate a lack of commitment to an utterance, to attribute responsibility for a statement to someone else, to invite input from a partner, or to soften critical feedback in the service of face-management needs. Here we focus on hedges in an experimentally parameterized corpus of 63 Roadrunner cartoon narratives spontaneously produced from memory by 21 speakers for co-present addressees, transcribed to text (Galati and Brennan, 2010). We created a gold standard of hedges annotated by human coders (the Roadrunner-Hedge corpus) and compared three LLM-based approaches for hedge detection: fine-tuning BERT, and zero and few-shot prompting with GPT-4o and LLaMA-3. The best-performing approach was a fine-tuned BERT model, followed by few-shot GPT-4o. After an error analysis on the top performing approaches, we used an LLM-in-the-Loop approach to improve the gold standard coding, as well as to highlight cases in which hedges are ambiguous in linguistically interesting ways that will guide future research. This is the first step in our research program to train LLMs to interpret and generate collateral signals appropriately and meaningfully in conversation.
• Abstract（参考訳）: ヘッジ(Hedge)は、話者が発話を一時的なものとしてマークし、非原型性や「ファジィ(fuzziness)」に信号を送るか、発話へのコミットメントの欠如を示すか、他人に発言の責任を負うか、パートナーからのインプットを招待するか、顔管理ニーズのサービスにおける重要なフィードバックを和らげるかを許可する。 ここでは,記憶から自然に生成した63本のロードランナーの物語を,テキストに書き起こした21人の講演者を対象に,実験的にパラメータ化したコーパスのヘッジに焦点を当てる(Galati and Brennan, 2010)。 我々は、人間のコーダ(Roadrunner-Hedge corpus)に注釈付けされたヘッジのゴールドスタンダードを作成し、GPT-4oとLLaMA-3による細調整BERTとゼロおよび少数ショットプロンプトの3つのLPMベースのアプローチを比較した。 最高の性能のアプローチは細調整されたBERTモデルで、その後数発のGPT-4oが続いた。 トップパフォーマンスアプローチのエラー分析の後、私たちはLLM-in-the-Loopアプローチを使用して、ゴールドスタンダードコーディングを改善しました。 本研究は,LLMを学習し,会話において適切な,有意義に副次的信号を生成するための第一歩である。

関連論文リスト

• ProGRes: Prompted Generative Rescoring on ASR n-Best [10.536469576235223]
  大規模言語モデル(LLM)は,ビーム探索過程において発生するn-best仮説を効果的に再現することにより,音声認識の性能を向上させる能力を示した。 本稿では, 命令調整型LLMを用いて, 適切にプロンプトされたLLMを用いて生成した新しい仮説を用いて, n-best音声認識仮説を動的に拡張する手法を提案する。
  論文  参考訳（メタデータ） (2024-08-30T19:14:17Z)
• Exploring Automatic Cryptographic API Misuse Detection in the Era of LLMs [60.32717556756674]
  本稿では,暗号誤用の検出において,大規模言語モデルを評価するための体系的評価フレームワークを提案する。 11,940個のLCM生成レポートを詳細に分析したところ、LSMに固有の不安定性は、報告の半数以上が偽陽性になる可能性があることがわかった。 最適化されたアプローチは、従来の手法を超え、確立されたベンチマークでこれまで知られていなかった誤用を明らかにすることで、90%近い顕著な検出率を達成する。
  論文  参考訳（メタデータ） (2024-07-23T15:31:26Z)
• SORRY-Bench: Systematically Evaluating Large Language Model Safety Refusal Behaviors [64.9938658716425]
  安全でないユーザリクエストを認識して拒否する、大規模な言語モデル(LLM)の既存の評価は、3つの制限に直面している。 まず、既存の手法では、安全でないトピックの粗い粒度を使い、いくつかのきめ細かいトピックを過剰に表現している。 第二に、プロンプトの言語的特徴とフォーマッティングは、様々な言語、方言など、多くの評価において暗黙的にのみ考慮されているように、しばしば見過ごされる。 第3に、既存の評価は大きなLCMに頼っているため、コストがかかる可能性がある。
  論文  参考訳（メタデータ） (2024-06-20T17:56:07Z)
• BLSP-KD: Bootstrapping Language-Speech Pre-training via Knowledge Distillation [18.329192763760034]
  BLSP-KD(Bootstrapping Language-Speech Pretraining)を知識蒸留により導入する。 音声入力とテキスト入力に対するLLMの次点予測分布のばらつきを最小化することで、音声テキストアライメントを最適化する。 また、音声を1対1でテキストトークンに対応するトークンに分割し、きめ細かいアライメントを可能にする。
  論文  参考訳（メタデータ） (2024-05-29T12:32:08Z)
• HyPoradise: An Open Baseline for Generative Speech Recognition with Large Language Models [81.56455625624041]
  ASRの誤り訂正に外部の大規模言語モデル(LLM)を利用する最初のオープンソースベンチマークを導入する。 提案したベンチマークには、334,000組以上のN-best仮説を含む新しいデータセットHyPoradise (HP)が含まれている。 合理的なプロンプトと生成能力を持つLLMは、N-bestリストに欠けているトークンを修正できる。
  論文  参考訳（メタデータ） (2023-09-27T14:44:10Z)
• Modeling Uncertainty and Using Post-fusion as Fallback Improves Retrieval Augmented Generation with LLMs [80.74263278847063]
  検索されたパスと大きな言語モデル(LLM)の統合は、オープンドメインの質問応答の改善に大きく貢献している。 本稿では,検索したパスをLLMと組み合わせて回答生成を向上させる方法について検討する。
  論文  参考訳（メタデータ） (2023-08-24T05:26:54Z)
• Assessing Phrase Break of ESL Speech with Pre-trained Language Models and Large Language Models [7.782346535009883]
  本研究では,事前学習言語モデル (PLM) と大規模言語モデル (LLM) を用いて,ESL学習者の音声における句分割の評価手法を提案する。
  論文  参考訳（メタデータ） (2023-06-08T07:10:39Z)
• Cue-CoT: Chain-of-thought Prompting for Responding to In-depth Dialogue Questions with LLMs [59.74002011562726]
  我々は、よりパーソナライズされ魅力的な応答を提供するために、新しい言語的キューに基づく思考の連鎖(textitCue-CoT)を提案する。 中国語と英語の6つのデータセットからなる詳細な対話質問を用いたベンチマークを構築した。 実験により,提案手法は,すべてのデータセットにおいて,テクステルパーフルネスとテクスチタアクセプタビリティの両方の観点から,標準的プロンプト法よりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-05-19T16:27:43Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。