論文の概要: Actor Identification in Discourse: A Challenge for LLMs?

• arxiv url: http://arxiv.org/abs/2402.00620v1
• Date: Thu, 1 Feb 2024 14:30:39 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-02 15:13:11.407157
• Title: Actor Identification in Discourse: A Challenge for LLMs?
• Title（参考訳）: 会話におけるアクター識別: llmsへの挑戦?
• Authors: Ana Bari\'c and Sean Papay and Sebastian Pad\'o
• Abstract要約: 我々は、公開討論で主張を推し進める政治役者の特定方法を示す。 従来のNLPコンポーネントのパイプラインとLLMを比較した。 LLMは正しい参照を特定するのに非常に優れているが、正しい標準形式を生成するのに苦労している。
• 参考スコア（独自算出の注目度）: 2.8728982844941187
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The identification of political actors who put forward claims in public debate is a crucial step in the construction of discourse networks, which are helpful to analyze societal debates. Actor identification is, however, rather challenging: Often, the locally mentioned speaker of a claim is only a pronoun ("He proposed that [claim]"), so recovering the canonical actor name requires discourse understanding. We compare a traditional pipeline of dedicated NLP components (similar to those applied to the related task of coreference) with a LLM, which appears a good match for this generation task. Evaluating on a corpus of German actors in newspaper reports, we find surprisingly that the LLM performs worse. Further analysis reveals that the LLM is very good at identifying the right reference, but struggles to generate the correct canonical form. This points to an underlying issue in LLMs with controlling generated output. Indeed, a hybrid model combining the LLM with a classifier to normalize its output substantially outperforms both initial models.
• Abstract（参考訳）: 公的な議論で主張を提出した政治的アクターの特定は、社会的な議論を分析するのに役立つ談話ネットワークの構築における重要なステップである。 多くの場合、局所的に言及されるクレームの話者は代名詞のみである("he proposed that [claim]")。 我々は、従来のNLPコンポーネントのパイプライン(関連するコア参照タスクに適用されるものに似ている)とLLMを比較し、この生成タスクによくマッチしているように思われる。 新聞の報道でドイツの俳優のコーパスを評価すると、LDMがさらに悪化していることが驚く。 さらなる分析によると、LLMは正しい参照を識別するのに非常に優れているが、正しい標準形式を生成するのに苦労している。 これは、出力を制御した LLM の根底にある問題を示している。 実際、llmと分類器を組み合わせて出力を正規化するハイブリッドモデルは、両方の初期モデルを大きく上回っている。

関連論文リスト

• From Test-Taking to Test-Making: Examining LLM Authoring of Commonsense Assessment Items [0.18416014644193068]
  LLMをコモンセンス評価項目の著者とみなす。 我々はLLMに対して、コモンセンス推論のための顕著なベンチマークのスタイルでアイテムを生成するよう促す。 元のCOPAベンチマークの回答に成功するLCMも、自分自身の項目のオーサリングに成功していることがわかった。
  論文  参考訳（メタデータ） (2024-10-18T22:42:23Z)
• Order Matters in Hallucination: Reasoning Order as Benchmark and Reflexive Prompting for Large-Language-Models [0.0]
  大規模言語モデル(LLM)は、その誕生以来、様々な学術分野や産業分野にまたがって大きな注目を集めてきた。 LLMはしばしば「ハロシン化問題」に悩まされるが、出力は文法的にも論理的にも一貫性があり、事実の正確性に欠ける。
  論文  参考訳（メタデータ） (2024-08-09T14:34:32Z)
• Intermittent Semi-working Mask: A New Masking Paradigm for LLMs [13.271151693864114]
  マルチターン対話は人間と大規模言語モデル(LLM)の鍵となる対話手法である これらの問題に対処するために,ISM (Intermittent Semi-working Mask) と呼ばれる新しいマスキング手法を提案する。
  論文  参考訳（メタデータ） (2024-08-01T13:22:01Z)
• Analyzing the Role of Semantic Representations in the Era of Large Language Models [104.18157036880287]
  大規模言語モデル(LLM)の時代における意味表現の役割について検討する。 本稿では, AMRCoT と呼ばれる AMR-driven chain-of- Thought prompting 法を提案する。 AMRのどの入力例が役に立つかは予測できないが,複数単語の表現でエラーが発生する傾向にある。
  論文  参考訳（メタデータ） (2024-05-02T17:32:59Z)
• AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
  Alignedcotは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。 ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。 数学的推論とコモンセンス推論の実験を行う。
  論文  参考訳（メタデータ） (2023-11-22T17:24:21Z)
• Sentiment Analysis through LLM Negotiations [58.67939611291001]
  感情分析の標準的なパラダイムは、単一のLCMに依存して、その決定を1ラウンドで行うことである。 本稿では,感情分析のためのマルチLLMネゴシエーションフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-03T12:35:29Z)
• Using Large Language Models for Qualitative Analysis can Introduce Serious Bias [0.09208007322096534]
  大規模言語モデル(LLM)は急速に普及しつつあるが、社会科学研究の意義はまだよく分かっていない。 本稿では, バングラデシュのコックス・バザールにおけるロヒンギャ難民へのインタビューの書き起こしを応用して, オープンエンドインタビューから大規模Nの質的データを分析する上で, LLMが有効かどうかを問う。 LLMを使ってテキストに注釈を付けるには、誤解を招く可能性のあるバイアスを導入するリスクがあるため、非常に注意が必要であることが分かりました。
  論文  参考訳（メタデータ） (2023-09-29T11:19:15Z)
• Encouraging Divergent Thinking in Large Language Models through Multi-Agent Debate [85.3444184685235]
  複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。 我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
  論文  参考訳（メタデータ） (2023-05-30T15:25:45Z)
• In-Context Impersonation Reveals Large Language Models' Strengths and Biases [56.61129643802483]
  我々は、視覚と言語タスクを解く前に、LLMに異なるペルソナを仮定するよう依頼する。 異なる年齢の子どものふりをしたLSMが、ヒトのような発達段階を回復することがわかった。 言語に基づく推論タスクでは、ドメインエキスパートを装うLLMが、ドメイン専門家を装うLLMよりも優れた性能を発揮する。
  論文  参考訳（メタデータ） (2023-05-24T09:13:15Z)
• Check Your Facts and Try Again: Improving Large Language Models with External Knowledge and Automated Feedback [127.75419038610455]
  大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。 本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
  論文  参考訳（メタデータ） (2023-02-24T18:48:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。