論文の概要: Actor Identification in Discourse: A Challenge for LLMs?
- arxiv url: http://arxiv.org/abs/2402.00620v1
- Date: Thu, 1 Feb 2024 14:30:39 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-02 15:13:11.407157
- Title: Actor Identification in Discourse: A Challenge for LLMs?
- Title(参考訳): 会話におけるアクター識別: llmsへの挑戦?
- Authors: Ana Bari\'c and Sean Papay and Sebastian Pad\'o
- Abstract要約: 我々は、公開討論で主張を推し進める政治役者の特定方法を示す。
従来のNLPコンポーネントのパイプラインとLLMを比較した。
LLMは正しい参照を特定するのに非常に優れているが、正しい標準形式を生成するのに苦労している。
- 参考スコア(独自算出の注目度): 2.8728982844941187
- License: http://creativecommons.org/licenses/by-sa/4.0/
- Abstract: The identification of political actors who put forward claims in public
debate is a crucial step in the construction of discourse networks, which are
helpful to analyze societal debates. Actor identification is, however, rather
challenging: Often, the locally mentioned speaker of a claim is only a pronoun
("He proposed that [claim]"), so recovering the canonical actor name requires
discourse understanding. We compare a traditional pipeline of dedicated NLP
components (similar to those applied to the related task of coreference) with a
LLM, which appears a good match for this generation task. Evaluating on a
corpus of German actors in newspaper reports, we find surprisingly that the LLM
performs worse. Further analysis reveals that the LLM is very good at
identifying the right reference, but struggles to generate the correct
canonical form. This points to an underlying issue in LLMs with controlling
generated output. Indeed, a hybrid model combining the LLM with a classifier to
normalize its output substantially outperforms both initial models.
- Abstract(参考訳): 公的な議論で主張を提出した政治的アクターの特定は、社会的な議論を分析するのに役立つ談話ネットワークの構築における重要なステップである。
多くの場合、局所的に言及されるクレームの話者は代名詞のみである("he proposed that [claim]")。
我々は、従来のNLPコンポーネントのパイプライン(関連するコア参照タスクに適用されるものに似ている)とLLMを比較し、この生成タスクによくマッチしているように思われる。
新聞の報道でドイツの俳優のコーパスを評価すると、LDMがさらに悪化していることが驚く。
さらなる分析によると、LLMは正しい参照を識別するのに非常に優れているが、正しい標準形式を生成するのに苦労している。
これは、出力を制御した LLM の根底にある問題を示している。
実際、llmと分類器を組み合わせて出力を正規化するハイブリッドモデルは、両方の初期モデルを大きく上回っている。
関連論文リスト
- Analyzing the Role of Semantic Representations in the Era of Large Language Models [104.18157036880287]
大規模言語モデル(LLM)の時代における意味表現の役割について検討する。
本稿では, AMRCoT と呼ばれる AMR-driven chain-of- Thought prompting 法を提案する。
AMRのどの入力例が役に立つかは予測できないが,複数単語の表現でエラーが発生する傾向にある。
論文 参考訳(メタデータ) (2024-05-02T17:32:59Z) - LLMs Can't Plan, But Can Help Planning in LLM-Modulo Frameworks [18.846229981051597]
計画と推論タスクにおけるLLM(Large Language Models)の役割には、かなりの混乱がある。
自己回帰型LSMは、それ自体で計画や自己検証を行うことはできない、と我々は主張する。
本稿では,LLMの強みと外部モデルベース検証器を併用した bf LLM-Modulo Framework のビジョンを提案する。
論文 参考訳(メタデータ) (2024-02-02T14:43:18Z) - The Political Preferences of LLMs [0.0]
我々は、テストテイカーの政治的嗜好を特定するために、11の政治的指向テストを実施し、24の最先端の会話型LLMに対して実施する。
その結果、政治的意味のある質問や文章を調査すると、ほとんどの会話型LLMは、ほとんどの政治的テスト機器で診断される応答を、中心的な視点の好みを示すものとして生成する傾向にあることがわかった。
論文 参考訳(メタデータ) (2024-02-02T02:43:10Z) - Are Large Language Models Temporally Grounded? [38.481606493496514]
文章を記述したLarge Language Model (LLM) を提供する。
イベントの構造と持続時間に関する常識的な知識に関して、それらを調査する。
これらの能力を反映した3つの課題に対して,最先端のLCMを評価した。
論文 参考訳(メタデータ) (2023-11-14T18:57:15Z) - Sentiment Analysis through LLM Negotiations [58.67939611291001]
感情分析の標準的なパラダイムは、単一のLCMに依存して、その決定を1ラウンドで行うことである。
本稿では,感情分析のためのマルチLLMネゴシエーションフレームワークを提案する。
論文 参考訳(メタデータ) (2023-11-03T12:35:29Z) - Using Large Language Models for Qualitative Analysis can Introduce
Serious Bias [0.09208007322096534]
大規模言語モデル(LLM)は急速に普及しつつあるが、社会科学研究の意義はまだよく分かっていない。
本稿では, バングラデシュのコックス・バザールにおけるロヒンギャ難民へのインタビューの書き起こしを応用して, オープンエンドインタビューから大規模Nの質的データを分析する上で, LLMが有効かどうかを問う。
LLMを使ってテキストに注釈を付けるには、誤解を招く可能性のあるバイアスを導入するリスクがあるため、非常に注意が必要であることが分かりました。
論文 参考訳(メタデータ) (2023-09-29T11:19:15Z) - Encouraging Divergent Thinking in Large Language Models through
Multi-Agent Debate [56.23037393834715]
複数のエージェントが"tit for tat"の状態で議論を表現するマルチエージェント議論(MAD)フレームワークを提案し、審査員が議論プロセスを管理して最終解を得る。
我々のフレームワークは、深い熟考を必要とするタスクに役立ちそうなLSMにおける散発的思考を奨励する。
論文 参考訳(メタデータ) (2023-05-30T15:25:45Z) - In-Context Impersonation Reveals Large Language Models' Strengths and
Biases [56.61129643802483]
我々は、視覚と言語タスクを解く前に、LLMに異なるペルソナを仮定するよう依頼する。
異なる年齢の子どものふりをしたLSMが、ヒトのような発達段階を回復することがわかった。
言語に基づく推論タスクでは、ドメインエキスパートを装うLLMが、ドメイン専門家を装うLLMよりも優れた性能を発揮する。
論文 参考訳(メタデータ) (2023-05-24T09:13:15Z) - Can ChatGPT Defend its Belief in Truth? Evaluating LLM Reasoning via
Debate [19.887103433032774]
大規模言語モデル(LLM)は複雑な推論タスクにおいて顕著なパフォーマンスを示している。
この研究は、LLMの推論を議論のような会話で議論することで検証する。
優れたパフォーマンスにもかかわらず、ChatGPTのようなLLMは、かなりの例において、真実に対する信念を維持できないことに気付きました。
論文 参考訳(メタデータ) (2023-05-22T15:47:31Z) - Can Large Language Models Transform Computational Social Science? [79.62471267510963]
大規模言語モデル(LLM)は、(トレーニングデータなしで)ゼロショットで多くの言語処理タスクを実行することができる
この研究は、計算社会科学ツールとしてLLMを使用するためのロードマップを提供する。
論文 参考訳(メタデータ) (2023-04-12T17:33:28Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。