論文の概要: Large Language Models Fall Short: Understanding Complex Relationships in Detective Narratives

• arxiv url: http://arxiv.org/abs/2402.11051v1
• Date: Fri, 16 Feb 2024 19:59:45 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-20 23:51:18.830908
• Title: Large Language Models Fall Short: Understanding Complex Relationships in Detective Narratives
• Title（参考訳）: 大規模言語モデルが不足 - 探偵物語における複雑な関係の理解
• Authors: Runcong Zhao, Qinglin Zhu, Hainiu Xu, Jiazheng Li, Yuxiang Zhou, Yulan He, Lin Gui
• Abstract要約: 我々は,刑事談話から複雑な文字関係グラフを抽出し,解析するための新しいベンチマークであるConanを導入する。 具体的には、階層的な関係カテゴリを設計し、様々なキャラクターの視点から手動で役割指向関係を抽出し、注釈付けした。 GPT-3.5やGPT-4、Llama2といった先進言語モデル(LLM)を用いた実験は、複雑な関係を推論し、より長い物語を扱う際の限界を明らかにします。
• 参考スコア（独自算出の注目度）: 21.297972871264744
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Existing datasets for narrative understanding often fail to represent the complexity and uncertainty of relationships in real-life social scenarios. To address this gap, we introduce a new benchmark, Conan, designed for extracting and analysing intricate character relation graphs from detective narratives. Specifically, we designed hierarchical relationship categories and manually extracted and annotated role-oriented relationships from the perspectives of various characters, incorporating both public relationships known to most characters and secret ones known to only a few. Our experiments with advanced Large Language Models (LLMs) like GPT-3.5, GPT-4, and Llama2 reveal their limitations in inferencing complex relationships and handling longer narratives. The combination of the Conan dataset and our pipeline strategy is geared towards understanding the ability of LLMs to comprehend nuanced relational dynamics in narrative contexts.
• Abstract（参考訳）: ナラティブ理解のための既存のデータセットは、現実の社会シナリオにおける関係の複雑さと不確実性を表現することができないことが多い。 このギャップに対処するために,探偵物語から複雑な文字関係グラフを抽出・解析する新しいベンチマークであるConanを導入する。 具体的には, 階層的関係カテゴリーをデザインし, 様々なキャラクタの観点から, 人手による役割指向関係の抽出と注釈付けを行い, 大部分のキャラクタに知られている公的な関係と, ごく少数に知られている秘密の関係の両方を取り入れた。 GPT-3.5やGPT-4、Llama2といった先進言語モデル(LLM)を用いた実験は、複雑な関係を推論し、より長い物語を扱う際の限界を明らかにする。 コナンデータセットとパイプライン戦略の組み合わせは、物語の文脈におけるニュアンス付きリレーショナルダイナミクスを理解するLLMの能力を理解することを目的としている。

関連論文リスト

• Navigating Semantic Relations: Challenges for Language Models in Abstract Common-Sense Reasoning [5.4141465747474475]
  大規模言語モデル(LLM)は、人間のようなテキストを生成し、適度な複雑さの問題を解くことで、顕著な性能を達成した。 概念ネット知識グラフを用いて,LLMにおける抽象的常識推論を体系的に評価する。
  論文  参考訳（メタデータ） (2025-02-19T20:20:24Z)
• BookWorm: A Dataset for Character Description and Analysis [59.186325346763184]
  本稿では,短い事実プロファイルを生成する文字記述と,詳細な解釈を提供する文字解析という2つのタスクを定義する。 本稿では,Gutenbergプロジェクトからの書籍と,人間による記述と分析のペアリングを行うBookWormデータセットを紹介する。 その結果,検索に基づくアプローチは両タスクにおいて階層的アプローチよりも優れていた。
  論文  参考訳（メタデータ） (2024-10-14T10:55:58Z)
• Are Large Language Models Capable of Generating Human-Level Narratives? [114.34140090869175]
  本稿ではストーリーテリングにおけるLLMの能力について考察し,物語の展開とプロットの進行に着目した。 本稿では,3つの談話レベルの側面から物語を分析するための新しい計算フレームワークを提案する。 談話機能の明示的な統合は、ニューラルストーリーテリングの40%以上の改善によって示されるように、ストーリーテリングを促進することができることを示す。
  論文  参考訳（メタデータ） (2024-07-18T08:02:49Z)
• Evaluating and Analyzing Relationship Hallucinations in Large Vision-Language Models [69.79709804046325]
  視覚関係の幻覚を評価するための新しいベンチマークであるR-Benchを紹介する。 R-Benchは、関係の存在に焦点を当てたイメージレベルの質問と、局所的な視覚的理解を評価するインスタンスレベルの質問を特徴としている。 我々は,関係関連性,主観関連性,関係対象性という,幻覚につながる3つの関係共起関係を同定する。
  論文  参考訳（メタデータ） (2024-06-24T08:42:42Z)
• Fine-Grained Modeling of Narrative Context: A Coherence Perspective via Retrospective Questions [48.18584733906447]
  この研究は、物語の中の個々の通路が孤立するよりも密接な関係にある傾向があるという特徴から生まれた、物語理解のためのオリジナルで実践的なパラダイムを取り入れたものである。 本稿では,タスク非依存のコヒーレンス依存を明示的に表現したNarCoというグラフを定式化することにより,物語コンテキストのきめ細かいモデリングを提案する。
  論文  参考訳（メタデータ） (2024-02-21T06:14:04Z)
• Identifying Semantic Induction Heads to Understand In-Context Learning [103.00463655766066]
  自然言語に存在するトークン間の2種類の関係を,注目ヘッドが符号化するかどうかを検討する。 特定の注意ヘッドは、ヘッドトークンに出席する際、テールトークンをリコールし、テールトークンの出力ロジットを増加させるパターンを示す。
  論文  参考訳（メタデータ） (2024-02-20T14:43:39Z)
• M-SENSE: Modeling Narrative Structure in Short Personal Narratives Using Protagonist's Mental Representations [14.64546899992196]
  本研究では,登場人物の心的状態の推測を解析し,物語構造の顕著な要素を自動的に検出するタスクを提案する。 本稿では,物語構造の主要な要素,特にクライマックスと解像度のマニュアルアノテーションを含む,短い個人物語のSTORIESデータセットを紹介する。 我々のモデルは、クライマックスと解像度を識別するタスクにおいて、大幅な改善を達成できる。
  論文  参考訳（メタデータ） (2023-02-18T20:48:02Z)
• ZS-BERT: Towards Zero-Shot Relation Extraction with Attribute Representation Learning [10.609715843964263]
  目に見える関係と見えない関係のテキスト記述を組み込んでゼロショット関係抽出問題を定式化する。 本稿では,手作りラベリングや複数対属性分類を使わずに,目に見えない関係を直接予測する,新しいマルチタスク学習モデルであるゼロショットBERTを提案する。 2つのよく知られたデータセットで行われた実験では、ZS-BERTが少なくとも13.54%のF1スコアの改善によって既存の方法より優れていることが示されています。
  論文  参考訳（メタデータ） (2021-04-10T06:53:41Z)
• Learning Relation Prototype from Unlabeled Texts for Long-tail Relation Extraction [84.64435075778988]
  本稿では,ラベルのないテキストから関係プロトタイプを学習するための一般的なアプローチを提案する。 我々は、エンティティ間の暗黙的な要因として関係プロトタイプを学習する。 私たちは、New York TimesとGoogle Distant Supervisionの2つの公開データセットで実験を行います。
  論文  参考訳（メタデータ） (2020-11-27T06:21:12Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。