論文の概要: Large Language Models Fall Short: Understanding Complex Relationships in
Detective Narratives
- arxiv url: http://arxiv.org/abs/2402.11051v1
- Date: Fri, 16 Feb 2024 19:59:45 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-20 23:51:18.830908
- Title: Large Language Models Fall Short: Understanding Complex Relationships in
Detective Narratives
- Title(参考訳): 大規模言語モデルが不足 - 探偵物語における複雑な関係の理解
- Authors: Runcong Zhao, Qinglin Zhu, Hainiu Xu, Jiazheng Li, Yuxiang Zhou, Yulan
He, Lin Gui
- Abstract要約: 我々は,刑事談話から複雑な文字関係グラフを抽出し,解析するための新しいベンチマークであるConanを導入する。
具体的には、階層的な関係カテゴリを設計し、様々なキャラクターの視点から手動で役割指向関係を抽出し、注釈付けした。
GPT-3.5やGPT-4、Llama2といった先進言語モデル(LLM)を用いた実験は、複雑な関係を推論し、より長い物語を扱う際の限界を明らかにします。
- 参考スコア(独自算出の注目度): 21.297972871264744
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Existing datasets for narrative understanding often fail to represent the
complexity and uncertainty of relationships in real-life social scenarios. To
address this gap, we introduce a new benchmark, Conan, designed for extracting
and analysing intricate character relation graphs from detective narratives.
Specifically, we designed hierarchical relationship categories and manually
extracted and annotated role-oriented relationships from the perspectives of
various characters, incorporating both public relationships known to most
characters and secret ones known to only a few. Our experiments with advanced
Large Language Models (LLMs) like GPT-3.5, GPT-4, and Llama2 reveal their
limitations in inferencing complex relationships and handling longer
narratives. The combination of the Conan dataset and our pipeline strategy is
geared towards understanding the ability of LLMs to comprehend nuanced
relational dynamics in narrative contexts.
- Abstract(参考訳): ナラティブ理解のための既存のデータセットは、現実の社会シナリオにおける関係の複雑さと不確実性を表現することができないことが多い。
このギャップに対処するために,探偵物語から複雑な文字関係グラフを抽出・解析する新しいベンチマークであるConanを導入する。
具体的には, 階層的関係カテゴリーをデザインし, 様々なキャラクタの観点から, 人手による役割指向関係の抽出と注釈付けを行い, 大部分のキャラクタに知られている公的な関係と, ごく少数に知られている秘密の関係の両方を取り入れた。
GPT-3.5やGPT-4、Llama2といった先進言語モデル(LLM)を用いた実験は、複雑な関係を推論し、より長い物語を扱う際の限界を明らかにする。
コナンデータセットとパイプライン戦略の組み合わせは、物語の文脈におけるニュアンス付きリレーショナルダイナミクスを理解するLLMの能力を理解することを目的としている。
関連論文リスト
- Graph Representation of Narrative Context: Coherence Dependency via
Retrospective Questions [52.639576570257404]
NARCOと呼ばれる物語にグラフを定式化し、コンテキスト全体のタスク非依存のコヒーレンス依存性を記述する。
本稿では,その実用性について3つの研究を行い,リキャップ識別によるエッジの有効性,プロット検索によるローカルコンテキスト拡張,長期文書QAで実証された広範囲なアプリケーションについて検討する。
論文 参考訳(メタデータ) (2024-02-21T06:14:04Z) - Identifying Semantic Induction Heads to Understand In-Context Learning [98.43943823238907]
自然言語に存在するトークン間の2種類の関係を,注目ヘッドが符号化するかどうかを検討する。
特定の注意ヘッドは、ヘッドトークンに出席する際、テールトークンをリコールし、テールトークンの出力ロジットを増加させるパターンを示す。
論文 参考訳(メタデータ) (2024-02-20T14:43:39Z) - ChatGPT Evaluation on Sentence Level Relations: A Focus on Temporal,
Causal, and Discourse Relations [52.26802326949116]
対話型大規模言語モデルChatGPTの性能を,文間関係に基づいて定量的に評価する。
ChatGPTは因果関係の検出と推論において極めて優れた能力を示す。
既存の明示的な談話接続物との談話関係の大多数を特定できるが、暗黙的な談話関係は依然として恐ろしい課題である。
論文 参考訳(メタデータ) (2023-04-28T13:14:36Z) - M-SENSE: Modeling Narrative Structure in Short Personal Narratives Using
Protagonist's Mental Representations [14.64546899992196]
本研究では,登場人物の心的状態の推測を解析し,物語構造の顕著な要素を自動的に検出するタスクを提案する。
本稿では,物語構造の主要な要素,特にクライマックスと解像度のマニュアルアノテーションを含む,短い個人物語のSTORIESデータセットを紹介する。
我々のモデルは、クライマックスと解像度を識別するタスクにおいて、大幅な改善を達成できる。
論文 参考訳(メタデータ) (2023-02-18T20:48:02Z) - Towards Inter-character Relationship-driven Story Generation [13.787149363375137]
ストーリー生成のための潜在変数としての関係性(ReLiSt)を提案する。
ReLiStは文単位でストーリー文を生成し、関係セレクタとストーリーストレッチャーという2つの主要なコンポーネントを持つ。
我々の自動的および人的評価は、ReLiStが望ましい関係に忠実な関係を持つストーリーを生成できることを示しています。
論文 参考訳(メタデータ) (2022-11-01T18:04:29Z) - RelationPrompt: Leveraging Prompts to Generate Synthetic Data for
Zero-Shot Relation Triplet Extraction [65.4337085607711]
ゼロショット関係トリプルト抽出(ZeroRTE)のタスク設定について紹介する。
入力文が与えられた後、抽出された各三重項は、トレーニング段階で関係ラベルが見えないヘッドエンティティ、リレーションラベル、テールエンティティから構成される。
本稿では、言語モデルに構造化テキストを生成するよう促すことで、関係例を合成する。
論文 参考訳(メタデータ) (2022-03-17T05:55:14Z) - Structure-Aware Abstractive Conversation Summarization via Discourse and
Action Graphs [22.58861442978803]
より正確で正確な会話要約のために、会話の豊富な構造を明示的にモデル化することを提案する。
発話とアクショントリプル間の会話関係を構造化されたグラフを通して表現し、会話をよりよくエンコードする。
実験により,提案したモデルは最先端の手法より優れ,他の領域でよく一般化されていることが示された。
論文 参考訳(メタデータ) (2021-04-16T23:04:52Z) - ZS-BERT: Towards Zero-Shot Relation Extraction with Attribute
Representation Learning [10.609715843964263]
目に見える関係と見えない関係のテキスト記述を組み込んでゼロショット関係抽出問題を定式化する。
本稿では,手作りラベリングや複数対属性分類を使わずに,目に見えない関係を直接予測する,新しいマルチタスク学習モデルであるゼロショットBERTを提案する。
2つのよく知られたデータセットで行われた実験では、ZS-BERTが少なくとも13.54%のF1スコアの改善によって既存の方法より優れていることが示されています。
論文 参考訳(メタデータ) (2021-04-10T06:53:41Z) - Learning Relation Prototype from Unlabeled Texts for Long-tail Relation
Extraction [84.64435075778988]
本稿では,ラベルのないテキストから関係プロトタイプを学習するための一般的なアプローチを提案する。
我々は、エンティティ間の暗黙的な要因として関係プロトタイプを学習する。
私たちは、New York TimesとGoogle Distant Supervisionの2つの公開データセットで実験を行います。
論文 参考訳(メタデータ) (2020-11-27T06:21:12Z) - Temporal Embeddings and Transformer Models for Narrative Text
Understanding [72.88083067388155]
キャラクタ関係モデリングのための物語テキスト理解のための2つのアプローチを提案する。
これらの関係の時間的進化は動的単語埋め込みによって説明され、時間とともに意味的変化を学ぶように設計されている。
最新の変換器モデルBERTに基づく教師付き学習手法を用いて文字間の静的な関係を検出する。
論文 参考訳(メタデータ) (2020-03-19T14:23:12Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。