論文の概要: Evaluating LLMs for Quotation Attribution in Literary Texts: A Case Study of LLaMa3

• arxiv url: http://arxiv.org/abs/2406.11380v2
• Date: Thu, 23 Jan 2025 15:44:07 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-01-24 15:56:23.506145
• Title: Evaluating LLMs for Quotation Attribution in Literary Texts: A Case Study of LLaMa3
• Title（参考訳）: リテラリーテキストにおける引用属性のLLM評価:LLaMa3を例として
• Authors: Gaspard Michel, Elena V. Epure, Romain Hennequin, Christophe Cerisara,
• Abstract要約: 小説における直接音声の発声におけるLlama-3の有効性について検討した。 LLMは28の小説のコーパスで印象的な結果を示し、ChatGPTとエンコーダベースのベースラインを大きなマージンで上回った。
• 参考スコア（独自算出の注目度）: 11.259583037191772
• License:
• Abstract: Large Language Models (LLMs) have shown promising results in a variety of literary tasks, often using complex memorized details of narration and fictional characters. In this work, we evaluate the ability of Llama-3 at attributing utterances of direct-speech to their speaker in novels. The LLM shows impressive results on a corpus of 28 novels, surpassing published results with ChatGPT and encoder-based baselines by a large margin. We then validate these results by assessing the impact of book memorization and annotation contamination. We found that these types of memorization do not explain the large performance gain, making Llama-3 the new state-of-the-art for quotation attribution in English literature. We release publicly our code and data.
• Abstract（参考訳）: 大規模言語モデル(LLM)は様々な文学的タスクにおいて有望な結果を示しており、しばしばナレーションと架空のキャラクターの複雑な記憶された詳細を用いている。 本研究は,Llama-3が小説における話者への直接音声の発声に寄与する能力を評価するものである。 LLMは28の小説のコーパスで印象的な結果を示し、ChatGPTとエンコーダベースのベースラインを大きなマージンで上回った。 次に,本書の暗記とアノテーションの汚染の影響を評価することによって,これらの結果を検証した。 これらの記憶化は大きなパフォーマンス向上を説明できないことが分かり、Llama-3は英語文学における引用帰属の新たな最先端技術となった。 コードとデータを公開しています。

関連論文リスト

• CUTE: Measuring LLMs' Understanding of Their Tokens [54.70665106141121]
  大きな言語モデル(LLM)は、様々なタスクにおいて顕著なパフォーマンスを示す。 LLMはどの程度の間、正書法情報を学ぶことができるのか? LLMの正書法知識をテストするために設計されたタスクの集合を特徴とする新しいベンチマークを提案する。
  論文  参考訳（メタデータ） (2024-09-23T18:27:03Z)
• Scaling Laws for Fact Memorization of Large Language Models [67.94080978627363]
  我々は,大規模言語モデルにおける事実知識のスケーリング法則と,異なる種類の事実を記憶する行動について分析する。 LLMの事実知識能力は,モデルサイズや訓練のエポックと線形かつ負の指数法則関係を持つことがわかった。 本研究は,LLMのファクト・ナレッジ・ナレッジ・ラーニングの能力と特徴を明らかにし,LLMのファクト・ナレッジ・アジュメンテーションの方向性を示した。
  論文  参考訳（メタデータ） (2024-06-22T03:32:09Z)
• "Sorry, Come Again?" Prompting -- Enhancing Comprehension and Diminishing Hallucination with [PAUSE]-injected Optimal Paraphrasing [10.20632187568563]
  幻覚は現代大言語モデル(LLM)の最も脆弱な側面として現れてきた。 本稿では,LCMの幻覚を避けることを目的としたSCAプロンプトについて紹介する。 本稿では,21のLLMに対するプロンプトの形式性,可読性,具体性について,言語的ニュアンスを詳細に分析する。 与えられたプロンプトの最も理解しやすいパラフレーズを識別する最適なパラフレーズ化手法を提案する。
  論文  参考訳（メタデータ） (2024-03-27T19:45:09Z)
• Do LLMs Dream of Ontologies? [15.049502693786698]
  大規模言語モデル(LLM)は、最近、自動テキスト理解と生成に革命をもたらした。 本稿では,汎用的な事前学習 LLM が,どの程度の知識を持つかを検討する。
  論文  参考訳（メタデータ） (2024-01-26T15:10:23Z)
• AlignedCoT: Prompting Large Language Models via Native-Speaking Demonstrations [52.43593893122206]
  Alignedcotは、大規模言語モデルを呼び出すためのコンテキスト内学習技術である。 ゼロショットシナリオでは、一貫した正しいステップワイズプロンプトを達成する。 数学的推論とコモンセンス推論の実験を行う。
  論文  参考訳（メタデータ） (2023-11-22T17:24:21Z)
• SoK: Memorization in General-Purpose Large Language Models [25.448127387943053]
  大規模言語モデル(LLM)は、無数のアプリケーションが開発中で、目覚ましいペースで進んでいる。 LLMはトレーニングデータの短い秘密を記憶できるだけでなく、さまざまな方法でテキストで表現できる事実や書体スタイルといった概念を記憶することもできる。 本稿では,文章,事実,アイデア,アルゴリズム,書式,分布特性,アライメント目標を網羅したLLMにおける記憶のための分類法を提案する。
  論文  参考訳（メタデータ） (2023-10-24T14:25:53Z)
• Large Language Model-Aware In-Context Learning for Code Generation [75.68709482932903]
  大規模言語モデル(LLM)は、コード生成において印象的なコンテキスト内学習(ICL)能力を示している。 コード生成のためのLAIL (LLM-Aware In-context Learning) という新しい学習ベース選択手法を提案する。
  論文  参考訳（メタデータ） (2023-10-15T06:12:58Z)
• TRACE: A Comprehensive Benchmark for Continual Learning in Large Language Models [52.734140807634624]
  調整された大規模言語モデル(LLM)は、タスク解決、指示に従うこと、安全性を確保することにおいて、例外的な能力を示す。 既存の連続学習ベンチマークでは、LLMをリードする上で十分な課題が欠如している。 LLMにおける継続学習を評価するための新しいベンチマークであるTRACEを紹介する。
  論文  参考訳（メタデータ） (2023-10-10T16:38:49Z)
• Eva-KELLM: A New Benchmark for Evaluating Knowledge Editing of LLMs [54.22416829200613]
  Eva-KELLMは、大規模言語モデルの知識編集を評価するための新しいベンチマークである。 実験結果から, 生文書を用いた知識編集手法は, 良好な結果を得るには有効ではないことが示唆された。
  論文  参考訳（メタデータ） (2023-08-19T09:17:19Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。