論文の概要: Says Who? Effective Zero-Shot Annotation of Focalization

• arxiv url: http://arxiv.org/abs/2409.11390v2
• Date: Fri, 28 Mar 2025 21:00:38 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-04-01 14:31:20.190882
• Title: Says Who? Effective Zero-Shot Annotation of Focalization
• Title（参考訳）: ファカライゼーションの効果的なゼロショットアノテーションは誰か?
• Authors: Rebecca M. M. Hicke, Yuri Bizzoni, Pascale Feldkamp, Ross Deans Kristensen-McLachlan,
• Abstract要約: 物語が提示される視点であるフォカライゼーションは、幅広い語彙文法的特徴を通じて符号化される。 訓練されたアノテータでさえしばしば正しいラベルについて意見が一致せず、このタスクは質的にも計算的にも難しいことを示唆している。 課題の難しさにもかかわらず、LPMは訓練された人間のアノテーションと同等の性能を示し、GPT-4oは平均84.79%のF1を達成する。
• 参考スコア（独自算出の注目度）: 0.0
• License:
• Abstract: Focalization, the perspective through which narrative is presented, is encoded via a wide range of lexico-grammatical features and is subject to reader interpretation. Even trained annotators frequently disagree on correct labels, suggesting this task is both qualitatively and computationally challenging. In this work, we test how well five contemporary large language model (LLM) families and two baselines perform when annotating short literary excerpts for focalization. Despite the challenging nature of the task, we find that LLMs show comparable performance to trained human annotators, with GPT-4o achieving an average F1 of 84.79%. Further, we demonstrate that the log probabilities output by GPT-family models frequently reflect the difficulty of annotating particular excerpts. Finally, we provide a case study analyzing sixteen Stephen King novels, demonstrating the usefulness of this approach for computational literary studies and the insights gleaned from examining focalization at scale.
• Abstract（参考訳）: 物語が提示される視点であるフォカライゼーションは、幅広い語彙文法的特徴を通じて符号化され、読み手解釈の対象となる。 訓練されたアノテータでさえしばしば正しいラベルについて意見が一致せず、このタスクは質的にも計算的にも難しいことを示唆している。 本研究では,5つの現代大言語モデル(LLM)ファミリーと2つのベースラインが,焦点付けのための短い文学的抜粋を注釈付けする場合に,いかにうまく機能するかを検証する。 課題の難しさにもかかわらず、LPMは訓練された人間のアノテーションと同等の性能を示し、GPT-4oは平均84.79%のF1を達成する。 さらに, GPT モデルにより出力されるログ確率は, 注釈付けの難しさをよく反映することを示した。 最後に, スティーブン・キングの16冊の小説を分析し, 計算文学研究におけるこのアプローチの有用性と, 大規模に焦点をあてることから得られた知見を実証する。

関連論文リスト

• Visual In-Context Learning for Large Vision-Language Models [62.5507897575317]
  大規模視覚言語モデル(LVLM)では、言語間相互作用や表現格差の課題により、ICL(In-Context Learning)の有効性が制限されている。 本稿では,視覚的記述型検索,意図的画像要約,意図的記述型合成を含む新しい視覚的記述型学習(VICL)手法を提案する。 提案手法は'Retrieval & Rerank'パラダイムを用いて画像を検索し,タスク意図とタスク固有の視覚的パーシングで画像を要約し,言語による実演を構成する。
  論文  参考訳（メタデータ） (2024-02-18T12:43:38Z)
• Pixel Sentence Representation Learning [67.4775296225521]
  本研究では,視覚表現学習プロセスとして,文レベルのテキスト意味論の学習を概念化する。 タイポスや単語順シャッフルのような視覚的に接地されたテキスト摂動法を採用し、人間の認知パターンに共鳴し、摂動を連続的に認識できるようにする。 我々のアプローチは、大規模に教師なしのトピックアライメントトレーニングと自然言語推論監督によってさらに強化されている。
  論文  参考訳（メタデータ） (2024-02-13T02:46:45Z)
• Evaluating Large Language Model Creativity from a Literary Perspective [13.672268920902187]
  本稿では,大規模言語モデルが創造的記述プロセスにおいて補助ツールとして機能する可能性を評価する。 我々は,背景記述をインターリーブする対話的かつ多声的なプロンプト戦略,構成を案内する指示,対象スタイルのテキストのサンプル,与えられたサンプルの批判的議論を開発する。
  論文  参考訳（メタデータ） (2023-11-30T16:46:25Z)
• MAGNIFICo: Evaluating the In-Context Learning Ability of Large Language Models to Generalize to Novel Interpretations [37.13707912132472]
  人間は言語表現に新しい解釈を割り当てる素晴らしい能力を持っている。 大きな言語モデル(LLM)は知識の切り離しを持ち、何度も微調整を繰り返すのに費用がかかる。 我々は,LLMが文脈内学習を用いて新しい解釈を習得する能力を体系的に分析する。
  論文  参考訳（メタデータ） (2023-10-18T00:02:38Z)
• Revisiting the Roles of "Text" in Text Games [102.22750109468652]
  本稿では,強化学習におけるテキストの役割について検討する。 本稿では,関連するコンテキスト情報を近似状態ハッシュに抽出する簡単な手法を提案する。 このような軽量なプラグインは最先端のテキストエージェントとの競合性能を実現する。
  論文  参考訳（メタデータ） (2022-10-15T21:52:39Z)
• Conditional Supervised Contrastive Learning for Fair Text Classification [59.813422435604025]
  対照的な学習を通してテキスト分類のための等化オッズとして知られる公平性の概念を満たす学習公正表現について研究する。 具体的には、まず、公正性制約のある学習表現と条件付き教師付きコントラスト目的との間の関係を理論的に分析する。
  論文  参考訳（メタデータ） (2022-05-23T17:38:30Z)
• Testing the Ability of Language Models to Interpret Figurative Language [69.59943454934799]
  比喩的・比喩的な言語は言論において一般的である。 現代の言語モデルが非リテラルなフレーズをどの程度解釈できるかについては、未解決の疑問が残る。 ウィノグラードスタイルの非文字言語理解タスクであるFig-QAを紹介する。
  論文  参考訳（メタデータ） (2022-04-26T23:42:22Z)
• RELIC: Retrieving Evidence for Literary Claims [29.762552250403544]
  文献証拠検索の新たな課題を定式化するために,78Kの文献引用の大規模データセットを用いた。 本稿では,既存の事前学習情報検索基準よりも優れたRoBERTaを用いた高密度経路検索手法を提案する。
  論文  参考訳（メタデータ） (2022-03-18T16:56:08Z)
• Interpretable contrastive word mover's embedding [8.637680131017985]
  文書の分類のための教師あり埋め込み,すなわちWord Moverの埋め込みに対する一般的なアプローチは,解釈可能性を追加することで大幅に向上できることを示す。 この解釈性は、クラスタリング促進機構をコントラスト損失に組み込むことによって達成される。
  論文  参考訳（メタデータ） (2021-11-01T15:27:27Z)
• Probing as Quantifying the Inductive Bias of Pre-trained Representations [99.93552997506438]
  本稿では,特定のタスクに対する表現の帰納的バイアスを評価することを目的とした,探索のための新しいフレームワークを提案する。 トークン、アーク、文レベルの一連のタスクに我々のフレームワークを適用します。
  論文  参考訳（メタデータ） (2021-10-15T22:01:16Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。