論文の概要: StoryAnalogy: Deriving Story-level Analogies from Large Language Models to Unlock Analogical Understanding

• arxiv url: http://arxiv.org/abs/2310.12874v1
• Date: Thu, 19 Oct 2023 16:29:23 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-20 14:14:44.093598
• Title: StoryAnalogy: Deriving Story-level Analogies from Large Language Models to Unlock Analogical Understanding
• Title（参考訳）: storyanalogy: 大規模な言語モデルからストーリーレベルのアナロジーを導出してアナロジー理解を解き放つ
• Authors: Cheng Jiayang, Lin Qiu, Tsz Ho Chan, Tianqing Fang, Weiqi Wang, Chunkit Chan, Dongyu Ru, Qipeng Guo, Hongming Zhang, Yangqiu Song, Yue Zhang, Zheng Zhang
• Abstract要約: 本研究では,ストーリ・アナロジー(Story Analogy)という大規模な物語レベルのアナロジー・コーパスを構築することにより,類推を識別し,生成する能力を評価する。 Story Analogyには、さまざまなドメインから24Kストーリーペアが含まれており、拡張されたStructure-Mapping Theoryの2つの類似点に人間のアノテーションがある。 ストーリーアナロジーにおけるデータは、微調整されたFlanT5-xxlモデルでゼロショットのChatGPTに匹敵する性能を得るLLMのアナログ生成品質を改善することができる。
• 参考スコア（独自算出の注目度）: 72.38872974837462
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Analogy-making between narratives is one of the most critical abilities in natural language understanding. In this paper, we evaluate the ability to identify and generate analogy by building a first-of-its-kind large-scale story-level analogy corpus, StoryAnalogy, which contains 24K story pairs from diverse domains with human annotations on two similarities from the extended Structure-Mapping Theory. We design a set of tests on StoryAnalogy, presenting the first evaluation of story-level analogy identification and generation. Interestingly, we find that the analogy identification tasks are extremely challenging not only for the sentence embedding models but also for the recent large language models (LLMs) such as ChatGPT and LLaMa, where ChatGPT only achieved around 30% accuracy in multiple-choice questions (> 85% accuracy for humans). Finally, we find that data in StoryAnalogy can improve LLMs analogy generation quality, where a fine-tuned FlanT5-xxl model yields comparable performance to zero-shot ChatGPT.
• Abstract（参考訳）: 物語間の類似性は自然言語理解において最も重要な能力の1つである。 本稿では,多種多様なドメインからの24Kストーリーペアと,拡張された構造・マッピング理論の2つの類似性に基づく人間のアノテーションを組み込んだ大規模ストーリレベルのアナロジーコーパスであるStoryAnalogyを構築することにより,類似を識別・生成する能力を評価する。 我々はストーリーアナロジーに関する一連のテストを設計し、ストーリーレベルのアナロジー識別と生成の最初の評価を提示する。 興味深いことに、同義語識別タスクは、文埋め込みモデルだけでなく、ChatGPTやLLaMaのような最近の大規模言語モデル(LLM)においても極めて困難である。 最後に、ストーリーアナロジーのデータはllmsのアナロジー生成の品質を向上し、flant5-xxlモデルはゼロショットチャットgptに匹敵するパフォーマンスをもたらす。

関連論文リスト

• Explaining Datasets in Words: Statistical Models with Natural Language Parameters [66.69456696878842]
  本稿では, クラスタリング, 時系列, 分類モデルなど, 自然言語の述語によってパラメータ化される統計モデル群を紹介する。 当社のフレームワークは、ユーザチャット対話の分類、時間の経過とともにどのように進化するかの特徴付け、一方の言語モデルが他方よりも優れているカテゴリを見つけることなど、幅広い問題に適用しています。
  論文  参考訳（メタデータ） (2024-09-13T01:40:20Z)
• ARN: Analogical Reasoning on Narratives [13.707344123755126]
  我々は、物語要素を用いて表面マッピングとシステムマッピングを作成する、アナロジーの支配的理論を運用するフレームワークを開発する。 すべてのLLMがほぼ類似点を認識できるが、最大でもゼロショット環境では極端に類似点に苦戦している。
  論文  参考訳（メタデータ） (2023-10-02T08:58:29Z)
• Description-Based Text Similarity [59.552704474862004]
  我々は、その内容の抽象的な記述に基づいて、テキストを検索する必要性を特定する。 そこで本研究では,近隣の標準探索で使用する場合の精度を大幅に向上する代替モデルを提案する。
  論文  参考訳（メタデータ） (2023-05-21T17:14:31Z)
• ANALOGYKB: Unlocking Analogical Reasoning of Language Models with A Million-scale Knowledge Base [51.777618249271725]
  ANALOGYKBは、既存の知識グラフ(KGs)から派生した100万スケールのアナロジー知識ベースである 1)KGから直接抽出できる同一関係のアナロジー、2)大きな言語モデル(LLM)によって実現される選択とフィルタリングパイプラインと識別される類似関係のアナロジーである。
  論文  参考訳（メタデータ） (2023-05-10T09:03:01Z)
• Scientific and Creative Analogies in Pretrained Language Models [24.86477727507679]
  本稿では,BERT や GPT-2 などの大規模事前学習言語モデルにおけるアナログの符号化について検討する。 我々は,複数の属性の体系的マッピングと異種ドメイン間の関係構造を含む新しいアナロジーデータセットであるScientific and Creative Analogy dataset(SCAN)を紹介する。 現状のLMはこれらの複雑なアナロジータスクにおいて低性能を実現し、アナロジー理解によってもたらされる課題を浮き彫りにしている。
  論文  参考訳（メタデータ） (2022-11-28T12:49:44Z)
• Life is a Circus and We are the Clowns: Automatically Finding Analogies between Situations and Processes [12.8252101640812]
  多くの研究が、新しいドメインに適応できる非脆性システムにとって、アナログが鍵であることを示唆している。 アナロジーの重要性にもかかわらず、NLPコミュニティではほとんど注目されなかった。
  論文  参考訳（メタデータ） (2022-10-21T18:54:17Z)
• Robust Preference Learning for Storytelling via Contrastive Reinforcement Learning [53.92465205531759]
  制御された自動ストーリ生成は、自然言語批判や嗜好から制約を満たす自然言語ストーリを生成することを目指している。 対照的なバイエンコーダモデルをトレーニングし、ストーリーを人間の批評と整合させ、汎用的な嗜好モデルを構築する。 我々はさらに、ストーリー生成の堅牢性を高めるために、プロンプトラーニング技術を用いて、対照的な報酬モデルを微調整する。
  論文  参考訳（メタデータ） (2022-10-14T13:21:33Z)
• BERT is to NLP what AlexNet is to CV: Can Pre-Trained Language Models Identify Analogies? [35.381345454627]
  アナログを識別する教師なしタスクにおいて,トランスフォーマーに基づく言語モデルの性能を解析する。 オフザシェルフ言語モデルは、ある程度の類似を識別できるが、抽象的かつ複雑な関係に苦しむ。 本研究は,学習済み言語モデルがどのように抽象意味関係に関する知識を捉えているか,その程度について,今後の研究に向けて重要な疑問を提起するものである。
  論文  参考訳（メタデータ） (2021-05-11T11:38:49Z)
• STORIUM: A Dataset and Evaluation Platform for Machine-in-the-Loop Story Generation [48.56586847883825]
  我々は、オンラインのコラボレーティブなストーリーテリングコミュニティであるSTORiumから構築されたデータセットと評価プラットフォームを紹介した。 データセットには6Kの長編記事と、各物語に散在する詳細な自然言語アノテーションが含まれています。 我々は、STORiumにそれらを統合することで、データセット上で微調整された言語モデルを評価し、実際の著者は提案されたストーリーの継続をモデルに問い合わせ、編集することができる。
  論文  参考訳（メタデータ） (2020-10-04T23:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。