論文の概要: Structured Event Reasoning with Large Language Models

• arxiv url: http://arxiv.org/abs/2408.16098v1
• Date: Wed, 28 Aug 2024 19:03:41 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-30 17:43:40.843715
• Title: Structured Event Reasoning with Large Language Models
• Title（参考訳）: 大規模言語モデルを用いた構造化イベント推論
• Authors: Li Zhang,
• Abstract要約: 現実の出来事に対する推論は、AIとNLPの統一的な課題である。 私は、エンド・ツー・エンドのLLMが複雑なイベントを体系的に推論できないことを示しています。 イベントの構造化表現と合わせてLLMを使用するための3つの一般的なアプローチを提案する。
• 参考スコア（独自算出の注目度）: 4.897267974042842
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Reasoning about real-life events is a unifying challenge in AI and NLP that has profound utility in a variety of domains, while fallacy in high-stake applications could be catastrophic. Able to work with diverse text in these domains, large language models (LLMs) have proven capable of answering questions and solving problems. However, I show that end-to-end LLMs still systematically fail to reason about complex events, and they lack interpretability due to their black-box nature. To address these issues, I propose three general approaches to use LLMs in conjunction with a structured representation of events. The first is a language-based representation involving relations of sub-events that can be learned by LLMs via fine-tuning. The second is a semi-symbolic representation involving states of entities that can be predicted and leveraged by LLMs via few-shot prompting. The third is a fully symbolic representation that can be predicted by LLMs trained with structured data and be executed by symbolic solvers. On a suite of event reasoning tasks spanning common-sense inference and planning, I show that each approach greatly outperforms end-to-end LLMs with more interpretability. These results suggest manners of synergy between LLMs and structured representations for event reasoning and beyond.
• Abstract（参考訳）: 現実の出来事に対する推論は、AIとNLPにおける統一的な課題であり、さまざまな領域で大きな有用性を持つ一方で、ハイリスクなアプリケーションの誤用は破滅的なものになる可能性がある。 これらの領域で多種多様なテキストを扱うには、大きな言語モデル(LLM)は疑問に答えることができ、問題を解決することができることが証明されている。 しかし、エンド・ツー・エンドのLSMは複雑な事象を体系的に推論することができず、ブラックボックスの性質のため解釈性が欠如していることを示します。 これらの問題に対処するために、イベントの構造化表現と合わせてLLMを使用するための3つの一般的なアプローチを提案する。 1つ目は、LLMが微調整で学習できるサブイベントの関係を含む言語ベースの表現である。 2つ目は、数発のプロンプトを通じてLSMによって予測および活用できる実体の状態を含む半記号表現である。 3つ目は、構造化されたデータで訓練されたLLMによって予測され、シンボリック・ソルバによって実行される完全に象徴的な表現である。 共通センスの推論と計画にまたがる一連のイベント推論タスクにおいて、各アプローチがより解釈可能なエンドツーエンドのLCMを大幅に上回っていることを示します。 これらの結果から,LLMとイベント推論等の構造化表現との相乗効果が示唆された。

関連論文リスト

• Language Agents Meet Causality -- Bridging LLMs and Causal World Models [50.79984529172807]
  因果表現学習を大規模言語モデルと統合する枠組みを提案する。 このフレームワークは、自然言語表現に関連付けられた因果変数を持つ因果世界モデルを学ぶ。 本研究では,時間的スケールと環境の複雑さを考慮した因果推論と計画課題の枠組みを評価する。
  論文  参考訳（メタデータ） (2024-10-25T18:36:37Z)
• What Do Language Models Learn in Context? The Structured Task Hypothesis [89.65045443150889]
  大規模言語モデル(LLM)は、インコンテキスト学習(ICL)と呼ばれるデモで提示されたインコンテキストの例から新しいタスクを学習する 一般的な仮説の一つは、タスク選択によるICLの説明である。 もう一つの一般的な仮説は、ICLはメタ学習の一形態である、すなわち、モデルが事前学習時に学習アルゴリズムを学習し、それを実演に適用する、というものである。
  論文  参考訳（メタデータ） (2024-06-06T16:15:34Z)
• Implicit Multimodal Alignment: On the Generalization of Frozen LLMs to Multimodal Inputs [63.29737699997859]
  大規模言語モデル(LLM)は、マルチモーダルな微調整をせずに、マルチモーダルなタスクにおいて印象的なパフォーマンスを示した。 本研究では,画像,ビデオ,音声,テキストの入力に凍結LDMを公開し,内部表現を解析する。
  論文  参考訳（メタデータ） (2024-05-26T21:31:59Z)
• Analyzing the Role of Semantic Representations in the Era of Large Language Models [104.18157036880287]
  大規模言語モデル(LLM)の時代における意味表現の役割について検討する。 本稿では, AMRCoT と呼ばれる AMR-driven chain-of- Thought prompting 法を提案する。 AMRのどの入力例が役に立つかは予測できないが,複数単語の表現でエラーが発生する傾向にある。
  論文  参考訳（メタデータ） (2024-05-02T17:32:59Z)
• Can LLMs Compute with Reasons? [4.995189458714599]
  大規模言語モデル(LLM)は複雑な数学的タスクに苦しむことが多く、誤った答えを「幻覚させる」傾向がある。 本研究では,Small LangSLMの分散ネットワークを利用した「帰納学習」手法を提案する。
  論文  参考訳（メタデータ） (2024-02-19T12:04:25Z)
• LLMs Can't Plan, But Can Help Planning in LLM-Modulo Frameworks [18.068035947969044]
  計画と推論タスクにおけるLLM(Large Language Models)の役割には、かなりの混乱がある。 自己回帰型LSMは、それ自体で計画や自己検証を行うことはできない、と我々は主張する。 本稿では,LLMの強みと外部モデルベース検証器を併用した bf LLM-Modulo Framework のビジョンを提案する。
  論文  参考訳（メタデータ） (2024-02-02T14:43:18Z)
• Rethinking Interpretability in the Era of Large Language Models [76.1947554386879]
  大規模言語モデル(LLM)は、幅広いタスクにまたがる顕著な機能を示している。 自然言語で説明できる能力により、LLMは人間に与えられるパターンのスケールと複雑さを拡大することができる。 これらの新しい機能は、幻覚的な説明や膨大な計算コストなど、新しい課題を提起する。
  論文  参考訳（メタデータ） (2024-01-30T17:38:54Z)
• kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest Neighbor In-Context Learning [50.40636157214161]
  Task-Oriented Parsing (TOP)により、会話アシスタントは自然言語で表現されたユーザーコマンドを解釈できる。 LLMは、自然言語のプロンプトに基づいて、コンピュータプログラムにおいて印象的な性能を達成した。 本稿では,LLMのセマンティック解析機能を活用することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-12-17T17:26:50Z)
• Improving Large Language Models in Event Relation Logical Prediction [33.88499005859982]
  イベント関係抽出は、綿密な意味的理解と厳密な論理的推論を必要とする課題である。 本稿では,イベント関連論理の理解と適用におけるLLMの能力について,詳細な調査を行う。 本研究により,LLMは論理的に一貫した推論子ではないことが明らかとなった。
  論文  参考訳（メタデータ） (2023-10-13T14:53:06Z)
• Event knowledge in large language models: the gap between the impossible and the unlikely [46.540380831486125]
  我々は,事前学習された大規模言語モデル (LLM) がイベント知識を持つことを示す。 彼らはほぼ常に、不可能な事象に対して高い確率を割り当てる。 しかし、おそらくは起こりそうもない出来事に対して、一貫性のない選好を示す。
  論文  参考訳（メタデータ） (2022-12-02T23:43:18Z)
• ThinkSum: Probabilistic reasoning over sets using large language models [18.123895485602244]
  本稿では,2段階の確率的推論パラダイムであるThinkSumを提案する。 我々は,LLM評価タスクのBIGベンチスイートにおけるThinkSumの可能性とメリットを実証する。
  論文  参考訳（メタデータ） (2022-10-04T00:34:01Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。