論文の概要: Beyond Words: A Mathematical Framework for Interpreting Large Language
Models
- arxiv url: http://arxiv.org/abs/2311.03033v1
- Date: Mon, 6 Nov 2023 11:13:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-11-07 14:50:16.005547
- Title: Beyond Words: A Mathematical Framework for Interpreting Large Language
Models
- Title(参考訳): beyond words: 大規模言語モデル解釈のための数学的枠組み
- Authors: Javier Gonz\'alez and Aditya V. Nori
- Abstract要約: 大規模言語モデル(LLM)は、自然言語テキストやその他の複雑な情報を生成し、理解することのできる強力なAIツールである。
我々は、幻覚、アライメント、自己検証、思考の連鎖推論など、LLM研究における重要な用語と概念を明確にするフレームワークであるHexを提案する。
我々は、生成AIシステムを構築する方法についての議論を進める上で、私たちの正式な定義と結果が不可欠であると主張する。
- 参考スコア(独自算出の注目度): 8.534513717370434
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Large language models (LLMs) are powerful AI tools that can generate and
comprehend natural language text and other complex information. However, the
field lacks a mathematical framework to systematically describe, compare and
improve LLMs. We propose Hex a framework that clarifies key terms and concepts
in LLM research, such as hallucinations, alignment, self-verification and
chain-of-thought reasoning. The Hex framework offers a precise and consistent
way to characterize LLMs, identify their strengths and weaknesses, and
integrate new findings. Using Hex, we differentiate chain-of-thought reasoning
from chain-of-thought prompting and establish the conditions under which they
are equivalent. This distinction clarifies the basic assumptions behind
chain-of-thought prompting and its implications for methods that use it, such
as self-verification and prompt programming.
Our goal is to provide a formal framework for LLMs that can help both
researchers and practitioners explore new possibilities for generative AI. We
do not claim to have a definitive solution, but rather a tool for opening up
new research avenues. We argue that our formal definitions and results are
crucial for advancing the discussion on how to build generative AI systems that
are safe, reliable, fair and robust, especially in domains like healthcare and
software engineering.
- Abstract(参考訳): 大規模言語モデル(llm)は、自然言語テキストやその他の複雑な情報を生成し理解する強力なaiツールである。
しかし、LLMを体系的に記述し、比較し、改善する数学的枠組みが欠如している。
我々は,幻覚,アライメント,自己検証,思考連鎖推論など,llm研究における重要な用語と概念を明らかにするフレームワークhexを提案する。
Hexフレームワークは、LSMを正確に一貫した方法で特徴づけ、その強度と弱点を特定し、新しい発見を統合する。
hexを用いて、思考の連鎖を思考の連鎖の促進と区別し、それらが等価である条件を確立する。
この区別は、チェーン・オブ・マインド・プロンプトの背後にある基本的な仮定と、それを使うメソッド、例えば自己検証やプロンプト・プログラミングの意味を明確にする。
私たちの目標は、研究者と実践者の両方が生成型aiの新たな可能性を探るのに役立つ、llmの正式なフレームワークを提供することです。
決定的な解決策があると主張するのではなく、むしろ新しい研究道を開くためのツールである。
当社の正式な定義と成果は、特にヘルスケアやソフトウェアエンジニアリングといった領域において、安全で信頼性が高く、公平で堅牢な、生成的なaiシステムを構築する方法についての議論を進める上で極めて重要である、と論じています。
関連論文リスト
- Should We Fear Large Language Models? A Structural Analysis of the Human
Reasoning System for Elucidating LLM Capabilities and Risks Through the Lens
of Heidegger's Philosophy [0.0]
本研究では,Large Language Models(LLM)の能力とリスクについて検討する。
LLM内の単語関係の統計的パターンと、Martin Heidegger氏の概念である"ready-to-hand"と"present-at-hand"の間には、革新的な並列性がある。
以上の結果から, LLMには直接的説明推論と擬似論理推論の能力があるが, 真理的推論に乏しく, 創造的推論能力がないことが明らかとなった。
論文 参考訳(メタデータ) (2024-03-05T19:40:53Z) - FAC$^2$E: Better Understanding Large Language Model Capabilities by
Dissociating Language and Cognition [57.747888532651]
大規模言語モデル(LLM)は、主に様々なテキスト理解および生成タスクにおける全体的なパフォーマンスによって評価される。
FAC$2$E, FAC$2$Eについて述べる。
論文 参考訳(メタデータ) (2024-02-29T21:05:37Z) - Efficient Tool Use with Chain-of-Abstraction Reasoning [65.18096363216574]
大規模言語モデル(LLM)は、現実世界の知識に対する推論の基礎となる必要がある。
マルチステップ推論問題におけるツールの実行には,微調整LDMエージェントの課題が残されている。
マルチステップ推論におけるツールの活用方法として, LLM の新しい手法を提案する。
論文 参考訳(メタデータ) (2024-01-30T21:53:30Z) - Demystifying Chains, Trees, and Graphs of Thoughts [20.980650840083385]
利用構造の基本クラスを特定することに集中し、これらの構造表現を分析する。
本研究は,提案した分類法を用いて既存のプロンプト方式と比較し,特定の設計選択が性能とコストの異なるパターンにどのように寄与するかを論じる。
論文 参考訳(メタデータ) (2024-01-25T16:34:00Z) - Probing Structured Semantics Understanding and Generation of Language
Models via Question Answering [56.610044062739256]
本研究では,人間が構築した形式言語を用いて質問応答のタスクにおいて,大規模言語モデルが構造化意味論に対処する能力について検討する。
異なる大きさのモデルと異なる形式言語を用いた実験は、今日の最先端のLLMの論理形式に対する理解が全体的な人間レベルにアプローチできることを示している。
結果は、モデルが異なる形式言語にかなり敏感であることを示している。
論文 参考訳(メタデータ) (2024-01-11T09:27:50Z) - Why Can Large Language Models Generate Correct Chain-of-Thoughts? [11.681357459998171]
自然言語生成に適した2階層階層型グラフィカルモデルを提案する。
我々は、LLM生成した思考の連鎖の可能性を測る魅力的な幾何学的収束率を確立する。
論文 参考訳(メタデータ) (2023-10-20T15:09:46Z) - When Do Program-of-Thoughts Work for Reasoning? [51.2699797837818]
本稿では,コードと推論能力の相関性を測定するために,複雑性に富んだ推論スコア(CIRS)を提案する。
具体的には、抽象構文木を用いて構造情報をエンコードし、論理的複雑性を計算する。
コードはhttps://github.com/zjunlp/EasyInstructのEasyInstructフレームワークに統合される。
論文 参考訳(メタデータ) (2023-08-29T17:22:39Z) - From Word Models to World Models: Translating from Natural Language to
the Probabilistic Language of Thought [124.40905824051079]
言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。
我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。
LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。
認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
論文 参考訳(メタデータ) (2023-06-22T05:14:00Z) - Large Language Models are In-Context Semantic Reasoners rather than
Symbolic Reasoners [75.85554779782048]
大規模言語モデル(LLM)は、近年、自然言語と機械学習コミュニティを興奮させています。
多くの成功を収めたアプリケーションにもかかわらず、そのようなコンテキスト内機能の基盤となるメカニズムはまだ不明である。
本研究では,学習した言語トークンのテクストセマンティクスが推論過程において最も重い処理を行うと仮定する。
論文 参考訳(メタデータ) (2023-05-24T07:33:34Z) - Reliable Natural Language Understanding with Large Language Models and
Answer Set Programming [0.0]
大規模言語モデル(LLM)は、様々なNLPタスクを解くためにテキストのパターンを利用することができるが、推論を必要とする問題では不足している。
LLMとAnswer Set Programming(ASP)を組み合わせたフレームワークSTARを提案する。
目標指向のASPは、この知識を確実に推論するために使用される。
論文 参考訳(メタデータ) (2023-02-07T22:37:21Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。