論文の概要: Structured Thoughts Automaton: First Formalized Execution Model for
Auto-Regressive Language Models
- arxiv url: http://arxiv.org/abs/2306.10196v1
- Date: Fri, 16 Jun 2023 22:04:50 GMT
- ステータス: 処理完了
- システム内更新日: 2023-06-21 23:45:59.131691
- Title: Structured Thoughts Automaton: First Formalized Execution Model for
Auto-Regressive Language Models
- Title（参考訳）: structured thoughts automaton: 自動回帰言語モデルのための最初の形式化された実行モデル
- Authors: Tristan Vanderbruggen, Chunhua Liao, Peter Pirkelbauer, Pei-Hung Lin
- Abstract要約: 我々は,信頼性の高い検査可能な実行モデルを構築するために,LMの予測をサンプリングする新しいアルゴリズムを提案する。
この実行モデルに「認知プログラム」を書くための低レベル言語を導入する。
- 参考スコア（独自算出の注目度）: 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: In recent months, Language Models (LMs) have become a part of daily
discourse, with focus on OpenAI and the potential of Artificial General
Intelligence (AGI). Furthermore, the leaking of LLama's weights to the public
has led to an influx of innovations demonstrating the impressive capabilities
of generative LMs. While we believe that AGI is still a distant goal, we
recognize the potential of LMs in solving tasks such as searching complex
documents, compiling reports with basic analysis, and providing assistance in
problem-solving. In this paper, we propose formalizing the execution model of
language models. We investigate current execution models, to find that this
formalism has received little attention, and present our contribution: the
first formalized execution model for LMs. We introduce a new algorithm for
sampling the predictions of LMs, which we use to build a reliable and
inspectable execution model. We introduce a low-level language to write
"cognitive program" for this execution model. We hope to shed light on the need
for execution models for LMs and encourage further research in this area.
- Abstract（参考訳）: 近年、Language Models(LM)は、OpenAIとAI(Artificial General Intelligence, AGI)のポテンシャルに焦点をあてて、日々の会話の一部となっている。
さらに、ラマの重みが大衆に漏れたことにより、生成的lmsの素晴らしい能力を示す多くのイノベーションが流入した。
AGIはまだまだ遠い目標であると考えていますが、複雑な文書の検索、基本分析によるレポートのコンパイル、問題解決支援といったタスクにおけるLMの可能性を認識しています。
本稿では,言語モデルの実行モデルを形式化する手法を提案する。
我々は,現在の実行モデルを調査し,この形式化がほとんど注目されていないことを確認し,その貢献を述べる。
我々は,信頼でき,検査可能な実行モデルを構築するために使用するlmsの予測をサンプリングする新しいアルゴリズムを提案する。
この実行モデルに「認知プログラム」を書くための低レベル言語を導入する。
LMの実行モデルの必要性に光を当て、この分野のさらなる研究を奨励したいと考えています。
関連論文リスト
- Scaling Diffusion Language Models via Adaptation from Autoregressive Models [105.70889434492143]
拡散言語モデル(DLM)は、テキスト生成モデルのための将来性のある新しいパラダイムとして登場した。
170Mから7BまでのARモデルをDiffuGPTとDiffuLLaMAの拡散モデルに変換し、200B未満のトークンでトレーニングできることを示す。
実験の結果,これらのモデルは初期のDLMよりも優れており,ARと競合していることがわかった。
論文 参考訳（メタデータ） (2024-10-23T14:04:22Z) - Cognitive Modeling with Scaffolded LLMs: A Case Study of Referential Expression Generation [5.5711773076846365]
本稿では,参照表現生成のアルゴリズム的認知モデルのニューラルシンボリック実装について検討する。
私たちのハイブリッドアプローチは認知的に妥当であり、複雑な状況下ではうまく機能します。
論文 参考訳（メタデータ） (2024-07-04T10:28:48Z) - Collective Constitutional AI: Aligning a Language Model with Public Input [20.95333081841239]
言語モデル(LM)開発者は、LMの振る舞いの唯一の決定者であってはならないというコンセンサスが高まっている。
我々は、公共のインプットをLMにソーシングし、統合するための多段階プロセスであるCCAI(Collective Constitutional AI)を提示する。
我々は、この手法の現実的な実践性を、我々の知識に則って、公開入力を集約した最初のLM微調整を作成することによって実証する。
論文 参考訳（メタデータ） (2024-06-12T02:20:46Z) - Zero-shot LLM-guided Counterfactual Generation: A Case Study on NLP Model Evaluation [15.254775341371364]
ゼロショット対実生成に大規模言語モデルを活用する可能性について検討する。
我々は,この生成を容易にするための構造化パイプラインを提案し,近年のLLMにおける命令追従とテキスト理解の能力を効果的に活用できるという仮説を立てた。
論文 参考訳（メタデータ） (2024-05-08T03:57:45Z) - CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。
このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。
LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
論文 参考訳（メタデータ） (2023-11-29T08:29:54Z) - L2CEval: Evaluating Language-to-Code Generation Capabilities of Large
Language Models [102.00201523306986]
大規模言語モデル(LLM)の言語間コード生成能力を体系的に評価するL2CEvalを提案する。
モデルのサイズ、事前学習データ、命令チューニング、異なるプロンプトメソッドなど、それらのパフォーマンスに影響を与える可能性のある要因を分析する。
モデル性能の評価に加えて、モデルに対する信頼性校正を計測し、出力プログラムの人間による評価を行う。
論文 参考訳（メタデータ） (2023-09-29T17:57:00Z) - Evaluating and Explaining Large Language Models for Code Using Syntactic
Structures [74.93762031957883]
本稿では,コード用大規模言語モデルに特有の説明可能性手法であるASTxplainerを紹介する。
その中核にあるASTxplainerは、トークン予測をASTノードに整合させる自動メソッドを提供する。
私たちは、最も人気のあるGitHubプロジェクトのキュレートデータセットを使用して、コード用の12の人気のあるLLMに対して、実証的な評価を行います。
論文 参考訳（メタデータ） (2023-08-07T18:50:57Z) - The False Promise of Imitating Proprietary LLMs [158.65692029352584]
より弱い言語モデルを安価に改善するための新しい方法は、より強力なモデルからの出力に対してそれを微調整することである。
このアプローチは、より弱いオープンソースモデルを使用して、プロプライエタリなモデルの機能を安価に模倣することを目指している。
まず、様々なベースモデルサイズを用いてChatGPTを模倣する一連のLMを微調整する。
次に、群衆レーダと標準NLPベンチマークを用いてモデルを評価する。
論文 参考訳（メタデータ） (2023-05-25T05:00:12Z) - Augmented Language Models: a Survey [55.965967655575454]
この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。
私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。
トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
論文 参考訳（メタデータ） (2023-02-15T18:25:52Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。