論文の概要: Beyond Natural Language: LLMs Leveraging Alternative Formats for
Enhanced Reasoning and Communication
- arxiv url: http://arxiv.org/abs/2402.18439v1
- Date: Wed, 28 Feb 2024 16:07:54 GMT
- ステータス: 処理完了
- システム内更新日: 2024-02-29 14:27:56.508222
- Title: Beyond Natural Language: LLMs Leveraging Alternative Formats for
Enhanced Reasoning and Communication
- Title(参考訳): 自然言語を超えて: LLMは推論とコミュニケーションを強化する代替フォーマットを活用する
- Authors: Weize Chen, Chenfei Yuan, Jiarui Yuan, Yusheng Su, Chen Qian, Cheng
Yang, Ruobing Xie, Zhiyuan Liu, Maosong Sun
- Abstract要約: 自然言語(NL)は長年、人間の認知とコミュニケーションの主要なフォーマットであった。
本研究では,異なる文脈における非NLフォーマットの有用性を検討することで,NLのデフォルト利用に挑戦する。
- 参考スコア(独自算出の注目度): 82.80041855123731
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Natural language (NL) has long been the predominant format for human
cognition and communication, and by extension, has been similarly pivotal in
the development and application of Large Language Models (LLMs). Yet, besides
NL, LLMs have seen various non-NL formats during pre-training, such as code and
logical expression. NL's status as the optimal format for LLMs, particularly in
single-LLM reasoning and multi-agent communication, has not been thoroughly
examined. In this work, we challenge the default use of NL by exploring the
utility of non-NL formats in these contexts. We show that allowing LLMs to
autonomously select the most suitable format before reasoning or communicating
leads to a 3.3 to 5.7\% improvement in reasoning efficiency for different LLMs,
and up to a 72.7\% reduction in token usage in multi-agent communication, all
while maintaining communicative effectiveness. Our comprehensive analysis
further reveals that LLMs can devise a format from limited task instructions
and that the devised format is effectively transferable across different LLMs.
Intriguingly, the structured communication format decided by LLMs exhibits
notable parallels with established agent communication languages, suggesting a
natural evolution towards efficient, structured communication in agent
communication. Our code is released at
\url{https://github.com/thunlp/AutoForm}.
- Abstract(参考訳): 自然言語(NL)は、人間の認知とコミュニケーションの主要なフォーマットであり、拡張によっても、Large Language Models(LLM)の開発と応用において同様に重要な役割を担っている。
しかし、NL以外にも、LLMはコードや論理式など、事前学習中に様々な非NLフォーマットを目にしている。
特に単一LLM推論やマルチエージェント通信において、LLMの最適フォーマットとしてのNLの地位は、十分に検討されていない。
本研究では,これらの文脈における非NLフォーマットの有用性を検討することで,NLのデフォルト利用に挑戦する。
LLMが推論や通信に先立って、最も適したフォーマットを自律的に選択できるようにすることで、異なるLLMの推論効率が3.3~5.7 %向上し、通信効率を維持しつつ、マルチエージェント通信におけるトークン使用率を72.7 %削減できることを示す。
我々の包括的分析により、LLMは限られたタスク命令からフォーマットを作成でき、考案されたフォーマットは異なるLLM間で効果的に転送可能であることが明らかとなった。
興味深いことに、LLMによって決定される構造化通信形式は、確立されたエージェント通信言語と顕著な類似性を示し、エージェント通信における効率的な構造化通信への自然な進化を示唆している。
私たちのコードは \url{https://github.com/thunlp/autoform} でリリースされる。
関連論文リスト
- DeMPT: Decoding-enhanced Multi-phase Prompt Tuning for Making LLMs Be
Better Context-aware Translators [27.813977167057892]
DeMPT(Decoding-enhanced Multi-phase Prompt Tuning)という適応手法を提案する。
各フェーズで異なる連続プロンプトを導入し、LLMを様々な情報を識別的にモデル化する。
実験の結果,本手法は結合法よりも有意に優れていた。
論文 参考訳(メタデータ) (2024-02-23T09:01:00Z) - Probing Structured Semantics Understanding and Generation of Language
Models via Question Answering [56.610044062739256]
本研究では,人間が構築した形式言語を用いて質問応答のタスクにおいて,大規模言語モデルが構造化意味論に対処する能力について検討する。
異なる大きさのモデルと異なる形式言語を用いた実験は、今日の最先端のLLMの論理形式に対する理解が全体的な人間レベルにアプローチできることを示している。
結果は、モデルが異なる形式言語にかなり敏感であることを示している。
論文 参考訳(メタデータ) (2024-01-11T09:27:50Z) - If LLM Is the Wizard, Then Code Is the Wand: A Survey on How Code
Empowers Large Language Models to Serve as Intelligent Agents [81.60906807941188]
大型言語モデル(LLM)は、自然言語と形式言語(コード)の組み合わせに基づいて訓練される
コードは、標準構文、論理一貫性、抽象化、モジュール性を備えた高レベルの目標を実行可能なステップに変換する。
論文 参考訳(メタデータ) (2024-01-01T16:51:20Z) - Let Models Speak Ciphers: Multiagent Debate through Embeddings [84.20336971784495]
この問題を解決するためにCIPHER(Communicative Inter-Model Protocol Through Embedding Representation)を導入する。
自然言語から逸脱することで、CIPHERはモデルの重みを変更することなく、より広い範囲の情報を符号化する利点を提供する。
このことは、LLM間の通信における代替の"言語"としての埋め込みの優越性と堅牢性を示している。
論文 参考訳(メタデータ) (2023-10-10T03:06:38Z) - Augmented Large Language Models with Parametric Knowledge Guiding [72.71468058502228]
大規模言語モデル(LLM)は、言語理解と生成能力に優れた自然言語処理(NLP)を備えています。
それらのパフォーマンスは、関連するデータへの限られた露出のために専門的な知識を必要とするドメイン固有のタスクに最適であるかもしれない。
本稿では,LLMに関連知識にアクセスするための知識誘導モジュールを組み込んだ新しいPKGフレームワークを提案する。
論文 参考訳(メタデータ) (2023-05-08T15:05:16Z) - Check Your Facts and Try Again: Improving Large Language Models with
External Knowledge and Automated Feedback [127.75419038610455]
大規模言語モデル(LLM)は、ダウンストリームタスクの多くに対して、人間のような、流動的な応答を生成することができる。
本稿では,プラグ・アンド・プレイモジュールのセットでブラックボックスのLSMを増強するLSM-Augmenterシステムを提案する。
論文 参考訳(メタデータ) (2023-02-24T18:48:43Z) - Translating Natural Language to Planning Goals with Large-Language
Models [19.738395237639136]
近年の大規模言語モデル(LLM)は,様々な自然言語処理(NLP)タスクにおいて顕著な性能を示した。
我々の中心的な問題は、LLMが自然言語で指定された目標を構造化された計画言語に翻訳できるかどうかである。
GPT 3.5 変種に対する実験結果から,LCM は計画よりも翻訳に適していることが示された。
論文 参考訳(メタデータ) (2023-02-10T09:17:52Z) - Universal Sentence Representation Learning with Conditional Masked
Language Model [7.334766841801749]
文表現を効果的に学習するための条件付きマスク言語モデリング(M)を提案する。
我々の英語CMLMモデルは,SentEvalの最先端性能を実現する。
完全に教師なしの学習方法として、CMLMは幅広い言語やドメインに便利に拡張できます。
論文 参考訳(メタデータ) (2020-12-28T18:06:37Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。