When LLMs Develop Languages: Symbolic Communication for Efficient Multi-Agent Reasoning
Abstractの概要
本論文は、複数のLLMエージェントが推論のために言語記号フレームワーク（LSF）と呼ばれるコンパクトな記号的通信プロトコルを発明、進化、および再利用するテスト実行時フレームワーク「CLSR（Communicative Language Symbolism Routing）」を提案しています。長い自然言語の「思考の連鎖（chain-of-thought）」の履歴に依存するのではなく、CLSRはこれらのLSFを、記号リスト、使用ルール、およびメッセージパッシング規約を持つ再利用可能な記号プロトコルとして扱い、LLMベースのルーターを使用してクエリごとにそれらを選択、アンサンブル、または合成します。この手法は、Qwen、LLaMA3、DeepSeek-R1の派生モデルなど複数のオープンソースバックボーンを使用し、知識QA、マルチホップQA、数学にわたる7つの推論ベンチマークで評価されています。さらに本論文では、トークン対精度の最適化の観点や、記号的通信下でのトークンコストの情報理論的な下限など、推論効率の理論的枠組みも提供しています。
新規性
特徴的な貢献は、推論のためにLLMが自律的に再利用可能な記号言語を生成および反復的に進化させることを可能にし、推論時にそれらの言語間で適応的なルーティングを行う点にあります。これは、表面上の指示に対するプロンプト最適化や、人間が設計した中間言語によるプログラム実行パイプラインとは異なり、精度とトークンのトレードオフに関する形式的な分析と組み合わされています。
成果
複数の推論ベンチマークにおいて、CLSRは精度を維持しつつ、標準的なchain-of-thoughtと比較して、レイテンシに関わる生成完了トークン数を約3〜6分の1に削減しました。また実験により、複数のオープンソースバックボーンにわたり精度-トークンのパレートフロンティアの改善が示され、アブレーション検証によってより深い言語進化と大規模なエージェント集団の利点が確認されています。
論文の注目点
- CLSRは、効率的な推論を、自然言語プロンプトではなく進化した記号的通信プロトコル上の適応的なテスト実行時ルーティングとして位置づけている。
- 推論システムは、クエリの難易度に基づき、単一の低コストなLSF呼び出し、複数LSFの集約、および複数ラウンドのLSF合成を動的に選択する。
- 経験的分析と理論的分析の双方が、構造化された記号的痕跡が、生成されたトークンあたりのタスク関連情報量を増やすことで推論効率を向上させることを証明している。