論文の概要: FedLogic: Interpretable Federated Multi-Domain Chain-of-Thought Prompt
Selection for Large Language Models
- arxiv url: http://arxiv.org/abs/2308.15324v1
- Date: Tue, 29 Aug 2023 14:20:17 GMT
- ステータス: 処理完了
- システム内更新日: 2023-08-30 13:56:13.428572
- Title: FedLogic: Interpretable Federated Multi-Domain Chain-of-Thought Prompt
Selection for Large Language Models
- Title(参考訳): FedLogic: 大規模言語モデルのための解釈可能なフェデレーション・ドメイン・オブ・ワットの連鎖選択
- Authors: Pengwei Xing, Songtao Lu, Han Yu
- Abstract要約: マルチドメインCoTプロンプト選択ジレンマの理論的形式化とインタラクティブエミュレーションを導入する。
FedLogicは、最初の解釈可能で原則化された多ドメインCoTプロンプト選択アプローチである。
- 参考スコア(独自算出の注目度): 43.88318022426977
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: Leveraging ``chain-of-thought (CoT)'' reasoning to elicit rapid and precise
responses from large language models (LLMs) is rapidly attracting research
interest. A notable challenge here is how to design or select optimal prompts.
The process of prompt selection relies on trial and error, involving continuous
adjustments and combinations of input prompts by users based on the
corresponding new responses generated from LLMs. Furthermore, minimal research
has been conducted to explore how LLMs employ the mathematical problem-solving
capabilities learned from user interactions to address issues in narrative
writing. To improve interpretability and explore the balance principle between
generality and personalization under a multi-domain CoT prompt selection
scenario, we propose the Federated Logic rule learning approach (FedLogic). We
introduce a theoretical formalization and interactive emulation of the
multi-domain CoT prompt selection dilemma in the context of federated LLMs. We
cast the problem of joint probability modeling as a bilevel program, where the
CoT prompt selection intricacy can be likened to a fuzzy score-based rule
selection with the LLMs function as rule generators. FedLogic solves this
problem through variational expectation maximization (V-EM). In addition, we
incorporate two KL-divergence constraints within this probabilistic modeling
framework to surmount the intricacies of managing extensive search spaces and
accomplishing cross-domain personalization of CoTs. To the best of our
knowledge, FedLogic is the first interpretable and principled federated
multi-domain CoT prompt selection approach for LLMs.
- Abstract(参考訳): 大規模言語モデル (LLM) から迅速かつ正確な応答を引き出すための '`'chain-of- Thought (CoT)'' の推論を活用することは、研究の関心を急速に引き寄せている。
ここで注目すべき課題は、最適なプロンプトの設計や選択方法だ。
プロンプト選択のプロセスは試行錯誤に依存しており、LCMから生成された対応する新しい応答に基づいてユーザによる連続的な調整と入力プロンプトの組み合わせを含む。
さらに,LLMがユーザインタラクションから学んだ数学的問題解決能力を用いて,ナラティブライティングの課題に対処するための最小限の研究も行われている。
マルチドメインcotプロンプト選択シナリオにおいて,汎用性とパーソナライゼーションのバランス原理を検討するために,フェデレーション論理ルール学習手法(feedlogic)を提案する。
我々は,多領域CoTプロンプト選択ジレンマの理論的形式化と対話的エミュレーションを,連合LDMの文脈で導入する。
両レベルプログラムとして結合確率モデリングの問題を提起し、COTのプロンプト選択精度をルールジェネレータとしてLLM関数をファジィスコアベースのルール選択に例えるようにした。
FedLogicは変動予測最大化(V-EM)によってこの問題を解決する。
さらに、この確率的モデリングフレームワークに2つのKL分割制約を組み込んで、広い検索空間の管理とCoTのクロスドメインパーソナライゼーションの達成の複雑さを克服する。
我々の知る限り、FedLogicはLLMに対する最初の解釈可能かつ原則化された多ドメインCoTプロンプト選択アプローチである。
関連論文リスト
- Enabling Ensemble Learning for Heterogeneous Large Language Models with Deep Parallel Collaboration [39.35476224845088]
大規模言語モデル(LLM)は、様々なタスクやインスタンスにおいて相補的な強みを示している。
既存の手法は、訓練されたモデルの一般化可能性に大きな課題をもたらす。
異なるLLMが出力する確率を平均化するトレーニングフリーアンサンブルフレームワークDEEPENを提案する。
論文 参考訳(メタデータ) (2024-04-19T08:52:22Z) - Adaptive-RAG: Learning to Adapt Retrieval-Augmented Large Language Models through Question Complexity [59.57065228857247]
Retrieval-augmented Large Language Models (LLMs) は、質問回答(QA)のようなタスクにおける応答精度を高めるための有望なアプローチとして登場した。
本稿では,クエリの複雑さに基づいて,LLMの最適戦略を動的に選択できる適応型QAフレームワークを提案する。
オープンドメインのQAデータセットを用いて、複数のクエリの複雑さを網羅し、QAシステムの全体的な効率性と精度を高めることを示す。
論文 参考訳(メタデータ) (2024-03-21T13:52:30Z) - CoF-CoT: Enhancing Large Language Models with Coarse-to-Fine
Chain-of-Thought Prompting for Multi-domain NLU Tasks [46.862929778121675]
Chain-of-Thoughtプロンプトは推論タスクで人気があるが、自然言語理解(NLU)への応用は未検討である。
大規模言語モデル (LLMs) の多段階的推論により動機付け, CoF-CoT (Coarse-to-Fine Chain-of-Thought) アプローチを提案する。
論文 参考訳(メタデータ) (2023-10-23T06:54:51Z) - Self-prompted Chain-of-Thought on Large Language Models for Open-domain
Multi-hop Reasoning [70.74928578278957]
オープンドメイン質問回答(ODQA)では、ほとんどの既存の質問はコモンセンスのシングルホップ推論を必要とする。
大規模言語モデル(LLM)は、外部コーパスなしでODQAを促進するために重要な有用性を見出した。
高品質なCoTを大量生産する自動化フレームワークSP-CoTを提案する。
論文 参考訳(メタデータ) (2023-10-20T14:51:10Z) - Thought Propagation: An Analogical Approach to Complex Reasoning with
Large Language Models [70.76692652007469]
大規模言語モデルの複雑な推論能力を高めるために,textbftextitThought Propagation (TP)を提案する。
TP はまず LLM に対して,入力問題に関連する類似問題の集合を提案し,解決するよう促す。
TPは、類似問題の結果を再利用して、新しいソリューションを直接生成したり、スクラッチから得られた初期ソリューションを修正するための知識集約的な実行プランを導出する。
論文 参考訳(メタデータ) (2023-10-06T01:40:09Z) - LaGR-SEQ: Language-Guided Reinforcement Learning with Sample-Efficient
Querying [71.86163159193327]
大規模言語モデル(LLM)は、最近、テキストを介してコンテキスト対応の応答を提供するという、印象的な能力を実証した。
この能力は、パターン補完に関連するシーケンシャルな意思決定タスクにおいて、妥当なソリューションを予測するために使われる可能性がある。
第一強化学習(RL)エージェントによって部分的に完了したタスクに対する解を提案するために,LLMのこの予測能力を利用するLaGRを紹介した。
論文 参考訳(メタデータ) (2023-08-21T02:07:35Z) - Recursion of Thought: A Divide-and-Conquer Approach to Multi-Context
Reasoning with Language Models [58.41943058963672]
我々はRecursion of Thought (RoT)と呼ばれる新しい推論フレームワークを提案する。
RoTはいくつかの特別なトークンを導入し、モデルが出力してコンテキスト関連の操作をトリガーする。
GPT-3を含む複数のアーキテクチャの実験により、RoTは問題を解くためにLMの推論能力を劇的に改善した。
論文 参考訳(メタデータ) (2023-06-12T06:34:16Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。