論文の概要: FedLogic: Interpretable Federated Multi-Domain Chain-of-Thought Prompt Selection for Large Language Models

• arxiv url: http://arxiv.org/abs/2308.15324v1
• Date: Tue, 29 Aug 2023 14:20:17 GMT
• ステータス: 処理完了
• システム内更新日: 2023-08-30 13:56:13.428572
• Title: FedLogic: Interpretable Federated Multi-Domain Chain-of-Thought Prompt Selection for Large Language Models
• Title（参考訳）: FedLogic: 大規模言語モデルのための解釈可能なフェデレーション・ドメイン・オブ・ワットの連鎖選択
• Authors: Pengwei Xing, Songtao Lu, Han Yu
• Abstract要約: マルチドメインCoTプロンプト選択ジレンマの理論的形式化とインタラクティブエミュレーションを導入する。 FedLogicは、最初の解釈可能で原則化された多ドメインCoTプロンプト選択アプローチである。
• 参考スコア（独自算出の注目度）: 43.88318022426977
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Leveraging ``chain-of-thought (CoT)'' reasoning to elicit rapid and precise responses from large language models (LLMs) is rapidly attracting research interest. A notable challenge here is how to design or select optimal prompts. The process of prompt selection relies on trial and error, involving continuous adjustments and combinations of input prompts by users based on the corresponding new responses generated from LLMs. Furthermore, minimal research has been conducted to explore how LLMs employ the mathematical problem-solving capabilities learned from user interactions to address issues in narrative writing. To improve interpretability and explore the balance principle between generality and personalization under a multi-domain CoT prompt selection scenario, we propose the Federated Logic rule learning approach (FedLogic). We introduce a theoretical formalization and interactive emulation of the multi-domain CoT prompt selection dilemma in the context of federated LLMs. We cast the problem of joint probability modeling as a bilevel program, where the CoT prompt selection intricacy can be likened to a fuzzy score-based rule selection with the LLMs function as rule generators. FedLogic solves this problem through variational expectation maximization (V-EM). In addition, we incorporate two KL-divergence constraints within this probabilistic modeling framework to surmount the intricacies of managing extensive search spaces and accomplishing cross-domain personalization of CoTs. To the best of our knowledge, FedLogic is the first interpretable and principled federated multi-domain CoT prompt selection approach for LLMs.
• Abstract（参考訳）: 大規模言語モデル (LLM) から迅速かつ正確な応答を引き出すための '`'chain-of- Thought (CoT)'' の推論を活用することは、研究の関心を急速に引き寄せている。 ここで注目すべき課題は、最適なプロンプトの設計や選択方法だ。 プロンプト選択のプロセスは試行錯誤に依存しており、LCMから生成された対応する新しい応答に基づいてユーザによる連続的な調整と入力プロンプトの組み合わせを含む。 さらに,LLMがユーザインタラクションから学んだ数学的問題解決能力を用いて,ナラティブライティングの課題に対処するための最小限の研究も行われている。 マルチドメインcotプロンプト選択シナリオにおいて,汎用性とパーソナライゼーションのバランス原理を検討するために,フェデレーション論理ルール学習手法(feedlogic)を提案する。 我々は,多領域CoTプロンプト選択ジレンマの理論的形式化と対話的エミュレーションを,連合LDMの文脈で導入する。 両レベルプログラムとして結合確率モデリングの問題を提起し、COTのプロンプト選択精度をルールジェネレータとしてLLM関数をファジィスコアベースのルール選択に例えるようにした。 FedLogicは変動予測最大化(V-EM)によってこの問題を解決する。 さらに、この確率的モデリングフレームワークに2つのKL分割制約を組み込んで、広い検索空間の管理とCoTのクロスドメインパーソナライゼーションの達成の複雑さを克服する。 我々の知る限り、FedLogicはLLMに対する最初の解釈可能かつ原則化された多ドメインCoTプロンプト選択アプローチである。

関連論文リスト

• Feature Norm Regularized Federated Learning: Transforming Skewed Distributions into Global Insights [16.039822050613022]
  本研究は,FNR-FLアルゴリズムを紹介する。 FNR-FLは、非I.D.シナリオにおけるモデルの精度と収束を高めるために、クラス平均特徴ノルムを取り入れている。 その結果,FNR-FLの精度は66.24%向上し,トレーニング時間は11.40%低下した。
  論文  参考訳（メタデータ） (2023-12-12T03:09:37Z)
• Faster Adaptive Federated Learning [84.38913517122619]
  フェデレートラーニングは分散データの出現に伴って注目を集めている。 本稿では,クロスサイロFLにおけるモーメントに基づく分散低減手法に基づく適応アルゴリズム(FAFED)を提案する。
  論文  参考訳（メタデータ） (2022-12-02T05:07:50Z)
• Neural Tangent Kernel Empowered Federated Learning [35.423391869982694]
  フェデレートラーニング(FL)は、複数の参加者が生データを共有せずに機械学習問題を共同で解決する、プライバシー保護パラダイムである。 本稿では,ニューラルタンジェントカーネル(NTK)フレームワークを応用した新しいFLパラダイムを提案する。 提案手法は,通信ラウンドの回数を桁違いに減らしながら,同じ精度を実現できることを示す。
  論文  参考訳（メタデータ） (2021-10-07T17:58:58Z)
• FF-NSL: Feed-Forward Neural-Symbolic Learner [70.978007919101]
  本稿では,Feed-Forward Neural-Symbolic Learner (FF-NSL) と呼ばれるニューラルシンボリック学習フレームワークを紹介する。 FF-NSLは、ラベル付き非構造化データから解釈可能な仮説を学習するために、Answer Setセマンティクスに基づく最先端のICPシステムとニューラルネットワークを統合する。
  論文  参考訳（メタデータ） (2021-06-24T15:38:34Z)
• Learning and Generalization in Overparameterized Normalizing Flows [13.074242275886977]
  正規化フロー(NF)は教師なし学習において重要なモデルのクラスである。 既存のNFモデルの大部分を含むNFのクラスでは、過度なパラメトリゼーションがトレーニングを損なうという理論的および実証的な証拠を提供する。 ネットワークが過度にパラメータ化されている場合、最小限の仮定の下で、制約のないNFが妥当なデータ分布を効率的に学習できることを実証する。
  論文  参考訳（メタデータ） (2021-06-19T17:11:42Z)
• Influence Estimation and Maximization via Neural Mean-Field Dynamics [60.91291234832546]
  本稿では,ニューラル平均場(NMF)ダイナミクスを用いた新しい学習フレームワークを提案する。 我々のフレームワークは拡散ネットワークの構造とノード感染確率の進化を同時に学習することができる。
  論文  参考訳（メタデータ） (2021-06-03T00:02:05Z)
• FL-NTK: A Neural Tangent Kernel-based Framework for Federated Learning Convergence Analysis [27.022551495550676]
  本稿では,FLの勾配降下によって訓練された過減化ReLUニューラルネットワークに対応するFL-NTK(Learning Neural Kernel)について,新しい収束解析法を提案する。 理論的には、FL-NTKは線形学習パラメータを適切に調整した自明な速度で大域最適解に収束する。
  論文  参考訳（メタデータ） (2021-05-11T13:05:53Z)
• NSL: Hybrid Interpretable Learning From Noisy Raw Data [66.15862011405882]
  本稿では,ラベル付き非構造データから解釈可能なルールを学習するニューラルシンボリック学習フレームワークNSLを提案する。 NSLは、機能抽出のためのトレーニング済みニューラルネットワークと、解集合セマンティクスに基づくルール学習のための最先端のILPシステムであるFastLASを組み合わせる。 NSLは、MNISTデータから堅牢なルールを学び、ニューラルネットワークやランダムフォレストベースラインと比較して、比較または優れた精度を達成できることを実証します。
  論文  参考訳（メタデータ） (2020-12-09T13:02:44Z)
• Stochastic-Sign SGD for Federated Learning with Theoretical Guarantees [49.91477656517431]
  量子化に基づく解法は、フェデレートラーニング(FL)において広く採用されている。 上記のプロパティをすべて享受する既存のメソッドはありません。 本稿では,SIGNSGDに基づく直感的かつ理論的に簡易な手法を提案し,そのギャップを埋める。
  論文  参考訳（メタデータ） (2020-02-25T15:12:15Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。