Fugu-MT 論文翻訳(概要): Latent Logic Tree Extraction for Event Sequence Explanation from LLMs

論文の概要: Latent Logic Tree Extraction for Event Sequence Explanation from LLMs

arxiv url: http://arxiv.org/abs/2406.01124v3
Date: Fri, 28 Jun 2024 07:54:19 GMT
ステータス: 処理完了
システム内更新日: 2024-07-01 21:05:30.268140
Title: Latent Logic Tree Extraction for Event Sequence Explanation from LLMs
Title（参考訳）: LLMからのイベントシーケンス記述のための潜在論理木抽出
Authors: Zitao Song, Chao Yang, Chaojie Wang, Bo An, Shuang Li,
Abstract要約: 医療やロボティクスなどの現代のハイテイクシステムは、しばしば巨大なストリーミングイベントシーケンスを生成する。我々のゴールは、Large Language Models (LLMs) から論理木に基づく説明を引き出すための効率的なプラグイン・アンド・プレイツールを設計し、観測された各イベントシーケンスに対するカスタマイズされた洞察を提供することです。オンライン設定では、ローカルに構築された軽量なモデルが、数回だけ繰り返して、各シーケンスのLSMから最も関連性の高いルールを反復的に抽出します。
参考スコア（独自算出の注目度）: 19.90330712436838
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Modern high-stakes systems, such as healthcare or robotics, often generate vast streaming event sequences. Our goal is to design an efficient, plug-and-play tool to elicit logic tree-based explanations from Large Language Models (LLMs) to provide customized insights into each observed event sequence. Built on the temporal point process model for events, our method employs the likelihood function as a score to evaluate generated logic trees. We propose an amortized Expectation-Maximization (EM) learning framework and treat the logic tree as latent variables. In the E-step, we evaluate the posterior distribution over the latent logic trees using an LLM prior and the likelihood of the observed event sequences. LLM provides a high-quality prior for the latent logic trees, however, since the posterior is built over a discrete combinatorial space, we cannot get the closed-form solution. We propose to generate logic tree samples from the posterior using a learnable GFlowNet, which is a diversity-seeking generator for structured discrete variables. The M-step employs the generated logic rules to approximate marginalization over the posterior, facilitating the learning of model parameters and refining the tunable LLM prior parameters. In the online setting, our locally built, lightweight model will iteratively extract the most relevant rules from LLMs for each sequence using only a few iterations. Empirical demonstrations showcase the promising performance and adaptability of our framework.
Abstract（参考訳）: 医療やロボティクスなどの現代のハイテイクシステムは、しばしば巨大なストリーミングイベントシーケンスを生成する。我々のゴールは、Large Language Models (LLMs) から論理木に基づく説明を引き出すための効率的なプラグイン・アンド・プレイツールを設計し、観測された各イベントシーケンスに対するカスタマイズされた洞察を提供することです。本手法は,事象の時間的点過程モデルに基づいて,生成した論理木を評価するために,確率関数をスコアとして利用する。本稿では,Amortized expectation-Maximization (EM) 学習フレームワークを提案し,論理木を潜伏変数として扱う。 E-stepでは、LLM前処理と観測された事象列の確率を用いて、潜在論理木上の後部分布を評価する。 LLMは、潜在論理木に対して高品質な先行性を提供するが、後部は離散組合せ空間上に構築されているため、閉形式解を得ることはできない。本稿では,構造化された離散変数に対する多様性探索生成器であるGFlowNetを用いて,後部から論理木サンプルを生成することを提案する。 Mステップは生成した論理規則を用いて後部の辺縁化を近似し、モデルパラメータの学習を容易にし、調整可能なLCM事前パラメータを精算する。オンライン設定では、ローカルに構築された軽量なモデルが、数回だけ繰り返して、各シーケンスのLSMから最も関連性の高いルールを反復的に抽出します。実証的なデモでは、我々のフレームワークの有望なパフォーマンスと適応性を示します。

関連論文リスト

Graph-Structured Speculative Decoding [52.94367724136063]
投機的復号化は、大規模言語モデルの推論を加速する有望な手法として登場した。本稿では, 有向非巡回グラフ(DAG)を応用して, 起案された仮説を管理する革新的な手法を提案する。我々は1.73$times$から1.96$times$に顕著なスピードアップを観察し、標準投機的復号法を大幅に上回った。
論文参考訳（メタデータ） (2024-07-23T06:21:24Z)
Optimization-based Structural Pruning for Large Language Models without Back-Propagation [57.9629676017527]
本稿では,Large-Language Models (LLMs) を用いた最適化に基づく構造解析手法を提案する。本手法は,プルーニングモデルの損失を最適化することにより,確率空間におけるプルーニングマスクを直接学習する。提案手法は,A100 GPUの13Bモデルに対して,約35GBのメモリで2.7時間動作する。
論文参考訳（メタデータ） (2024-06-15T09:31:03Z)
Optimized Feature Generation for Tabular Data via LLMs with Decision Tree Reasoning [53.241569810013836]
大規模言語モデル(LLM)と決定木推論(OCTree)に基づく新しいフレームワークを提案する。私たちのキーとなるアイデアは、LLMの推論機能を活用して、手動で検索スペースを指定せずに優れた特徴生成ルールを見つけることです。実験の結果、この単純なフレームワークは様々な予測モデルの性能を一貫して向上させることが示された。
論文参考訳（メタデータ） (2024-06-12T08:31:34Z)
An efficient solution to Hidden Markov Models on trees with coupled branches [0.0]
木上の隠れモデル(HMM)のフレームワークを拡張して、データのツリーのような構造が結合されたブランチを含むシナリオに対処する。本研究では,木系HMMと分岐した分岐木に対する確率,復号化,パラメータ学習問題を効率的に解くプログラミングアルゴリズムを開発した。
論文参考訳（メタデータ） (2024-06-03T18:00:00Z)
Recursive Speculative Decoding: Accelerating LLM Inference via Sampling Without Replacement [11.91629418177851]
投機的復号法(英: Speculative decoding)は、大規模言語モデルの推論・加速度法である。近年の作業では、草稿の伐採によってこの方法が進歩している。再帰的投機的復号法(Recursive Speculative Decoding:RSD)を提案する。
論文参考訳（メタデータ） (2024-02-21T22:57:49Z)
Tree-Planner: Efficient Close-loop Task Planning with Large Language Models [63.06270302774049]
Tree-Plannerは、大きな言語モデルでタスクプランニングを3つの異なるフェーズに再構成する。 Tree-Plannerは高い効率を維持しながら最先端のパフォーマンスを実現する。
論文参考訳（メタデータ） (2023-10-12T17:59:50Z)
Amortizing intractable inference in large language models [56.92471123778389]
難治性後部分布のサンプルとして, 償却ベイズ推定を用いる。我々は,LLMファインチューニングの分散マッチングパラダイムが,最大習熟の代替となることを実証的に実証した。重要な応用として、チェーン・オブ・ソート推論を潜在変数モデリング問題として解釈する。
論文参考訳（メタデータ） (2023-10-06T16:36:08Z)
SpecInfer: Accelerating Generative Large Language Model Serving with Tree-based Speculative Inference and Verification [13.174386920965107]
SpecInferは、木に基づく投機的推測と検証を扱う生成的大規模言語モデル(LLM)を高速化するシステムである。トークンツリーで表される全ての候補トークンシーケンスの正当性を、新しいツリーベースの並列復号機構を用いてLLMに対して並列に検証する。
論文参考訳（メタデータ） (2023-05-16T20:12:59Z)
GFlowNet-EM for learning compositional latent variable models [115.96660869630227]
ラテントの後方のモデリングにおける重要なトレードオフは、表現性とトラクタブルな最適化の間にある。非正規化密度からサンプリングするアルゴリズムであるGFlowNetsを提案する。 GFlowNetsをトレーニングして、後部から潜伏者へのサンプルをトレーニングすることにより、それらの強度をアモータライズされた変分アルゴリズムとして活用する。
論文参考訳（メタデータ） (2023-02-13T18:24:21Z)
A constrained recursion algorithm for batch normalization of tree-sturctured LSTM [0.29008108937701327]
木構造LSTMは階層上の長距離相互作用を考える上で有望な方法である。提案手法はバッチ数などのハイパーパラメータチューニングに有効である。
論文参考訳（メタデータ） (2020-08-21T10:31:45Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。