Fugu-MT 論文翻訳(概要): Parse Trees Guided LLM Prompt Compression

論文の概要: Parse Trees Guided LLM Prompt Compression

arxiv url: http://arxiv.org/abs/2409.15395v1
Date: Mon, 23 Sep 2024 06:21:40 GMT
ステータス: 処理完了
システム内更新日: 2024-09-26 13:10:19.070406
Title: Parse Trees Guided LLM Prompt Compression
Title（参考訳）: Parse TreesガイドによるLLM Prompt圧縮
Authors: Wenhao Mao, Chengbin Hou, Tianyu Zhang, Xinyu Lin, Ke Tang, Hairong Lv,
Abstract要約: 本稿では、PartPromptと呼ばれる新しい選択的圧縮手法を提案する。まず、言語規則に基づいて各文のパースツリーを取得し、パースツリーの各ノードのローカル情報エントロピーを算出する。実験によると、PartPromptはさまざまなデータセットで最先端のパフォーマンスを受信している。
参考スコア（独自算出の注目度）: 20.61121589698341
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Offering rich contexts to Large Language Models (LLMs) has shown to boost the performance in various tasks, but the resulting longer prompt would increase the computational cost and might exceed the input limit of LLMs. Recently, some prompt compression methods have been suggested to shorten the length of prompts by using language models to generate shorter prompts or by developing computational models to select important parts of original prompt. The generative compression methods would suffer from issues like hallucination, while the selective compression methods have not involved linguistic rules and overlook the global structure of prompt. To this end, we propose a novel selective compression method called PartPrompt. It first obtains a parse tree for each sentence based on linguistic rules, and calculates local information entropy for each node in a parse tree. These local parse trees are then organized into a global tree according to the hierarchical structure such as the dependency of sentences, paragraphs, and sections. After that, the root-ward propagation and leaf-ward propagation are proposed to adjust node values over the global tree. Finally, a recursive algorithm is developed to prune the global tree based on the adjusted node values. The experiments show that PartPrompt receives the state-of-the-art performance across various datasets, metrics, compression ratios, and target LLMs for inference. The in-depth ablation studies confirm the effectiveness of designs in PartPrompt, and other additional experiments also demonstrate its superiority in terms of the coherence of compressed prompts and in the extreme long prompt scenario.
Abstract（参考訳）: LLM(Large Language Models)にリッチなコンテキストを提供することによって、様々なタスクのパフォーマンスが向上することが示されているが、その結果、より長いプロンプトによって計算コストが増加し、LLMの入力限界を超える可能性がある。近年、言語モデルを用いて短いプロンプトを生成することや、オリジナルのプロンプトの重要な部分を選択するための計算モデルを開発することにより、プロンプトの長さを短縮するプロンプト圧縮法が提案されている。生成的圧縮法は幻覚のような問題に悩まされるが、選択的圧縮法は言語規則にかかわらず、プロンプトのグローバルな構造を見落としている。そこで本研究では、PartPromptと呼ばれる新しい選択的圧縮手法を提案する。まず、言語規則に基づいて各文のパースツリーを取得し、パースツリーの各ノードのローカル情報エントロピーを算出する。これらの局所的なパースツリーは、文、段落、セクションの依存関係などの階層構造に従って、グローバルツリーに整理される。その後、大域樹上のノード値を調整するために、ルートワード伝播とリーフワード伝播を提案する。最後に、調整したノード値に基づいてグローバルツリーをプルークする再帰アルゴリズムを開発した。実験の結果、PartPromptはさまざまなデータセット、メトリクス、圧縮比、ターゲットのLLMに対して、最先端のパフォーマンスを受信していることがわかった。深部アブレーション研究は、PartPromptの設計の有効性を確認し、その他の追加実験は、圧縮プロンプトのコヒーレンスや極端に長いプロンプトのシナリオにおいて、その優位性を証明している。

関連論文リスト

LiteSearch: Efficacious Tree Search for LLM [70.29796112457662]
本研究では,動的ノード選択とノードレベルの探索予算を備えた新しいガイド付き木探索アルゴリズムを提案する。 GSM8KおよびTabMWPデータセットを用いて行った実験により,本手法はベースライン法に比べて計算コストが大幅に低いことを示した。
論文参考訳（メタデータ） (2024-06-29T05:14:04Z)
Nearest Neighbor Speculative Decoding for LLM Generation and Attribution [87.3259169631789]
Nearest Speculative Decoding (NEST)は、任意の長さの実世界のテキストスパンをLM世代に組み込むことができ、それらのソースへの属性を提供する。 NESTは、様々な知識集約タスクにおいて、基本LMの生成品質と帰属率を大幅に向上させる。さらに、NESTは、Llama-2-Chat 70Bに適用した場合の推論時間において1.8倍のスピードアップを達成することにより、生成速度を大幅に改善する。
論文参考訳（メタデータ） (2024-05-29T17:55:03Z)
Recursive Speculative Decoding: Accelerating LLM Inference via Sampling Without Replacement [11.91629418177851]
投機的復号法(英: Speculative decoding)は、大規模言語モデルの推論・加速度法である。近年の作業では、草稿の伐採によってこの方法が進歩している。再帰的投機的復号法(Recursive Speculative Decoding:RSD)を提案する。
論文参考訳（メタデータ） (2024-02-21T22:57:49Z)
Tree Prompting: Efficient Task Adaptation without Fine-Tuning [112.71020326388029]
Tree Promptingはプロンプトの決定ツリーを構築し、複数のLMコールをリンクしてタスクを解決する。分類データセットの実験により、Tree Promptingは競合するメソッドよりも精度が向上し、微調整と競合することが示された。
論文参考訳（メタデータ） (2023-10-21T15:18:22Z)
TreePrompt: Learning to Compose Tree Prompts for Explainable Visual Grounding [17.9785504685384]
本稿では,ツリープロンプトと呼ばれる説明可能な機能を備えた新しいプロンプト構築パラダイムを提案する。具体的には、まず複雑な文を木に分解し、それは人間の推論と一致する。このステップバイステップのプロンプト構築プロセスのおかげで、各中間プロンプト(つまりツリーノード)は推論プロセスを理解することができる。
論文参考訳（メタデータ） (2023-05-19T07:52:22Z)
Hypotheses Tree Building for One-Shot Temporal Sentence Localization [53.82714065005299]
ワンショット時間文のローカライゼーション(ワンショットTSL)は、1つの注釈付きフレームだけでビデオ全体のクエリ情報を取得することを学習する。我々はMHST(Multiple hypotheses Segment Tree)と呼ばれるワンショットTSLのための有効で斬新な木構造ベースラインを提案する。 MHSTは、不十分なアノテーションの下で、クエリ対応の識別フレーム情報をキャプチャする。
論文参考訳（メタデータ） (2023-01-05T01:50:43Z)
Explaining Patterns in Data with Language Models via Interpretable Autoprompting [143.4162028260874]
本稿では,データを説明する自然言語文字列を生成するアルゴリズムである,解釈可能なオートプロンプト(iPrompt)を提案する。 iPromptは、基盤となるデータセット記述を正確に見つけることで、意味のある洞察を得ることができる。 fMRIデータセットを用いた実験は、iPromptが科学的発見に役立つ可能性を示している。
論文参考訳（メタデータ） (2022-10-04T18:32:14Z)
TreeMix: Compositional Constituency-based Data Augmentation for Natural Language Understanding [56.794981024301094]
自然言語理解のための合成データ拡張手法であるTreeMixを提案する。具体的には、TreeMixは、選択構文解析木を利用して、文章を構成要素のサブ構造に分解し、ミックスアップデータ拡張技術を使って、それらを再結合して新しい文を生成する。従来のアプローチと比較して、TreeMixは生成されたサンプルにより多様性を導入し、NLPデータの合成性を学ぶようモデルに促している。
論文参考訳（メタデータ） (2022-05-12T15:25:12Z)
RST Parsing from Scratch [14.548146390081778]
本稿では、RST(Rhetorical Structure Theory)フレームワークにおいて、文書レベルの言論解析の新しいエンドツーエンドの定式化を導入する。本フレームワークは,会話のセグメンテーションを前提条件として必要とせず,スクラッチからの談話解析を容易にする。我々の統合構文解析モデルでは、ビームサーチを用いて、最高の木構造を高速な木々の空間を探索することでデコードする。
論文参考訳（メタデータ） (2021-05-23T06:19:38Z)
Unsupervised Learning of Discourse Structures using a Tree Autoencoder [8.005512864082126]
本研究では, 自動符号化目的による潜在木誘導フレームワークを拡張することにより, タスクに依存しない, 監視されていない方法で木構造を生成する新しい戦略を提案する。提案されたアプローチは、構文解析、談話解析など、任意のツリー目的に適用することができる。本稿では,複数の領域における自然文の一般的な木構造を推定し,様々なタスクで有望な結果を示す。
論文参考訳（メタデータ） (2020-12-17T08:40:34Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。