論文の概要: Tree Prompting: Efficient Task Adaptation without Fine-Tuning

• arxiv url: http://arxiv.org/abs/2310.14034v1
• Date: Sat, 21 Oct 2023 15:18:22 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 04:00:06.200061
• Title: Tree Prompting: Efficient Task Adaptation without Fine-Tuning
• Title（参考訳）: Tree Prompting: 微調整なしの効率的なタスク適応
• Authors: John X. Morris, Chandan Singh, Alexander M. Rush, Jianfeng Gao, Yuntian Deng
• Abstract要約: Tree Promptingはプロンプトの決定ツリーを構築し、複数のLMコールをリンクしてタスクを解決する。 分類データセットの実験により、Tree Promptingは競合するメソッドよりも精度が向上し、微調整と競合することが示された。
• 参考スコア（独自算出の注目度）: 112.71020326388029
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompting language models (LMs) is the main interface for applying them to new tasks. However, for smaller LMs, prompting provides low accuracy compared to gradient-based finetuning. Tree Prompting is an approach to prompting which builds a decision tree of prompts, linking multiple LM calls together to solve a task. At inference time, each call to the LM is determined by efficiently routing the outcome of the previous call using the tree. Experiments on classification datasets show that Tree Prompting improves accuracy over competing methods and is competitive with fine-tuning. We also show that variants of Tree Prompting allow inspection of a model's decision-making process.
• Abstract（参考訳）: 言語モデル(LM)は、それらを新しいタスクに適用するための主要なインターフェースである。 しかし、小さいLMでは、グラデーションベースの微調整に比べて精度が低い。 Tree Promptingは、プロンプトの意思決定ツリーを構築するプロンプトのアプローチで、複数のLMコールをリンクしてタスクを解決する。 推定時に、この木を用いて前の呼び出しの結果を効率よくルーティングすることによりLMへの呼び出しを決定する。 分類データセットの実験により、Tree Promptingは競合するメソッドよりも精度が向上し、微調整と競合することが示された。 また、モデルの意思決定プロセスの検査を可能にする木プロンプトの変種についても示す。

関連論文リスト

• Parse Trees Guided LLM Prompt Compression [20.61121589698341]
  本稿では、PartPromptと呼ばれる新しい選択的圧縮手法を提案する。 まず、言語規則に基づいて各文のパースツリーを取得し、パースツリーの各ノードのローカル情報エントロピーを算出する。 実験によると、PartPromptはさまざまなデータセットで最先端のパフォーマンスを受信している。
  論文  参考訳（メタデータ） (2024-09-23T06:21:40Z)
• LiteSearch: Efficacious Tree Search for LLM [70.29796112457662]
  本研究では,動的ノード選択とノードレベルの探索予算を備えた新しいガイド付き木探索アルゴリズムを提案する。 GSM8KおよびTabMWPデータセットを用いて行った実験により,本手法はベースライン法に比べて計算コストが大幅に低いことを示した。
  論文  参考訳（メタデータ） (2024-06-29T05:14:04Z)
• Prompt Exploration with Prompt Regression [38.847668543140315]
  本稿では,プロンプト回帰を用いたプロンプト探索(Pmpt Exploration with Prompt Regression,PEPR)を提案する。 我々は,複数の異なるタスクに対して,異なるサイズのオープンソースLLMを用いてアプローチを評価した。
  論文  参考訳（メタデータ） (2024-05-17T20:30:49Z)
• Autonomous Tree-search Ability of Large Language Models [58.68735916408101]
  大規模言語モデルは、高度なプロンプト技術で顕著な推論能力に優れています。 近年の研究では、LLMがより困難な推論タスクを解くために受動的木探索を行えるように、検索ロジックを定義するために外部プログラムを活用することが提案されている。 我々は,LLMの自律木探索能力という新しい概念を提案し,正しい解を求める探索軌跡を含む応答を自動生成する。
  論文  参考訳（メタデータ） (2023-10-14T14:14:38Z)
• Tree-Planner: Efficient Close-loop Task Planning with Large Language Models [63.06270302774049]
  Tree-Plannerは、大きな言語モデルでタスクプランニングを3つの異なるフェーズに再構成する。 Tree-Plannerは高い効率を維持しながら最先端のパフォーマンスを実現する。
  論文  参考訳（メタデータ） (2023-10-12T17:59:50Z)
• TreeDQN: Learning to minimize Branch-and-Bound tree [78.52895577861327]
  Branch-and-Boundは、Mixed Linear Programsという形で最適化タスクを解決するための便利なアプローチである。 解法の効率は、分割する変数を選択するのに使用される分岐に依存する。 分岐を効率的に学習できる強化学習法を提案する。
  論文  参考訳（メタデータ） (2023-06-09T14:01:26Z)
• TreePrompt: Learning to Compose Tree Prompts for Explainable Visual Grounding [17.9785504685384]
  本稿では,ツリープロンプトと呼ばれる説明可能な機能を備えた新しいプロンプト構築パラダイムを提案する。 具体的には、まず複雑な文を木に分解し、それは人間の推論と一致する。 このステップバイステップのプロンプト構築プロセスのおかげで、各中間プロンプト(つまりツリーノード)は推論プロセスを理解することができる。
  論文  参考訳（メタデータ） (2023-05-19T07:52:22Z)
• METGEN: A Module-Based Entailment Tree Generation Framework for Answer Explanation [59.33241627273023]
  複数のモジュールと推論コントローラを備えたモジュールベースのEntailment Tree GENフレームワークMETGENを提案する。 質問に対して、METGENは、別々のモジュールで単一ステップのエンタテインメントを実行し、コントローラで推論フローを選択することで、エンタテインメントツリーを反復的に生成することができる。 実験の結果,METGENは従来の最先端モデルよりも9%のパラメータで優れていた。
  論文  参考訳（メタデータ） (2022-05-05T12:06:02Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。