論文の概要: Language hooks: a modular framework for augmenting LLM reasoning that decouples tool usage from the model and its prompt

• arxiv url: http://arxiv.org/abs/2412.05967v1
• Date: Sun, 08 Dec 2024 15:16:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-10 14:59:02.702527
• Title: Language hooks: a modular framework for augmenting LLM reasoning that decouples tool usage from the model and its prompt
• Title（参考訳）: 言語フック:モデルとプロンプトからツールの使用を分離するLLM推論を拡張するためのモジュラーフレームワーク
• Authors: Damien de Mijolla, Wen Yang, Philippa Duckett, Christopher Frye, Mark Worrall,
• Abstract要約: 新機能で言語モデルを拡張するための新しいフレームワークであるLanguage hooksを紹介します。 我々は、最先端のベースラインに対して我々の手法をベンチマークし、タスク認識アプローチよりも優れていることを発見した。
• 参考スコア（独自算出の注目度）: 7.096646842716599
• License:
• Abstract: Prompting and fine-tuning have emerged as two competing paradigms for augmenting language models with new capabilities, such as the use of tools. Prompting approaches are quick to set up but rely on providing explicit demonstrations of each tool's usage in the model's prompt, thus coupling tool use to the task at hand and limiting generalisation. Fine-tuning removes the need for task-specific demonstrations of tool usage at runtime; however, this ties new capabilities to a single model, thus making already-heavier setup costs a recurring expense. In this paper, we introduce language hooks, a novel framework for augmenting language models with new capabilities that is decoupled both from the model's task-specific prompt and from the model itself. The language hook algorithm interleaves text generation by the base model with the execution of modular programs that trigger conditionally based on the existing text and the available capabilities. Upon triggering, programs may call external tools, auxiliary language models (e.g. using tool specific prompts), and modify the existing context. We benchmark our method against state-of-the-art baselines, find that it outperforms task-aware approaches, and demonstrate its ability to generalise to novel tasks.
• Abstract（参考訳）: プロンプティングと微調整は、ツールの使用など新しい機能を備えた言語モデルを拡張するための2つの競合するパラダイムとして登場した。 プロンプティングアプローチは簡単にセットアップできるが、モデルのプロンプトで各ツールの使用例を明示的に示すことに頼っている。 微調整により、実行時にツール使用のタスク固有のデモが不要になるが、これは新しい機能を単一のモデルに結び付けるため、既に重いセットアップを繰り返すコストがかかる。 本稿では,言語モデルの拡張のための新しいフレームワークであるLanguage hooksを紹介する。 言語フックアルゴリズムは、既存のテキストと利用可能な機能に基づいて条件付きでトリガーするモジュールプログラムの実行により、ベースモデルによるテキスト生成をインターリーブする。 起動すると、プログラムは外部ツール、補助言語モデル(例えば、ツール固有のプロンプトを使用する)を呼び出し、既存のコンテキストを変更することができる。 提案手法を最先端のベースラインに対してベンチマークし,タスク認識アプローチよりも優れた性能を示し,新しいタスクに一般化する能力を実証する。

関連論文リスト

• CMULAB: An Open-Source Framework for Training and Deployment of Natural Language Processing Models [59.91221728187576]
  本稿では,NLPモデルのモデル展開と連続的なヒューマン・イン・ザ・ループの微調整を簡単にするオープンソースフレームワークであるCMU言語バックエンドを紹介する。 CMULABは、マルチ言語モデルのパワーを活用して、音声認識、OCR、翻訳、構文解析などの既存のツールを新しい言語に迅速に適応し、拡張することができる。
  論文  参考訳（メタデータ） (2024-04-03T02:21:46Z)
• ART: Automatic multi-step reasoning and tool-use for large language models [105.57550426609396]
  大規模言語モデル(LLM)は、数秒とゼロショットの設定で複雑な推論を行うことができる。 各推論ステップは、コアLLM機能を超えて計算をサポートする外部ツールに依存することができる。 プログラムとして中間推論ステップを自動生成するために凍結LDMを使用するフレームワークであるART(Automatic Reasoning and Tool-use)を導入する。
  論文  参考訳（メタデータ） (2023-03-16T01:04:45Z)
• Augmented Language Models: a Survey [55.965967655575454]
  この調査は、言語モデル(LM)が推論スキルとツールの使用能力で強化されているかのレビューを行う。 私たちはこれらをAugmented Language Models (ALMs)と呼ぶ。 トークンの目的の欠如により、ALMは標準的な自然言語タスクを実行しながら、推論、ツールの使用、さらには行動を学ぶことができる。
  論文  参考訳（メタデータ） (2023-02-15T18:25:52Z)
• Toolformer: Language Models Can Teach Themselves to Use Tools [62.04867424598204]
  言語モデル(LM)は、特に大規模において、いくつかの例やテキスト命令から新しいタスクを解く素晴らしい能力を示す。 LMは、シンプルなAPIを通じて外部ツールの使用を自覚し、両方の世界のベストを達成できることを示します。 Toolformerは、どのAPIを呼び出すか、いつ呼び出すか、どの引数を渡すか、結果を将来のトークン予測に最もうまく組み込む方法を訓練したモデルです。
  論文  参考訳（メタデータ） (2023-02-09T16:49:57Z)
• Prompting Is Programming: A Query Language for Large Language Models [5.8010446129208155]
  我々はLMP(Language Model Programming)という新しいアイデアを提示する。 LMPは、純粋なテキストプロンプトからテキストプロンプトとスクリプティングの直感的な組み合わせまで、言語モデルを一般化する。 LMQLは、さまざまな最先端のプロンプトメソッドを直感的にキャプチャできることを示す。
  論文  参考訳（メタデータ） (2022-12-12T18:09:09Z)
• Interactive and Visual Prompt Engineering for Ad-hoc Task Adaptation with Large Language Models [116.25562358482962]
  最先端のニューラルネットワークモデルは、教師付きトレーニングを必要とせずに、アドホックな言語タスクを解決するために使用することができる。 PromptIDEを使えば、ユーザはプロンプトのバリエーションを試すことができ、プロンプトのパフォーマンスを視覚化し、反復的にプロンプトを最適化できる。
  論文  参考訳（メタデータ） (2022-08-16T17:17:53Z)
• Few-shot Prompting Towards Controllable Response Generation [49.479958672988566]
  まず,モデルのパラメータにアクセスすることなく,モデル生成に対するプロンプトと強化学習(RL)の組み合わせについて検討した。 マルチタスク学習を適用して、モデルが新しいタスクをより良く一般化できるようにします。 実験の結果,提案手法はパラメータにアクセスすることなく,複数のSOTA(State-of-the-art)対話モデルを制御することができることがわかった。
  論文  参考訳（メタデータ） (2022-06-08T14:48:06Z)
• EXPATS: A Toolkit for Explainable Automated Text Scoring [2.299617836036273]
  ユーザが様々なATSモデルを迅速に開発、実験できるオープンソースフレームワークであるEXPATSについて紹介する。 また、このツールキットはLanguage Interpretability Tool(LIT)とシームレスに統合できるため、モデルとその予測を解釈および視覚化できます。
  論文  参考訳（メタデータ） (2021-04-07T19:29:06Z)
• Prompt Programming for Large Language Models: Beyond the Few-Shot Paradigm [0.0]
  自然言語のレンズを通してプロンプトを考えることの有用性を強調しながら,プロンプトプログラミングの手法について論じる。 モデルに種を付けて、さまざまなタスクのための独自の自然言語プロンプトを生成するメタプロンプトのアイデアを紹介します。
  論文  参考訳（メタデータ） (2021-02-15T05:27:55Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。