論文の概要: Interactive Prompt Debugging with Sequence Salience

• arxiv url: http://arxiv.org/abs/2404.07498v1
• Date: Thu, 11 Apr 2024 06:22:56 GMT
• ステータス: 処理完了
• システム内更新日: 2024-04-12 14:58:47.749290
• Title: Interactive Prompt Debugging with Sequence Salience
• Title（参考訳）: シーケンスサリエンスによる対話型プロンプトデバッグ
• Authors: Ian Tenney, Ryan Mullins, Bin Du, Shree Pandya, Minsuk Kahng, Lucas Dixon,
• Abstract要約: シーケンスサリエンス(Sequence Salience)は、入力サリエンス法によるインタラクティブなプロンプトデバッグのためのビジュアルツールである。 テキスト分類と単発予測に広く用いられているサリエンス法に基づいて構築される。 Sequence SalienceはMLモデルの視覚化のためのオープンソースのプラットフォームであるLearning Interpretability Tool上に構築されている。
• 参考スコア（独自算出の注目度）: 10.040286127628365
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: We present Sequence Salience, a visual tool for interactive prompt debugging with input salience methods. Sequence Salience builds on widely used salience methods for text classification and single-token prediction, and extends this to a system tailored for debugging complex LLM prompts. Our system is well-suited for long texts, and expands on previous work by 1) providing controllable aggregation of token-level salience to the word, sentence, or paragraph level, making salience over long inputs tractable; and 2) supporting rapid iteration where practitioners can act on salience results, refine prompts, and run salience on the new output. We include case studies showing how Sequence Salience can help practitioners work with several complex prompting strategies, including few-shot, chain-of-thought, and constitutional principles. Sequence Salience is built on the Learning Interpretability Tool, an open-source platform for ML model visualizations, and code, notebooks, and tutorials are available at http://goo.gle/sequence-salience.
• Abstract（参考訳）: 本稿では,インプットサリエンス法によるインタラクティブなプロンプトデバッグのためのビジュアルツールであるSequence Salienceを紹介する。 Sequence Salienceは、テキスト分類とシングルトーケン予測に広く使われているサリエンス法に基づいて構築され、複雑なLCMプロンプトのデバッグに適したシステムに拡張されている。 我々のシステムは長文に適しており、以前の作業にも適応している。 1) 単語,文又は段落にトークンレベルのサリエンスを制御可能なアグリゲーションを提供することにより,長期入力に対するサリエンスを抽出することができる。 2)サリエンスの結果に対処し,プロンプトを洗練し,新たなアウトプットに対してサリエンスを実行する,迅速なイテレーションを支援する。 シークエンス・サリエンス(Sequence Salience)が実践者にとってどのように役立つかを示すケーススタディを含む。 Sequence SalienceはMLモデルビジュアライゼーションのためのオープンソースのプラットフォームであるLearning Interpretability Tool上に構築されており、コード、ノートブック、チュートリアルはhttp://goo.gle/sequence-salience.comで入手できる。

関連論文リスト

• XPrompt:Explaining Large Language Model's Generation via Joint Prompt Attribution [26.639271355209104]
  LLM(Large Language Models)は複雑なテキスト生成タスクにおいて顕著なパフォーマンスを示す。 生成したコンテンツに対する入力プロンプトの寄与は、まだ人間には明らかでない。 本稿では,共同プロンプト帰属型XPromptに基づく実例説明フレームワークを提案する。
  論文  参考訳（メタデータ） (2024-05-30T18:16:41Z)
• kNN-ICL: Compositional Task-Oriented Parsing Generalization with Nearest Neighbor In-Context Learning [50.40636157214161]
  Task-Oriented Parsing (TOP)により、会話アシスタントは自然言語で表現されたユーザーコマンドを解釈できる。 LLMは、自然言語のプロンプトに基づいて、コンピュータプログラムにおいて印象的な性能を達成した。 本稿では,LLMのセマンティック解析機能を活用することに焦点を当てる。
  論文  参考訳（メタデータ） (2023-12-17T17:26:50Z)
• Code Prompting: a Neural Symbolic Method for Complex Reasoning in Large Language Models [74.95486528482327]
  コードプロンプト(code prompting)は、ゼロショットバージョンと少数ショットバージョンの両方を持ち、中間ステップとしてコードをトリガーするニューラルシンボルプロンプトである。 我々は,記号的推論と算術的推論を含む7つの広く使用されているベンチマーク実験を行った。
  論文  参考訳（メタデータ） (2023-05-29T15:14:09Z)
• Boosted Prompt Ensembles for Large Language Models [38.402161594793775]
  チェーン・オブ・ソート・プロンプトや自己整合性といった手法は、追加のトレーニングを伴わずに、言語モデル推論のパフォーマンスのフロンティアを押し上げている。 大規模言語モデルのためのプロンプトアンサンブル手法を提案する。これは、小さなデータセットを用いて、強化されたプロンプトアンサンブルを構成する一連のショットプロンプトを構成する。」 これにより,GSM8kおよびAQuAデータセットにおいて,単一プロンプトの出力空間アンサンブルとタグ付きプロンプト空間アンサンブルより優れることを示す。
  論文  参考訳（メタデータ） (2023-04-12T16:47:15Z)
• ADAPT: Vision-Language Navigation with Modality-Aligned Action Prompts [92.92047324641622]
  視覚言語ナビゲーション(VLN)のためのmodAlity-aligneD Action PrompT(ADAPT)を提案する。 ADAPTは、アクションレベルのモダリティアライメントの明示的な学習を可能にするために、アクションプロンプトをVLNエージェントに提供する。 R2RとRxRの両方の実験結果は、最先端手法よりもADAPTの方が優れていることを示している。
  論文  参考訳（メタデータ） (2022-05-31T02:41:31Z)
• BLISS: Robust Sequence-to-Sequence Learning via Self-Supervised Input Representation [92.75908003533736]
  本稿では,自己教師型入力表現を用いたフレームワークレベルの頑健なシーケンス・ツー・シーケンス学習手法BLISSを提案する。 我々は,機械翻訳,文法的誤り訂正,テキスト要約など,BLISSの様々なタスクにおける有効性を検証するための総合的な実験を行った。
  論文  参考訳（メタデータ） (2022-04-16T16:19:47Z)
• Learning to Ask Conversational Questions by Optimizing Levenshtein Distance [83.53855889592734]
  明示的な編集動作によって最小レベンシュテイン距離(MLD)を最適化する強化反復シーケンス編集(RISE)フレームワークを導入する。 RISEは会話の特徴に関連するトークンに注意を払うことができる。 2つのベンチマークデータセットの実験結果から、RISEは最先端の手法を大幅に上回っていることがわかった。
  論文  参考訳（メタデータ） (2021-06-30T08:44:19Z)
• BUSTLE: Bottom-Up Program Synthesis Through Learning-Guided Exploration [72.88493072196094]
  プログラムのボトムアップ検索に学習を活用する新しい合成手法を提案する。 特に、入力出力例のセットに基づいて、探索条件中の中間値の合成を優先順位付けするようにモデルを訓練する。 単純な教師付き学習アプローチであっても,学習とボトムアップ検索の組み合わせは極めて効果的であることを示す。
  論文  参考訳（メタデータ） (2020-07-28T17:46:18Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。