論文の概要: Unveiling and Manipulating Prompt Influence in Large Language Models

• arxiv url: http://arxiv.org/abs/2405.11891v1
• Date: Mon, 20 May 2024 09:15:36 GMT
• ステータス: 処理完了
• システム内更新日: 2024-05-21 13:44:14.771133
• Title: Unveiling and Manipulating Prompt Influence in Large Language Models
• Title（参考訳）: 大規模言語モデルにおける展開と操作のプロンプトの影響
• Authors: Zijian Feng, Hanzhang Zhou, Zixiao Zhu, Junlang Qian, Kezhi Mao,
• Abstract要約: Token Distribution Dynamics (TDD)は、大規模言語モデル(LLM)の生成におけるプロンプトの役割を公表し、操作するための、テキストカラーの簡易かつ効果的なアプローチである。
• 参考スコア（独自算出の注目度）: 12.04811490937078
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Prompts play a crucial role in guiding the responses of Large Language Models (LLMs). However, the intricate role of individual tokens in prompts, known as input saliency, in shaping the responses remains largely underexplored. Existing saliency methods either misalign with LLM generation objectives or rely heavily on linearity assumptions, leading to potential inaccuracies. To address this, we propose Token Distribution Dynamics (TDD), a \textcolor{black}{simple yet effective} approach to unveil and manipulate the role of prompts in generating LLM outputs. TDD leverages the robust interpreting capabilities of the language model head (LM head) to assess input saliency. It projects input tokens into the embedding space and then estimates their significance based on distribution dynamics over the vocabulary. We introduce three TDD variants: forward, backward, and bidirectional, each offering unique insights into token relevance. Extensive experiments reveal that the TDD surpasses state-of-the-art baselines with a big margin in elucidating the causal relationships between prompts and LLM outputs. Beyond mere interpretation, we apply TDD to two prompt manipulation tasks for controlled text generation: zero-shot toxic language suppression and sentiment steering. Empirical results underscore TDD's proficiency in identifying both toxic and sentimental cues in prompts, subsequently mitigating toxicity or modulating sentiment in the generated content.
• Abstract（参考訳）: プロンプトは、LLM(Large Language Models)の応答を導く上で重要な役割を果たす。 しかし、入力サリエンシ(input saliency)と呼ばれるプロンプトにおける個々のトークンの複雑な役割は、応答を形作る際には、ほとんど未解明のままである。 既存のサリエンシ法はLLM生成目的と不一致であるか、線形性仮定に大きく依存しているかのいずれかであり、潜在的な不正確な結果をもたらす。 そこで本稿では,LLM出力生成におけるプロンプトの役割を明らかにするために,Token Distribution Dynamics (TDD) を提案する。 TDDは、言語モデルヘッド(LMヘッド)の堅牢な解釈機能を活用して、入力の正確性を評価する。 入力トークンを埋め込み空間に投影し、語彙上の分布ダイナミクスに基づいてそれらの重要性を推定する。 私たちは、前方、後方、双方向の3つのTDDのバリエーションを紹介します。 大規模な実験によって、TDDは最先端のベースラインを越え、プロンプトとLCMのアウトプット間の因果関係を解明する上で大きなマージンを持つことが明らかになった。 単なる解釈の他に、制御されたテキスト生成のための2つの迅速な操作タスク、すなわちゼロショット有害な言語抑制と感情管理にTDDを適用します。 経験的な結果は、プロンプトにおける有毒な方法と感傷的な方法の両方を識別するTDDの習熟度を強調し、その後、生成されたコンテンツにおける有毒さを緩和したり、感情を調節したりする。

関連論文リスト

• Graph-DPEP: Decomposed Plug and Ensemble Play for Few-Shot Document Relation Extraction with Graph-of-Thoughts Reasoning [34.85741925091139]
  Graph-DPEPフレームワークは、自然言語で提示された三重項の説明思想の背景にある。 我々は,サブグラフに埋め込まれた推論的思考を活用することで,型リスト全体の「アンサンブルプレイ」生成を開発する。
  論文  参考訳（メタデータ） (2024-11-05T07:12:36Z)
• Are you still on track!? Catching LLM Task Drift with Activations [55.75645403965326]
  タスクドリフトは攻撃者がデータを流出させたり、LLMの出力に影響を与えたりすることを可能にする。 そこで, 簡易線形分類器は, 分布外テストセット上で, ほぼ完全なLOC AUCでドリフトを検出することができることを示す。 このアプローチは、プロンプトインジェクション、ジェイルブレイク、悪意のある指示など、目に見えないタスクドメインに対して驚くほどうまく一般化する。
  論文  参考訳（メタデータ） (2024-06-02T16:53:21Z)
• Peering into the Mind of Language Models: An Approach for Attribution in Contextual Question Answering [9.86691461253151]
  大規模言語モデル(LLM)の隠れ状態表現を利用した文脈質問応答における帰属手法を提案する。 提案手法は,より詳細な属性を提供し,生成した回答の質を保ちながら,広範囲なモデル再訓練および検索モデルオーバーヘッドの必要性を回避している。 本稿では,LLM世代に対するトークンレベルのアノテーションを文脈質問応答設定に有する属性データセットであるVerifiability-granularを提案する。
  論文  参考訳（メタデータ） (2024-05-28T09:12:44Z)
• ULTRA: Unleash LLMs' Potential for Event Argument Extraction through Hierarchical Modeling and Pair-wise Refinement [6.39480325103865]
  イベント引数抽出(EAE)は、あるイベントのロール固有のテキストスパン(例えば、引数)を特定するタスクである。 本稿では,イベントの議論をよりコスト効率よく抽出する階層的枠組みを提案する。
  論文  参考訳（メタデータ） (2024-01-24T04:13:28Z)
• Prompt Highlighter: Interactive Control for Multi-Modal LLMs [50.830448437285355]
  本研究では,マルチモーダル LLM (LLMs&VLMs) 推論における重要な側面として,明示的な制御可能なテキスト生成を目標とする。 本稿では,新しい推論手法であるPrompt Highlighterを導入し,ユーザが特定のプロンプトスパンをハイライトし,生成中のフォーカスをインタラクティブに制御できるようにする。 推論中、注意重みを通して強調されたトークンでモデルを導くことで、より望ましい出力が得られます。
  論文  参考訳（メタデータ） (2023-12-07T13:53:29Z)
• BOOST: Harnessing Black-Box Control to Boost Commonsense in LMs' Generation [60.77990074569754]
  本稿では,凍結した事前学習言語モデルを,より汎用的な生成に向けて操る,計算効率のよいフレームワークを提案する。 具体的には、まず、文に常識的スコアを割り当てる参照なし評価器を構築する。 次に、スコアラをコモンセンス知識のオラクルとして使用し、NADOと呼ばれる制御可能な生成法を拡張して補助ヘッドを訓練する。
  論文  参考訳（メタデータ） (2023-10-25T23:32:12Z)
• Analyzing Chain-of-Thought Prompting in Large Language Models via Gradient-based Feature Attributions [10.621564997491808]
  チェーン・オブ・シークレット(CoT)のプロンプトは、大規模言語モデルの精度を実証的に改善することが示されている。 我々は、CoTプロンプトが特定の入力トークンに割り当てる相対的重要性に影響を及ぼすかどうかを検討する。 以上の結果から,CoTプロンプトは意味的関連トークンによるサリエンシスコアの規模を増大させるものではないが,サリエンシスコアのロバスト性を高め,モデル出力の摂動や変動に疑問を投げかけることが示唆された。
  論文  参考訳（メタデータ） (2023-07-25T08:51:30Z)
• Enhancing Large Language Models Against Inductive Instructions with Dual-critique Prompting [55.15697111170836]
  本稿では,大規模言語モデル(LLM)のテクスト誘導的指示に対する行動を明らかにするとともに,その真しさと有用性を高める。 広範囲な人的・自動的な評価の結果,帰納的命令処理において LLM に共通する脆弱性が発見された。 異なる帰納的スタイルがモデルに同じエラーを識別する能力に影響を及ぼし、基礎となる仮定の複雑さがモデルの性能にも影響を及ぼす。
  論文  参考訳（メタデータ） (2023-05-23T06:38:20Z)
• Guiding Large Language Models via Directional Stimulus Prompting [114.84930073977672]
  我々は,特定の所望の出力に対して,ブラックボックス大言語モデル(LLM)を導くための新しいフレームワークであるDirectional Stimulus Promptingを紹介する。 LLMを直接調整するのではなく、小さな調整可能なポリシーモデルを用いて各入力インスタンスに対して補助的な指向性刺激プロンプトを生成する。
  論文  参考訳（メタデータ） (2023-02-22T17:44:15Z)
• Dictionary-based Phrase-level Prompting of Large Language Models for Machine Translation [91.57514888410205]
  大規模言語モデル(LLM)は、プロンプトによる機械翻訳(MT)能力を示す。 LLMは、低リソースやドメイン転送のシナリオで一般的なまれな単語で入力を翻訳するのに苦労する。 LLMプロンプトは、バイリンガル辞書からの事前知識を用いてプロンプトの制御ヒントを提供することにより、稀な単語に対する効果的な解決策を提供することができることを示す。
  論文  参考訳（メタデータ） (2023-02-15T18:46:42Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。