論文の概要: Word Importance Explains How Prompts Affect Language Model Outputs

• arxiv url: http://arxiv.org/abs/2403.03028v1
• Date: Tue, 5 Mar 2024 15:04:18 GMT
• ステータス: 処理完了
• システム内更新日: 2024-03-06 14:32:17.114003
• Title: Word Importance Explains How Prompts Affect Language Model Outputs
• Title（参考訳）: 言葉の重要性 - Promptsの言語モデル出力への影響
• Authors: Stefan Hackmann, Haniyeh Mahmoudian, Mark Steadman and Michael Schmidt
• Abstract要約: 本研究では,個々の単語をインプロンプトで変化させることにより,大規模言語モデルの説明可能性を向上させる手法を提案する。 古典的注目とは違って、単語の重要度は、任意に定義されたテキストスコアに対する急進的な単語の影響を測定する。 その結果,単語の重要度スコアは,複数のスコア機能において期待される接尾辞の重要度と密接に関連していることがわかった。
• 参考スコア（独自算出の注目度）: 0.7223681457195862
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: The emergence of large language models (LLMs) has revolutionized numerous applications across industries. However, their "black box" nature often hinders the understanding of how they make specific decisions, raising concerns about their transparency, reliability, and ethical use. This study presents a method to improve the explainability of LLMs by varying individual words in prompts to uncover their statistical impact on the model outputs. This approach, inspired by permutation importance for tabular data, masks each word in the system prompt and evaluates its effect on the outputs based on the available text scores aggregated over multiple user inputs. Unlike classical attention, word importance measures the impact of prompt words on arbitrarily-defined text scores, which enables decomposing the importance of words into the specific measures of interest--including bias, reading level, verbosity, etc. This procedure also enables measuring impact when attention weights are not available. To test the fidelity of this approach, we explore the effect of adding different suffixes to multiple different system prompts and comparing subsequent generations with different large language models. Results show that word importance scores are closely related to the expected suffix importances for multiple scoring functions.
• Abstract（参考訳）: 大規模言語モデル(LLM)の出現は、業界全体で多くのアプリケーションに革命をもたらした。 しかしながら、その「ブラックボックス」の性質は、特定の決定を行う方法の理解を妨げることが多く、透明性、信頼性、倫理的使用に対する懸念を提起する。 本研究では,モデル出力に対する統計的影響を明らかにするために,各単語の変動によるLCMの説明可能性の向上手法を提案する。 この手法は,複数のユーザ入力に集約されたテキストスコアに基づいて,システム内の各単語をマスキングし,その出力に対する効果を評価する。 古典的注意と異なり、単語の重要性は、任意に定義されたテキストスコアに即興語が与える影響を測定するため、単語の重要性を、バイアス、読書レベル、冗長性など、特定の関心の尺度に分解することができる。 この方法では、注意重みが得られない場合の影響も測定できる。 提案手法の有効性を検証するため,複数のシステムプロンプトに異なる接尾辞を追加し,その後の世代を異なる大規模言語モデルと比較した。 その結果、単語重要度スコアは、複数のスコアリング関数に対する期待接尾辞重要度と密接に関連していることが示された。

関連論文リスト

• Enhancing Argument Structure Extraction with Efficient Leverage of Contextual Information [79.06082391992545]
  本稿では,コンテキスト情報を完全に活用する効率的なコンテキスト認識モデル(ECASE)を提案する。 文脈情報や議論情報を集約するために,シーケンスアテンションモジュールと距離重み付き類似度損失を導入する。 各種ドメインの5つのデータセットに対する実験により,我々のモデルが最先端の性能を達成することを示す。
  論文  参考訳（メタデータ） (2023-10-08T08:47:10Z)
• Leverage Points in Modality Shifts: Comparing Language-only and Multimodal Word Representations [0.8594140167290097]
  マルチモーダル埋め込みは、テキストのみのモデルと比較して、言語の神経表現における意味情報を豊かにすることを目的としている。 本稿では,3つの視覚・言語モデルと3つのテキストのみモデルからの単語埋め込みと,静的・文脈的表現との比較を行った。 これは、46のセマンティックパラメータを含む言語表現に対する視覚的接地の効果に関する最初の大規模研究である。
  論文  参考訳（メタデータ） (2023-06-04T12:53:12Z)
• Assessing Word Importance Using Models Trained for Semantic Tasks [0.0]
  我々は、自然言語推論とパラフレーズ同定という、意味的課題を解決するために訓練されたモデルから単語の意義を導き出す。 我々は、いわゆるクロスタスク評価を用いて、それらの妥当性を評価する。 本手法は, 文章中の重要な単語を, 学習における単語のラベル付けを伴わずに識別することができる。
  論文  参考訳（メタデータ） (2023-05-31T09:34:26Z)
• Simple Linguistic Inferences of Large Language Models (LLMs): Blind Spots and Blinds [59.71218039095155]
  我々は,ほとんどの人間が自明に感じる単純な推論タスクにおいて,言語理解能力を評価する。 我々は, (i) 文法的に特定された含意, (ii) 不確実性のある明らかな副詞を持つ前提, (iii) 単調性含意を目標とする。 モデルはこれらの評価セットに対して中程度から低い性能を示す。
  論文  参考訳（メタデータ） (2023-05-24T06:41:09Z)
• Neighboring Words Affect Human Interpretation of Saliency Explanations [65.29015910991261]
  単語レベルのサリエンシの説明は、しばしばテキストベースのモデルで特徴属性を伝えるために使われる。 近年の研究では、単語の長さなどの表面的要因が、コミュニケーションされたサリエンシスコアの人間の解釈を歪めてしまうことが報告されている。 本研究では,単語の近傍にある単語のマーキングが,その単語の重要性に対する説明者の認識にどのように影響するかを検討する。
  論文  参考訳（メタデータ） (2023-05-04T09:50:25Z)
• A Linguistic Investigation of Machine Learning based Contradiction Detection Models: An Empirical Analysis and Future Perspectives [0.34998703934432673]
  本稿では,2つの自然言語推論データセットについて,その言語的特徴について分析する。 目標は、特に機械学習モデルを理解するのが難しい、構文的および意味的特性を特定することである。
  論文  参考訳（メタデータ） (2022-10-19T10:06:03Z)
• Exploiting Word Semantics to Enrich Character Representations of Chinese Pre-trained Models [12.0190584907439]
  本稿では,単語構造を利用して語彙意味を事前学習したモデルの文字表現に統合する手法を提案する。 提案手法は,中国の異なるNLPタスクにおけるBERT,BERT-wwm,ERNIEよりも優れた性能を示すことを示す。
  論文  参考訳（メタデータ） (2022-07-13T02:28:08Z)
• Unsupervised Multimodal Word Discovery based on Double Articulation Analysis with Co-occurrence cues [7.332652485849632]
  ヒトの幼児は、言語に関する最小限の事前知識で口頭語彙を取得する。 本研究では,音声単位を発見するための教師なし学習手法を提案する。 提案手法は教師なし学習を用いて音声信号から単語と音素を取得することができる。
  論文  参考訳（メタデータ） (2022-01-18T07:31:59Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• My Teacher Thinks The World Is Flat! Interpreting Automatic Essay Scoring Mechanism [71.34160809068996]
  最近の研究では、自動スコアリングシステムが常識的な敵対的サンプルになりやすいことが示されています。 近年の解釈能力の進歩を活かし,コヒーレンスやコンテント,関連性といった特徴がスコアリングの自動化にどの程度重要であるかを見出す。 また、モデルが意味的に世界知識や常識に基づかないことから、世界のような虚偽の事実を追加することは、それを減らすよりもむしろスコアを増加させる。
  論文  参考訳（メタデータ） (2020-12-27T06:19:20Z)
• Explaining Black Box Predictions and Unveiling Data Artifacts through Influence Functions [55.660255727031725]
  影響関数は、影響力のあるトレーニング例を特定することによって、モデルの判断を説明する。 本稿では,代表課題における影響関数と共通単語順応法の比較を行う。 我々は,学習データ中の成果物を明らかにすることができる影響関数に基づく新しい尺度を開発した。
  論文  参考訳（メタデータ） (2020-05-14T00:45:23Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。