論文の概要: Unnatural language processing: How do language models handle machine-generated prompts?

• arxiv url: http://arxiv.org/abs/2310.15829v1
• Date: Tue, 24 Oct 2023 13:32:20 GMT
• ステータス: 処理完了
• システム内更新日: 2023-10-25 18:41:58.781013
• Title: Unnatural language processing: How do language models handle machine-generated prompts?
• Title（参考訳）: 非自然言語処理: 言語モデルはマシン生成プロンプトをどのように扱うか?
• Authors: Corentin Kervadec, Francesca Franzon and Marco Baroni
• Abstract要約: 我々は機械生成プロンプトを用いて、自然言語表現を含まない入力に対してモデルがどのように反応するかを探索する。 連続的および離散的な機械生成プロンプトに応答する複数の意味的タスクにおいて,異なる大きさのモデルの挙動について検討する。
• 参考スコア（独自算出の注目度）: 12.00724154801388
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language model prompt optimization research has shown that semantically and grammatically well-formed manually crafted prompts are routinely outperformed by automatically generated token sequences with no apparent meaning or syntactic structure, including sequences of vectors from a model's embedding space. We use machine-generated prompts to probe how models respond to input that is not composed of natural language expressions. We study the behavior of models of different sizes in multiple semantic tasks in response to both continuous and discrete machine-generated prompts, and compare it to the behavior in response to human-generated natural-language prompts. Even when producing a similar output, machine-generated and human prompts trigger different response patterns through the network processing pathways, including different perplexities, different attention and output entropy distributions, and different unit activation profiles. We provide preliminary insight into the nature of the units activated by different prompt types, suggesting that only natural language prompts recruit a genuinely linguistic circuit.
• Abstract（参考訳）: 言語モデルプロンプト最適化研究は、モデル埋め込み空間からのベクトル列を含む、明確な意味や構文構造を持たない自動生成されたトークンシーケンスによって、意味論的および文法上、手作業によるプロンプトがルーチン的に上回ることを示した。 我々は機械生成プロンプトを用いて、自然言語表現を含まない入力に対してモデルがどのように反応するかを探索する。 連続的および離散的な機械生成プロンプトに応答し,複数の意味タスクにおいて異なる大きさのモデルの挙動を考察し,人間の生成した自然言語プロンプトに応答する振る舞いと比較した。 同様の出力を生成する場合でも、マシン生成とヒューマンプロンプトは、異なるパープレキシティ、異なる注意と出力エントロピー分布、異なるユニットアクティベーションプロファイルを含む、ネットワーク処理経路を通じて異なる応答パターンをトリガーする。 我々は、異なるプロンプトタイプによって活性化される単位の性質について予備的な洞察を与え、自然言語のみが真に言語的な回路をリクルートすることを示唆する。

関連論文リスト

• Can discrete information extraction prompts generalize across language models? [36.85568212975316]
  自動誘導型プロンプトをアウト・オブ・ザ・ボックス(out-of-the-box)として使用して,他の言語モデルに対して同じ情報を求めることができるかを検討する。 学習時に言語モデルを混合することでプロンプトを誘導する手法を導入し、モデル間でよく一般化するプロンプトを導出する。
  論文  参考訳（メタデータ） (2023-02-20T09:56:51Z)
• Language Model-Based Paired Variational Autoencoders for Robotic Language Learning [18.851256771007748]
  人間の幼児と同様、人工エージェントは環境と対話しながら言語を学ぶことができる。 本稿では,ロボットの動作と言語記述を双方向に結合するニューラルモデルを提案する。 次に, PVAE-BERTを導入し, 事前訓練された大規模言語モデルとモデルを同調する。
  論文  参考訳（メタデータ） (2022-01-17T10:05:26Z)
• Examining the Inductive Bias of Neural Language Models with Artificial Languages [42.699545862522214]
  本稿では,人工言語を用いた言語モデルの帰納的バイアスを調査するための新しい手法を提案する。 これは完全に制御された因果関係のフレームワークを構成し、文法工学がニューラルモデルを分析するのに有用なツールであることを示す。
  論文  参考訳（メタデータ） (2021-06-02T09:34:32Z)
• Constrained Language Models Yield Few-Shot Semantic Parsers [73.50960967598654]
  我々は,事前学習された大規模言語モデルの利用を,少ない意味論として検討する。 意味構文解析の目標は、自然言語入力によって構造化された意味表現を生成することである。 言語モデルを用いて、入力を英語に似た制御されたサブ言語にパラフレーズし、対象の意味表現に自動的にマッピングする。
  論文  参考訳（メタデータ） (2021-04-18T08:13:06Z)
• Evaluating the Morphosyntactic Well-formedness of Generated Texts [88.20502652494521]
  L'AMBRE – テキストのモルフォシンタク的整形性を評価する指標を提案する。 形態的に豊かな言語に翻訳するシステムのダイアクロニックスタディを通じて,機械翻訳作業におけるメトリックの有効性を示す。
  論文  参考訳（メタデータ） (2021-03-30T18:02:58Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Infusing Finetuning with Semantic Dependencies [62.37697048781823]
  シンタックスとは異なり、セマンティクスは今日の事前訓練モデルによって表面化されないことを示す。 次に、畳み込みグラフエンコーダを使用して、タスク固有の微調整にセマンティック解析を明示的に組み込む。
  論文  参考訳（メタデータ） (2020-12-10T01:27:24Z)
• The Turking Test: Can Language Models Understand Instructions? [45.266428794559495]
  本稿では,様々な複雑さの自然言語命令に従うモデルの能力を検証したチューリングテストを提案する。 優れた評価手法にもかかわらず、大きな事前訓練された言語モデルが全てのタスクで不十分に機能することを観察する。
  論文  参考訳（メタデータ） (2020-10-22T18:44:16Z)
• Mechanisms for Handling Nested Dependencies in Neural-Network Language Models and Humans [75.15855405318855]
  我々は,「深層学習」手法で訓練された現代人工ニューラルネットワークが,人間の文処理の中心的な側面を模倣するかどうかを検討した。 ネットワークは、大きなコーパスで次の単語を予測するためにのみ訓練されたが、分析の結果、局所的および長距離の構文合意をうまく処理する特別なユニットが出現した。 我々は,複数の名詞の単数/複数状態における体系的な変化を伴う文中の数一致の違反を人間が検出する行動実験において,モデルの予測を検証した。
  論文  参考訳（メタデータ） (2020-06-19T12:00:05Z)
• UniLMv2: Pseudo-Masked Language Models for Unified Language Model Pre-Training [152.63467944568094]
  本稿では,自動エンコーディングと部分的自己回帰型言語モデリングタスクの両方に対して,統一言語モデルを事前学習することを提案する。 実験の結果,PMLMを用いて事前学習した統一言語モデルは,多種多様な自然言語理解・生成タスクにおいて,新たな最先端の成果が得られることがわかった。
  論文  参考訳（メタデータ） (2020-02-28T15:28:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。