論文の概要: Intuitive or Dependent? Investigating LLMs' Robustness to Conflicting
Prompts
- arxiv url: http://arxiv.org/abs/2309.17415v2
- Date: Tue, 3 Oct 2023 05:16:36 GMT
- ステータス: 処理完了
- システム内更新日: 2023-10-04 10:55:58.097597
- Title: Intuitive or Dependent? Investigating LLMs' Robustness to Conflicting
Prompts
- Title(参考訳): 直感的か依存的か?
LLMの矛盾問題に対するロバスト性の検討
- Authors: Jiahao Ying, Yixin Cao, Kai Xiong, Yidong He, Long Cui, Yongbin Liu
- Abstract要約: 提案手法は,プロンプトや記憶から正しい事実を識別する能力に着目し,LCMの動作を分類する決定スタイルと,2種類のロバスト性,事実的ロバスト性を定義する。
我々の研究は、7つのオープンソースおよびクローズドソース LLM に関する広範な実験から得られたもので、これらのモデルが誤解を招くプロンプトに対して非常に感受性が高いことが判明した。
- 参考スコア(独自算出の注目度): 9.399159332152013
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: This paper explores the robustness of LLMs' preference to their internal
memory or the given prompt, which may contain contrasting information in
real-world applications due to noise or task settings. To this end, we
establish a quantitative benchmarking framework and conduct the role playing
intervention to control LLMs' preference. In specific, we define two types of
robustness, factual robustness targeting the ability to identify the correct
fact from prompts or memory, and decision style to categorize LLMs' behavior in
making consistent choices -- assuming there is no definitive "right" answer --
intuitive, dependent, or rational based on cognitive theory. Our findings,
derived from extensive experiments on seven open-source and closed-source LLMs,
reveal that these models are highly susceptible to misleading prompts,
especially for instructing commonsense knowledge. While detailed instructions
can mitigate the selection of misleading answers, they also increase the
incidence of invalid responses. After Unraveling the preference, we intervene
different sized LLMs through specific style of role instruction, showing their
varying upper bound of robustness and adaptivity.
- Abstract(参考訳): 本稿では,実世界のアプリケーションにおけるノイズやタスク設定によるコントラスト情報を含む内部メモリやプロンプトに対するllmsの選好のロバスト性について検討する。
この目的のために,定量的ベンチマークフレームワークを構築し,llmsの選好を制御するためのロールプレイング介入を行う。
具体的に、我々は、プロンプトや記憶から正しい事実を識別する能力をターゲットにした事実的堅牢性と、認知理論に基づく決定的な「正しい」答えが存在しないと仮定して、一貫した選択を行う際のLCMの振る舞いを分類する決定スタイルという2つのタイプを定義します。
7つのオープンソースおよびクローズドソースllmに関する広範な実験から得られた知見から,これらのモデルは誤解を招くプロンプト,特にコモンセンス知識の指導に強い影響を受けやすいことが明らかとなった。
詳細な指示は誤解を招く回答の選択を緩和するが、無効な回答の発生を増加させる。
選好を解き明かした後、異なるサイズのLLMを特定のスタイルのロール・インストラクションを通して介入し、それぞれの高次のロバスト性および適応性を示す。
関連論文リスト
- LLM In-Context Recall is Prompt Dependent [0.0]
これを行うモデルの能力は、実世界のアプリケーションにおける実用性と信頼性に大きな影響を及ぼす。
本研究は, LLMのリコール能力がプロンプトの内容に影響を及ぼすだけでなく, トレーニングデータのバイアスによって損なわれる可能性があることを示す。
論文 参考訳(メタデータ) (2024-04-13T01:13:59Z) - Can large language models explore in-context? [87.49311128190143]
単純なマルチアームバンディット環境において,エージェントとして大規模言語モデルをデプロイする。
モデルが実質的な介入なしには、探索にしっかりと関わっていないことが分かっています。
論文 参考訳(メタデータ) (2024-03-22T17:50:43Z) - CogBench: a large language model walks into a psychology lab [12.981407327149679]
本稿では,7つの認知心理学実験から得られた10の行動指標を含むベンチマークであるCogBenchを紹介する。
本稿では,CagBenchを35大言語モデル(LLM)に適用し,統計的多レベルモデリング手法を用いて解析する。
オープンソースモデルは、プロプライエタリなモデルよりもリスクが高く、コードの微調整は必ずしもLLMの振舞いを促進しない。
論文 参考訳(メタデータ) (2024-02-28T10:43:54Z) - Relative Preference Optimization: Enhancing LLM Alignment through
Contrasting Responses across Identical and Diverse Prompts [100.76940486636121]
Relative Preference Optimization (RPO) は、同一のプロンプトと関連するプロンプトの両方から、より多く、あまり好まれない応答を識別するように設計されている。
RPOは、大きな言語モデルをユーザの好みに合わせて調整し、トレーニングプロセスにおける適応性を改善する優れた能力を示している。
論文で提示された結果を再現するために必要なPyTorchコードは、GitHubで公開されている。
論文 参考訳(メタデータ) (2024-02-12T22:47:57Z) - CLOMO: Counterfactual Logical Modification with Large Language Models [113.72984199026094]
本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。
生成モデルのカウンターファクトの能力を効果的に評価するために,革新的な評価指標であるLogicAware Counterfactual Scoreを提案する。
分析の結果,提案手法は人間の好みとよく一致していることがわかった。
論文 参考訳(メタデータ) (2023-11-29T08:29:54Z) - Mind the instructions: a holistic evaluation of consistency and
interactions in prompt-based learning [14.569770617709073]
本稿では,どの設計選択が課題予測の不安定性や矛盾の原因となるかを詳細に分析する。
本稿では,入力分布とラベルの相関関係が,誘導モデルにのみ小さな問題となることを示す。
統計的に分析し、どの要因が最も影響力があり、インタラクティブで、安定したかを示す。
論文 参考訳(メタデータ) (2023-10-20T13:25:24Z) - Automatic Hallucination Assessment for Aligned Large Language Models via
Transferable Adversarial Attacks [98.22864957942821]
本稿では,大規模言語モデルが忠実に振る舞う既存データを適切に修正し,評価データを自動的に生成する手法を開発することを目的とする。
具体的には,LLM ベースのフレームワークである Auto Debug について述べる。
実験結果から, LLMは, インプロンプトに与えられた知識とパラメトリック知識との間に矛盾がある場合, 質問応答シナリオの2つのカテゴリに幻覚を与える可能性が示唆された。
論文 参考訳(メタデータ) (2023-10-19T06:37:32Z) - Self-RAG: Learning to Retrieve, Generate, and Critique through
Self-Reflection [74.51523859064802]
我々は、自己回帰検索拡張生成(Self-RAG)と呼ばれる新しいフレームワークを導入する。
自己RAGは、検索と自己回帰によってLMの品質と事実性を高める。
様々なタスクセットにおいて、最先端のLCMや検索強化モデルよりも大幅に優れています。
論文 参考訳(メタデータ) (2023-10-17T18:18:32Z) - Quantifying Language Models' Sensitivity to Spurious Features in Prompt
Design or: How I learned to start worrying about prompt formatting [74.49862625580188]
言語モデル(LLM)は、言語技術の基本コンポーネントとして採用されている。
いくつかの広く使われているオープンソースLLMは、数ショット設定でプロンプトフォーマットの微妙な変更に対して非常に敏感であることがわかった。
本稿では,与えられたタスクに対して有効なプロンプトフォーマットのサンプルセットを迅速に評価するアルゴリズムを提案し,モデル重み付けにアクセスせずに期待性能の間隔を報告する。
論文 参考訳(メタデータ) (2023-10-17T15:03:30Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。