論文の概要: Do LLMs "know" internally when they follow instructions?

• arxiv url: http://arxiv.org/abs/2410.14516v2
• Date: Tue, 22 Oct 2024 15:20:00 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-10-23 14:30:32.108322
• Title: Do LLMs "know" internally when they follow instructions?
• Title（参考訳）: LLMは命令に従うとき、内部で"知識"を持つか?
• Authors: Juyeon Heo, Christina Heinze-Deml, Oussama Elachqar, Shirley Ren, Udhay Nallasamy, Andy Miller, Kwan Ho Ryan Chan, Jaya Narain,
• Abstract要約: この次元に沿った表現の修正は、ランダムな変化に比べて、命令追従の成功率を改善することを示す。 また、この次元は、タスクや命令の固有の困難さよりも、プロンプトの表現に密接に関連していることも判明した。
• 参考スコア（独自算出の注目度）: 7.87370534634794
• License:
• Abstract: Instruction-following is crucial for building AI agents with large language models (LLMs), as these models must adhere strictly to user-provided constraints and guidelines. However, LLMs often fail to follow even simple and clear instructions. To improve instruction-following behavior and prevent undesirable outputs, a deeper understanding of how LLMs' internal states relate to these outcomes is required. Our analysis of LLM internal states reveal a dimension in the input embedding space linked to successful instruction-following. We demonstrate that modifying representations along this dimension improves instruction-following success rates compared to random changes, without compromising response quality. Further investigation reveals that this dimension is more closely related to the phrasing of prompts rather than the inherent difficulty of the task or instructions. This discovery also suggests explanations for why LLMs sometimes fail to follow clear instructions and why prompt engineering is often effective, even when the content remains largely unchanged. This work provides insight into the internal workings of LLMs' instruction-following, paving the way for reliable LLM agents.
• Abstract（参考訳）: 命令追従は、大きな言語モデル(LLM)でAIエージェントを構築するために不可欠である。 しかし、LSMは単純で明確な命令に従わないことが多い。 命令追従動作を改善し、望ましくない出力を防止するためには、LSMの内部状態がこれらの結果とどのように関連しているかをより深く理解する必要がある。 LLMの内部状態の解析では、入力埋め込み空間の次元が命令追従の成功に結びついていることが明らかになった。 この次元に沿った表現の修正は、応答品質を損なうことなく、ランダムな変化に比べて、命令追従の成功率を改善することを実証する。 さらなる調査により、この次元はタスクや指示の固有の困難さよりも、プロンプトの表現とより密接に関連していることが明らかになった。 この発見はまた、なぜLCMが明確な指示に従わなかったのか、また、コンテンツがほとんど変化していない場合でも、プロンプトエンジニアリングがしばしば有効である理由を示唆している。 この研究は、LLMの内部動作に関する洞察を与え、信頼性の高いLLMエージェントへの道を開いた。

関連論文リスト

• LLM-Generated Black-box Explanations Can Be Adversarially Helpful [16.49758711633611]
  大規模言語モデル(LLM)は,デジタルアシスタントとして機能することで,複雑な問題の解決と理解を支援する。 私たちの研究は、このアプローチに結びついている隠れたリスクを明らかにします。 LLMの説明が間違った答えを正しく見せると、これは起こります。
  論文  参考訳（メタデータ） (2024-05-10T20:23:46Z)
• FLAME: Factuality-Aware Alignment for Large Language Models [86.76336610282401]
  従来のアライメントプロセスでは,大規模言語モデル(LLM)の事実精度が向上しない。 両段階の幻覚につながる要因は,教師付き微調整(SFT)と強化学習(RL)である。 直接選好最適化により,事実認識型SFTと事実認識型RLで構成された事実認識型アライメントを提案する。
  論文  参考訳（メタデータ） (2024-05-02T17:54:54Z)
• Small Models, Big Insights: Leveraging Slim Proxy Models To Decide When and What to Retrieve for LLMs [60.40396361115776]
  本稿では,スリムプロキシモデルを用いた大規模言語モデル (LLM) における知識不足を検知する新しい協調手法であるSlimPLMを提案する。 パラメータがはるかに少ないプロキシモデルを採用し、回答を回答としています。 ヒューリスティックな回答は、LLM内の既知の未知の知識と同様に、ユーザの質問に答えるために必要な知識を予測するのに使用される。
  論文  参考訳（メタデータ） (2024-02-19T11:11:08Z)
• When Do LLMs Need Retrieval Augmentation? Mitigating LLMs' Overconfidence Helps Retrieval Augmentation [66.01754585188739]
  大規模言語モデル(LLM)は、特定の知識を持っていないことを知るのが困難であることが判明した。 Retrieval Augmentation (RA)はLLMの幻覚を緩和するために広く研究されている。 本稿では,LLMの知識境界に対する認識を高めるためのいくつかの手法を提案する。
  論文  参考訳（メタデータ） (2024-02-18T04:57:19Z)
• Why and When LLM-Based Assistants Can Go Wrong: Investigating the Effectiveness of Prompt-Based Interactions for Software Help-Seeking [5.755004576310333]
  大規模言語モデル(LLM)アシスタントは、ユーザーがソフトウェアをナビゲートするための検索方法の潜在的な代替手段として登場した。 LLMアシスタントは、ドメイン固有のテキスト、ソフトウェアマニュアル、コードリポジトリからの膨大なトレーニングデータを使用して、人間のようなインタラクションを模倣する。
  論文  参考訳（メタデータ） (2024-02-12T19:49:58Z)
• LLMs Can't Plan, But Can Help Planning in LLM-Modulo Frameworks [18.068035947969044]
  計画と推論タスクにおけるLLM(Large Language Models)の役割には、かなりの混乱がある。 自己回帰型LSMは、それ自体で計画や自己検証を行うことはできない、と我々は主張する。 本稿では,LLMの強みと外部モデルベース検証器を併用した bf LLM-Modulo Framework のビジョンを提案する。
  論文  参考訳（メタデータ） (2024-02-02T14:43:18Z)
• Making Harmful Behaviors Unlearnable for Large Language Models [50.44915524846857]
  大規模言語モデル(LLM)は、様々な領域における汎用AIアシスタントとして大きな可能性を示している。 LLMは、暗黙的または明示的な有害な内容を含むことが多いため、有害なアシスタントに容易に微調整できる。 本稿では, 微調整過程において有害な動作を学習不能にする, 制御可能なトレーニングフレームワークを提案する。
  論文  参考訳（メタデータ） (2023-11-02T09:18:21Z)
• From Language Modeling to Instruction Following: Understanding the Behavior Shift in LLMs after Instruction Tuning [63.63840740526497]
  そこで本研究では,本質的な変化に着目した事前学習モデルの調整方法について検討する。 次に、事前訓練されたモデルと命令調整されたモデルから導かれた説明を比較することで、命令チューニングの影響について研究する。 この結果から,指導指導の3つの重要な影響が明らかになった。
  論文  参考訳（メタデータ） (2023-09-30T21:16:05Z)
• Evaluating the Instruction-Following Robustness of Large Language Models to Prompt Injection [70.28425745910711]
  LLM(Large Language Models)は、命令追従に非常に熟練した言語である。 この能力は、迅速なインジェクション攻撃のリスクをもたらす。 このような攻撃に対する命令追従LDMの堅牢性を評価する。
  論文  参考訳（メタデータ） (2023-08-17T06:21:50Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。