論文の概要: Wait, that's not an option: LLMs Robustness with Incorrect Multiple-Choice Options
- arxiv url: http://arxiv.org/abs/2409.00113v2
- Date: Thu, 10 Oct 2024 20:46:36 GMT
- ステータス: 処理完了
- システム内更新日: 2024-11-08 03:57:28.066086
- Title: Wait, that's not an option: LLMs Robustness with Incorrect Multiple-Choice Options
- Title（参考訳）: LLMs Robustness with Uncorrect Multiple-Choice Options
- Authors: Gracjan Góral, Emilia Wiśnios, Piotr Sankowski, Paweł Budzianowski,
- Abstract要約: 本研究では,大規模言語モデル(LLM)が「誤解を招く」命令を与えられた場合,推論や真理よりも次の命令を優先するかどうかを考察する。
本稿では,学習前アライメントと学習後アライメントの関連性に新たな光を当てる「反射判断」という新しい指標を提案する。
- 参考スコア（独自算出の注目度）: 2.1184929769291294
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Decision-making under full alignment requires balancing between reasoning and faithfulness - a challenge for large language models (LLMs). This study explores whether LLMs prioritize following instructions over reasoning and truth when given "misleading" instructions, such as "Respond solely with A or B", even when neither option is correct. We introduce a new metric called "reflective judgment", which sheds new light on the relationship between the pre-training and post-training alignment schemes. In tasks ranging from basic arithmetic to domain-specific assessments, models like GPT-4o, o1-mini, or Claude 3 Opus adhered to instructions correctly but failed to reflect on the validity of the provided options. Contrary, models from the Llama 3.1 family (8B, 70B, 405B) or base Qwen2.5 (7B, 14B, 32B) families exhibit improved refusal rates with size, indicating a scaling effect. We also observed that alignment techniques, though intended to enhance reasoning, sometimes weakened the models' ability to reject incorrect instructions, leading them to follow flawed prompts uncritically. Finally, we have also conducted a parallel human study revealing similar patterns in human behavior and annotations. We highlight how popular RLHF datasets might disrupt either training or evaluation due to annotations exhibiting poor reflective judgement.
- Abstract（参考訳）: 完全な整合性の下での意思決定は、推論と忠実性のバランスを必要とする。
本研究は,「A や B にのみ応答する」というような「誤解を招く」命令を与えられた場合,LLM が推論や真理よりも次の命令を優先するかどうかを考察する。
本稿では,学習前アライメントと学習後アライメントの関連性に新たな光を当てる「反射判断」という新しい指標を提案する。
基本的な算術からドメイン固有の評価までのタスクでは、GPT-4o、o1-mini、Claude 3 Opusといったモデルが命令に正しく準拠したが、提供されたオプションの有効性を反映しなかった。
対照的に、Llama 3.1 ファミリー (8B, 70B, 405B) またはベースQwen2.5 (7B, 14B, 32B) ファミリーのモデルでは、スケール効果を示す。
また、アライメント技術は推論を強化することを意図しているが、時にモデルが誤った指示を拒否する能力を弱め、欠陥のあるプロンプトを不クリティカルに追従することも観察した。
最後に,人間の行動やアノテーションに類似したパターンを呈する並列人間の研究も行った。
我々は、RLHFデータセットがトレーニングまたは評価の両方を妨害する可能性があることを強調した。
関連論文リスト
- Diverging Preferences: When do Annotators Disagree and do Models Know? [92.24651142187989]
我々は,4つのハイレベルクラスにまたがる10のカテゴリにまたがる相違点の分類法を開発した。
意見の相違の大部分は、標準的な報酬モデリングアプローチに反対している。
本研究は,選好の変化を識別し,評価とトレーニングへの影響を緩和する手法を開発する。
論文 参考訳（メタデータ） (2024-10-18T17:32:22Z) - Subtle Errors Matter: Preference Learning via Error-injected Self-editing [59.405145971637204]
eRror-Injected Self-Editing (RISE) と呼ばれる新しい好み学習フレームワークを提案する。
RISEは定義済みの微妙な誤りを正しい解の部分的なトークンに注入し、エラー軽減のためにハードペアを構築する。
RISEの有効性を検証する実験では、Qwen2-7B-Instructでは、GSM8Kでは3.0%、MATHでは7.9%が顕著に改善された。
論文 参考訳（メタデータ） (2024-10-09T07:43:38Z) - Just Say What You Want: Only-prompting Self-rewarding Online Preference Optimization [64.34767799614328]
現在の自己回帰アプローチは、差別者の判断能力に大きく依存している。
本稿では,判断能力に頼らずに嗜好データセットを生成する,新たな自己回帰型オンラインアルゴリズムを提案する。
論文 参考訳（メタデータ） (2024-09-26T04:41:08Z) - Reflective Instruction Tuning: Mitigating Hallucinations in Large Vision-Language Models [36.119299938503936]
大規模視覚言語モデル(LVLM)は様々な視覚言語タスクにおいて有望な性能を示す。
幻覚に敏感であり、視覚内容や指示と不一致な出力を生成する。
本稿では,理科学習を視覚的指導調律に統合した反射的指導調律を提案する。
論文 参考訳（メタデータ） (2024-07-16T06:32:45Z) - Learning to Correct for QA Reasoning with Black-box LLMs [37.13135300208977]
我々は,機械学習におけるオープンチャレンジとして,COBB (Correct for improve QA reasoning of Black-Box LLMs)を提案する。
トレーニングされた適応モデルを使用して、オリジナルのブラックボックスLSMのしばしば不完全な推論から正しい推論、または改善された推論へのセック2seqマッピングを実行する。
実験の結果,CoBBは様々なQAベンチマークにおいて推理精度を大幅に向上することが示された。
論文 参考訳（メタデータ） (2024-06-26T18:57:32Z) - LACIE: Listener-Aware Finetuning for Confidence Calibration in Large Language Models [69.68379406317682]
暗黙的および明示的な信頼マーカーを校正するリスナー対応微調整法 (LACIE) を提案する。
我々は,LACIEがリスナーをモデル化し,回答が正しいかどうかだけでなく,リスナーに受け入れられるかどうかを考察する。
LACIEによるトレーニングの結果、正しい回答の受け入れレベルを維持しながら、誤った回答が受け入れられる割合が47%減少することがわかった。
論文 参考訳（メタデータ） (2024-05-31T17:16:38Z) - Dissecting Human and LLM Preferences [80.55271307662365]
人間は誤りに敏感ではなく、自分の姿勢を支持する反応を好んでおり、モデルが限界を認めている場合、明確な嫌悪を示します。
GPT-4-Turboのような先進的なLCMは、より正確さ、明快さ、無害さを強調している。
嗜好に基づく評価は意図的に操作可能であることを示す。
論文 参考訳（メタデータ） (2024-02-17T14:34:31Z) - Making Large Language Models Better Reasoners with Alignment [57.82176656663245]
推論(Reasoning)とは、証拠を使って結論に達する認知過程である。
近年の研究では、思考の連鎖(COT)推論プロセスによるデータ上の微調整LDMは、その推論能力を著しく向上させることができることが示されている。
テキストアライメントファインチューニング(AFT)パラダイムを3ステップで導入する。
論文 参考訳（メタデータ） (2023-09-05T11:32:48Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。