論文の概要: Divide-Verify-Refine: Can LLMs Self-Align with Complex Instructions?

• arxiv url: http://arxiv.org/abs/2410.12207v2
• Date: Thu, 27 Feb 2025 22:16:18 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-03 13:38:57.892731
• Title: Divide-Verify-Refine: Can LLMs Self-Align with Complex Instructions?
• Title（参考訳）: Divide-Verify-Refine: LLMは複雑な命令で自己調整できるか?
• Authors: Xianren Zhang, Xianfeng Tang, Hui Liu, Zongyu Wu, Qi He, Dongwon Lee, Suhang Wang,
• Abstract要約: 複雑な命令を単一制約に分割し,適切なツールを作成するためのフレームワークを提案する。 次に、厳密なチェックとテキストガイダンスを提供するツールを使用して応答を検証する。 改良効率を最大化するために,改良レポジトリが改良を成功させる動的数発プロンプトを提案する。
• 参考スコア（独自算出の注目度）: 33.18076221854853
• License:
• Abstract: Recent studies show LLMs struggle with complex instructions involving multiple constraints (e.g., length, format, sentiment). Existing works address this issue by fine-tuning, which heavily relies on fine-tuning data quality and is computational expensive. An alternative is leveraging LLMs' self-correction to refine responses for better constraint adherence. However, this is limited by the feedback quality, as LLMs cannot generate reliable feedback or detect errors. Moreover, its effectiveness relies on few-shot examples illustrating response modifications. As constraints in complex instructions are diverse, manually crafting such examples for each constraint type can be labor-intensive and sub-optimal. To address these two challenges, we propose the Divide-Verify-Refine (DVR) framework with three steps: (1) Divide complex instructions into single constraints and prepare appropriate tools; (2) Verify responses using tools that provide rigorous check and textual guidance (e.g., Python toolkit for format checks or pre-trained classifiers for content analysis); (3) Refine: To maximize refinement effectiveness, we propose dynamic few-shot prompting, where a refinement repository collects successful refinements, and these examples are selectively retrieved for future refinements. Recognizing the lack of complexity in existing datasets, we create a new dataset of complex instructions. DVR doubles Llama3.1-8B's constraint adherence and triples Mistral-7B's performance.
• Abstract（参考訳）: 最近の研究は、LLMが複数の制約(例えば、長さ、フォーマット、感情)を含む複雑な命令に苦しむことを示している。 既存の作業は微調整によってこの問題に対処し、微調整のデータ品質に大きく依存し、計算コストも高い。 もう一つの方法は、LLMの自己補正を利用して、より良い制約順守のために応答を洗練することである。 しかし、LLMは信頼性の高いフィードバックを生成したり、エラーを検出することができないため、フィードバックの品質によって制限される。 さらに、その効果は反応の修正を例示する少数の例に依存している。 複雑な命令の制約は多様であるため、各制約タイプに対してこのような例を手作業で作成することは、労働集約的で準最適である。 これらの課題に対処するため,(1) 複雑な命令を単一制約に分割し,適切なツールを作成する,(2) 厳密なチェックとテキストガイダンスを提供するツール(例えば,フォーマットチェックやコンテンツ分析のためのPythonツールキット)を用いた応答の検証,(3) 精細化: 精細化効率を最大化するために,レコメンデーションリポジトリが改善を成功させるために,ダイナミックなショットプロンプトを提案し,これらの例は今後の改良のために選択的に検索される。 既存のデータセットの複雑さの欠如を認識し、複雑な命令の新しいデータセットを作成します。 DVRはLlama3.1-8Bの制約を2倍にし、Mistral-7Bの性能を3倍にする。

関連論文リスト

• Step-by-Step Mastery: Enhancing Soft Constraint Following Ability of Large Language Models [39.114513139453756]
  大規模言語モデル(LLM)には、複数の制約を含む命令に従うことが不可欠である。 高品質な出力を持つデータセットを自動構築するパイプラインを設計する。 データ構築プロセス中に発生する正と負のサンプルを十分に活用するために、トレーニング手法として直接選好最適化(DPO)を選択する。 我々は,LLMのソフト制約追従能力を向上させるための手法の有効性を実験的に評価した。
  論文  参考訳（メタデータ） (2025-01-09T03:34:07Z)
• Constraint Back-translation Improves Complex Instruction Following of Large Language Models [55.60192044049083]
  大きな言語モデル(LLM)は、フォーマットや長さなどの複雑な制約のある命令に従うのに苦労しています。 従来の研究は、高度なLCMに複雑な命令を供給し、複雑な命令応答対を後処理する。 本稿では,新しいデータ生成手法である制約バックトランスレーションを提案する。
  論文  参考訳（メタデータ） (2024-10-31T17:42:26Z)
• LLM Self-Correction with DeCRIM: Decompose, Critique, and Refine for Enhanced Following of Instructions with Multiple Constraints [86.59857711385833]
  実世界のマルチ制約命令に従うLLMの能力を評価するために設計された最初のベンチマークであるRealInstructを紹介する。 オープンソースモデルとプロプライエタリモデルのパフォーマンスギャップを解決するため,Decompose, Critique and Refine(DeCRIM)自己補正パイプラインを提案する。 この結果から,DeCRIMはフィードバックが弱い場合でも,RealInstructでは7.3%,IFEvalでは8.0%,Mistralでは7.3%向上した。
  論文  参考訳（メタデータ） (2024-10-09T01:25:10Z)
• Control Large Language Models via Divide and Conquer [94.48784966256463]
  本稿では,Lexically Constrained Generation(LCG)に着目し,大規模言語モデル(LLM)のプロンプトベース制御による制御可能生成について検討する。 我々は,レキシカル制約を満たすためのLLMの性能を,プロンプトベース制御により評価し,下流アプリケーションでの有効性を検証した。
  論文  参考訳（メタデータ） (2024-10-06T21:20:06Z)
• Prompt Recursive Search: A Living Framework with Adaptive Growth in LLM Auto-Prompting [22.025533583703126]
  大規模言語モデル(LLM)のためのPRS(Prompt Recursive Search)フレームワークを提案する。 PRSフレームワークは、問題複雑性と調整可能な構造の評価を取り入れ、エラーの可能性の低減を確実にする。 The Chain of Thought(CoT)法と比較して, PRS法は, Llama3-7Bモデルを用いてBBHデータセットの精度を8%向上し, 22%の改善を実現した。
  論文  参考訳（メタデータ） (2024-08-02T17:59:42Z)
• Benchmarking Complex Instruction-Following with Multiple Constraints Composition [72.82640456309821]
  大規模言語モデル(LLM)の複雑な命令追従能力の評価方法が重要な研究課題となっている。 既存のベンチマークは主に、異なる制約の構成を無視しながら、人間の指示で異なるタイプの制約をモデル化することに焦点を当てている。 複数の制約からなる複雑な命令に従うLLMの能力を総合的に評価するためのベンチマークである ComplexBench を提案する。
  論文  参考訳（メタデータ） (2024-07-04T14:50:45Z)
• Benchmarking Large Language Models on Controllable Generation under Diversified Instructions [34.89012022437519]
  大型言語モデル (LLM) は命令追従能力に優れていた。 様々な命令に関係のある明示的な制約にどの程度対応できるかは、いまだに不明である。 命令に対するLLMの応答を様々な制約で評価する新しいベンチマークであるCoDI-Evalを提案する。
  論文  参考訳（メタデータ） (2024-01-01T07:35:31Z)
• FollowBench: A Multi-level Fine-grained Constraints Following Benchmark for Large Language Models [79.62191017182518]
  FollowBenchは、大規模言語モデルのベンチマークに続くきめ細かい制約のベンチマークである。 本稿では,初期命令に段階的に1つの制約を付加するマルチレベル機構を提案する。 FollowBench上での13のLLMの評価により,LLMの弱さと今後の研究への道のりを示す。
  論文  参考訳（メタデータ） (2023-10-31T12:32:38Z)
• RCOT: Detecting and Rectifying Factual Inconsistency in Reasoning by Reversing Chain-of-Thought [56.558892336235914]
  Reversing Chain-of-Thought (RCoT) は、大規模言語モデルの推論能力を改善する新しい手法である。 RCoTは生成したソリューションにおける事実の不整合を自動的に検出し、修正する。 手書きのきめ細かいフィードバックがLLMの推論能力を大幅に向上させることを示す。
  論文  参考訳（メタデータ） (2023-05-19T08:02:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。