論文の概要: Accelerate Scaling of LLM Alignment via Quantifying the Coverage and Depth of Instruction Set

• arxiv url: http://arxiv.org/abs/2509.06463v1
• Date: Mon, 08 Sep 2025 09:22:57 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-09 14:07:04.030863
• Title: Accelerate Scaling of LLM Alignment via Quantifying the Coverage and Depth of Instruction Set
• Title（参考訳）: 命令セットの被覆と深さの定量化によるLLMアライメントの高速化
• Authors: Chengwei Wu, Li Du, Hanyu Zhao, Yiming Ju, Jiapu Wang, Tengfei Pan,
• Abstract要約: 本稿では,命令データセットの分布とアライメントモデルの性能の関係について検討する。 次に,選択した命令の深さと意味的カバレッジを同時に最大化するために,命令選択アルゴリズムを設計する。 実験結果から, 最先端のベースライン法と比較して, モデル性能を高速に向上し, 高速スケーリングを実現することが可能である。」
• 参考スコア（独自算出の注目度）: 22.846835046470517
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: With the growing demand for applying large language models to downstream tasks, improving model alignment performance and efficiency has become crucial. Such a process involves selecting informative instructions from a candidate pool. However, due to the complexity of instruction set distributions, the key factors driving the performance of aligned models remain unclear. As a result, current instruction set refinement methods fail to improve performance as the instruction pool expands continuously. To address this issue, we first investigate the key factors that influence the relationship between instruction dataset distribution and aligned model performance. Based on these insights, we propose a novel instruction data selection method. We identify that the depth of instructions and the coverage of the semantic space are the crucial factors determining downstream performance, which could explain over 70\% of the model loss on the development set. We then design an instruction selection algorithm to simultaneously maximize the depth and semantic coverage of the selected instructions. Experimental results demonstrate that, compared to state-of-the-art baseline methods, it can sustainably improve model performance at a faster pace and thus achieve \emph{``Accelerated Scaling''}.
• Abstract（参考訳）: 下流タスクに大規模言語モデルを適用する必要性が高まっているため、モデルアライメントのパフォーマンスと効率が改善されている。 このようなプロセスでは、候補プールから情報的指示を選択する。 しかし、命令セット分布の複雑さのため、整列モデルの性能を駆動する重要な要因はいまだ不明である。 その結果、命令プールが連続的に拡大するにつれて、現在の命令セットリファインメント法は性能改善に失敗する。 この問題に対処するために、まず、命令データセットの分布と整列モデルの性能の関係に影響を及ぼす重要な要因について検討する。 これらの知見に基づいて,新しい命令データ選択法を提案する。 提案手法の深度と意味空間のカバレッジが下流の性能を決定する重要な要因であり, 開発環境におけるモデル損失の70%以上を説明できる。 次に,選択した命令の深さと意味的カバレッジを同時に最大化するために,命令選択アルゴリズムを設計する。 実験結果は,最先端のベースライン手法と比較して,モデル性能を高速に向上し,その結果,'emph{``Accelerated Scaling'} が得られることを示した。

関連論文リスト

• RAISE: Reinforced Adaptive Instruction Selection For Large Language Models [48.63476198469349]
  タスクオブジェクト駆動型命令選択フレームワークRAISE(Reinforced Adaptive Instruction Selection)を提案する。 RAISEは命令の微調整プロセス全体を最適化に取り入れ、各命令がモデルの性能改善に期待する影響に基づいて各ステップで命令を選択する。 実験と結果解析は,他の命令選択法と比較して,本手法の優位性を証明している。
  論文  参考訳（メタデータ） (2025-04-09T21:17:52Z)
• Eliciting Causal Abilities in Large Language Models for Reasoning Tasks [14.512834333917414]
  我々は,LLMが高品質で低品質な観測データを生成することができる自己因果的指導強化法(SCIE)を導入する。 SCIEでは、命令は治療として扱われ、自然言語を処理するためにテキストの特徴が使用される。 提案手法は,プロンプトのトレーニングコストを削減し,推論性能を向上させる命令を効果的に生成する。
  論文  参考訳（メタデータ） (2024-12-19T17:03:02Z)
• Fine-Tuning on Diverse Reasoning Chains Drives Within-Inference CoT Refinement in LLMs [63.36637269634553]
  本稿では,LLMを微調整し,一つの推論ステップで思考の逆連鎖(DCoT)を生成する手法を提案する。 DCoTの微調整により,モデルファミリおよびスケール間のCoTベースライン上での性能が向上することを示す。 我々の研究は、定量的解析と手動評価の両方で、観測された利益は、最初の推論連鎖を洗練させるモデルの能力に由来することを明らかにしているため、重要である。
  論文  参考訳（メタデータ） (2024-07-03T15:01:18Z)
• Instruction Position Matters in Sequence Generation with Large Language Models [67.87516654892343]
  大規模言語モデル(LLM)は、翻訳や要約といった条件付きシーケンス生成タスクを実行することができる。 入力文の後にタスク命令の位置をシフトさせることにより,LLMの指示追従能力を向上させることを提案する。
  論文  参考訳（メタデータ） (2023-08-23T12:36:57Z)
• Robust Prompt Optimization for Large Language Models Against Distribution Shifts [80.6757997074956]
  大規模言語モデル(LLM)は、様々な自然言語処理タスクにおいて重要な能力を示している。 本稿では,LLMの分散シフトに対するロバストな最適化法を提案する。 この問題は、ラベル付けされたソースグループに最適化されたプロンプトを同時にラベル付けされていないターゲットグループに一般化する必要がある。
  論文  参考訳（メタデータ） (2023-05-23T11:30:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。