論文の概要: NILE: Internal Consistency Alignment in Large Language Models

• arxiv url: http://arxiv.org/abs/2412.16686v1
• Date: Sat, 21 Dec 2024 16:25:16 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-12-24 15:59:52.686451
• Title: NILE: Internal Consistency Alignment in Large Language Models
• Title（参考訳）: NILE: 大規模言語モデルの内部一貫性アライメント
• Authors: Minda Hu, Qiyuan Zhang, Yufei Wang, Bowei He, Hongru Wang, Jingyan Zhou, Liangyou Li, Yasheng Wang, Chen Ma, Irwin King,
• Abstract要約: NILE(iNternal consIstency aLignmEnt)フレームワークを導入し、IFTデータセットを最適化してLLMの機能をさらに開放する。 NILE は、訓練済みの LLM の内部知識を命令データに対応付けることで動作する。 実験により,NILE 対応 IFT データセットは複数の能力評価データセットにまたがる LLM 性能を著しく向上することが示された。
• 参考スコア（独自算出の注目度）: 59.16120063368364
• License:
• Abstract: As a crucial step to enhance LLMs alignment with human intentions, Instruction Fine-Tuning (IFT) has a high demand on dataset quality. However, existing IFT datasets often contain knowledge that is inconsistent with LLMs' internal knowledge learned from the pre-training phase, which can greatly affect the efficacy of IFT. To address this issue, we introduce NILE (iNternal consIstency aLignmEnt) framework, aimed at optimizing IFT datasets to unlock LLMs' capability further. NILE operates by eliciting target pre-trained LLM's internal knowledge corresponding to instruction data. The internal knowledge is leveraged to revise the answer in IFT datasets. Additionally, we propose a novel Internal Consistency Filtering (ICF) method to filter training samples, ensuring its high consistency with LLM's internal knowledge. Our experiments demonstrate that NILE-aligned IFT datasets sharply boost LLM performance across multiple LLM ability evaluation datasets, achieving up to 66.6% gain on Arena-Hard and 68.5% on Alpaca-Eval V2. Further analysis confirms that each component of the NILE}framework contributes to these substantial performance improvements, and provides compelling evidence that dataset consistency with pre-trained internal knowledge is pivotal for maximizing LLM potential.
• Abstract（参考訳）: インストラクションファインタニング(IFT)は,LLMと人間の意図との整合性を高めるための重要なステップとして,データセットの品質に高い需要がある。 しかし、既存のIFTデータセットには、事前学習フェーズから学んだLLMの内部知識と矛盾する知識が含まれており、IFTの有効性に大きな影響を及ぼす可能性がある。 この問題に対処するために,IFTデータセットを最適化してLLMの能力をさらに開放することを目的とした NILE (iNternal consIstency aLignmEnt) フレームワークを紹介した。 NILE は、訓練済みの LLM の内部知識を命令データに対応付けることで動作する。 内部知識を活用して、IFTデータセットの回答を改訂する。 さらに、トレーニングサンプルをフィルタし、LLMの内部知識との整合性を確保するための新しい内部一貫性フィルタリング(ICF)手法を提案する。 実験の結果,NILE 対応 IFT データセットは複数の LLM 能力評価データセットにまたがって LLM 性能を大幅に向上し,Arena-Hard では 66.6% ,Alpaca-Eval V2 では 68.5% 向上した。 さらなる分析により、NILE}フレームワークの各コンポーネントがこれらの大幅なパフォーマンス向上に寄与していることが確認され、トレーニング済みの内部知識とのデータセットの一貫性がLLMポテンシャルを最大化するための重要な証拠となる。

関連論文リスト

• Data Quality Control in Federated Instruction-tuning of Large Language Models [43.29678396558287]
  データ品質制御(FedDQC)を備えた大規模言語モデル(LLM)のフェデレーション・インストラクション・チューニングの新しいフレームワークを提案する。 提案手法では,各クライアントの命令応答アライメント(IRA)を評価するための効率的なメトリクスを導入し,単一ショット推論によるノイズの多いデータを同定する。 我々は4つの合成データセットと実世界のデータセットについて広範な実験を行い、この手法を集中的な設定から適応したベースラインと比較した。
  論文  参考訳（メタデータ） (2024-10-15T12:14:57Z)
• Empirical Insights on Fine-Tuning Large Language Models for Question-Answering [50.12622877002846]
  大規模言語モデル(LLM)は、大量のデータセットの事前トレーニングを通じて、広範囲な世界の知識を符号化する。 我々は,事前学習したLLMが記憶する知識の量に基づいて,教師付き微調整(SFT)データを分類した。 実験の結果,SFTの段階では60個のデータポイントが事前学習中に符号化された知識を活性化することができ,LLMがQAタスクを実行できることがわかった。
  論文  参考訳（メタデータ） (2024-09-24T07:38:38Z)
• BIDER: Bridging Knowledge Inconsistency for Efficient Retrieval-Augmented LLMs via Key Supporting Evidence [23.55601157586831]
  本稿では,検索文書をキー・サポート・エビデンス(Key Supporting Evidence)に洗練する手法であるBIDERを紹介する。 我々は,KSEの製作から学習してBIDERを訓練し,その出力をLLMの情報取得の好みに合わせて最大化する。 BIDER は LLM の回答品質を7% 向上させ,検索文書の入力内容長を80% 削減し,既存手法より優れていた。
  論文  参考訳（メタデータ） (2024-02-19T14:28:31Z)
• Self-Play Fine-Tuning Converts Weak Language Models to Strong Language Models [52.98743860365194]
  本稿では,SPIN(Self-Play fIne-tuNing)と呼ばれるファインチューニング手法を提案する。 SPINの中心には自己再生機構があり、LLMは自身のインスタンスと対戦することでその能力を洗練させる。 このことは、自己プレイの約束に光を当て、熟練した相手を必要とせずに、LSMにおける人間レベルのパフォーマンスの達成を可能にする。
  論文  参考訳（メタデータ） (2024-01-02T18:53:13Z)
• More Samples or More Prompts? Exploring Effective In-Context Sampling for LLM Few-Shot Prompt Engineering [35.086135550672864]
  In-Context Smpling (ICS) を提案し、複数のICLプロンプト入力の構成を最適化し、確実な予測を行う。 3つのデータ類似性に基づくICS戦略による詳細な評価は、これらの戦略がLLMの性能をさらに高める可能性があることを示唆している。
  論文  参考訳（メタデータ） (2023-11-16T11:02:49Z)
• Vision-Language Instruction Tuning: A Review and Analysis [52.218690619616474]
  VLIT(Vision-Language Instruction Tuning)は、純粋なテキスト命令チューニングよりも複雑な特徴を示す。 既存のVLITデータセットの詳細な分類と、高品質なVLITデータが持つべき特性を識別する。 これらの特徴を既存のVLITデータ構築プロセスに導出する原理として取り入れることで、我々は広範囲な実験を行い、調整されたマルチモーダルLCMの性能に対する肯定的な影響を検証した。
  論文  参考訳（メタデータ） (2023-11-14T14:02:32Z)
• Reflection-Tuning: Data Recycling Improves LLM Instruction-Tuning [79.32236399694077]
  トレーニングセットの低品質データは、通常、チューニングのチューニングに有害である。 我々は「反射チューニング」と呼ばれる新しい手法を提案する。 このアプローチでは、オラクルLSMを使用して、データ内の命令や応答の質を検査し、向上することで、元のトレーニングデータをリサイクルする。
  論文  参考訳（メタデータ） (2023-10-18T05:13:47Z)
• FederatedScope-LLM: A Comprehensive Package for Fine-tuning Large Language Models in Federated Learning [70.38817963253034]
  本稿では, ファインチューニング LLM のこれらの課題について論じ, 本パッケージ FS-LLM を主な貢献として紹介する。 我々は、FLシナリオにおける将来の拡張のために、包括的フェデレーションパラメータ効率の良い微調整アルゴリズムの実装と汎用プログラミングインタフェースを提供する。 本研究では, FS-LLM の有効性を検証し, FL 設定におけるパラメータ効率の高いパラメータ調整アルゴリズムを用いて, 高度な LLM のベンチマークを行う。
  論文  参考訳（メタデータ） (2023-09-01T09:40:36Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。