論文の概要: Learning or Self-aligning? Rethinking Instruction Fine-tuning

• arxiv url: http://arxiv.org/abs/2402.18243v3
• Date: Sun, 11 Aug 2024 17:15:06 GMT
• ステータス: 処理完了
• システム内更新日: 2024-08-13 23:48:12.760747
• Title: Learning or Self-aligning? Rethinking Instruction Fine-tuning
• Title（参考訳）: 学習と自己調整 : インストラクションの微調整を再考する
• Authors: Mengjie Ren, Boxi Cao, Hongyu Lin, Cao Liu, Xianpei Han, Ke Zeng, Guanglu Wan, Xunliang Cai, Le Sun,
• Abstract要約: 我々は、IFTの潜在的な要因を分離するための知識介入フレームワークを設計する。 実験の結果、IFTを通じて追加の世界知識を習得しようとする試みは、ポジティブな影響をもたらすのにしばしば苦労していることが明らかになった。 IFTの前後における内部知識の整合性を維持することは、IFTを成功させる上で重要な要素である。
• 参考スコア（独自算出の注目度）: 45.62941531473104
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instruction Fine-tuning~(IFT) is a critical phase in building large language models~(LLMs). Previous works mainly focus on the IFT's role in the transfer of behavioral norms and the learning of additional world knowledge. However, the understanding of the underlying mechanisms of IFT remains significantly limited. In this paper, we design a knowledge intervention framework to decouple the potential underlying factors of IFT, thereby enabling individual analysis of different factors. Surprisingly, our experiments reveal that attempting to learn additional world knowledge through IFT often struggles to yield positive impacts and can even lead to markedly negative effects. Further, we discover that maintaining internal knowledge consistency before and after IFT is a critical factor for achieving successful IFT. Our findings reveal the underlying mechanisms of IFT and provide robust support for some very recent and potential future works.
• Abstract（参考訳）: インストラクションファインチューニング~(IFT)は、大きな言語モデル~(LLM)を構築する上で重要なフェーズである。 これまでの研究は主に、行動規範の伝達と追加の世界知識の学習におけるIFTの役割に焦点を当てていた。 しかし、IFTの基盤となるメカニズムの理解は依然として著しく制限されている。 本稿では,IFTの潜在的な要因を分離し,異なる要因の個別分析を可能にする知識介入フレームワークを設計する。 驚くべきことに、我々の実験では、IFTを通じてさらなる世界の知識を学ぼうとすると、ポジティブな影響を生み出すのに苦戦し、重大なネガティブな影響を招きかねないことがわかりました。 さらに、IFTの前後における内部知識の整合性を維持することが、IFTの成功に欠かせない要因であることが判明した。 本研究は,IFTの基盤となるメカニズムを明らかにするとともに,最近の将来的な研究に対する堅牢な支援を提供するものである。

関連論文リスト

• Accurate Forgetting for Heterogeneous Federated Continual Learning [89.08735771893608]
  提案手法は,フェデレーションネットワークにおける従来の知識を選択的に活用する新しい生成再生手法である。 我々は,従来の知識の信頼性を定量化するために,正規化フローモデルに基づく確率的フレームワークを用いる。
  論文  参考訳（メタデータ） (2025-02-20T02:35:17Z)
• Navigating the Helpfulness-Truthfulness Trade-Off with Uncertainty-Aware Instruction Fine-Tuning [79.48839334040197]
  インストラクションファインチューニング(IFT)は大規模言語モデル(LLM)の有用性を高める IFT は LLM に対して、事前訓練中に十分にカバーされていない長い尾の知識で応答を生成し、不明瞭なタスクに一般化する際には、より情報に富むが、より真実に乏しい回答をもたらす。 我々はこのトレードオフに対処するための新しいIFTパラダイムである$textbfUNIT$を提案する。
  論文  参考訳（メタデータ） (2025-02-17T16:10:30Z)
• Fisher-Guided Selective Forgetting: Mitigating The Primacy Bias in Deep Reinforcement Learning [2.532202013576547]
  深層強化学習(Dep Reinforcement Learning, DRL)システムはしばしば、プライマリシーバイアス(PB)として知られる初期経験に過度に適合する傾向にある。 本稿では,Fisher Information Matrix (FIM) のレンズによるPBの包括的調査について述べる。
  論文  参考訳（メタデータ） (2025-02-02T13:54:47Z)
• Instruction Tuning for Large Language Models: A Survey [52.86322823501338]
  我々は、教師付き微調整(SFT)の一般的な方法論を含む、文献の体系的なレビューを行う。 また、既存の戦略の欠陥を指摘しながら、SFTの潜在的な落とし穴についても、それに対する批判とともに検討する。
  論文  参考訳（メタデータ） (2023-08-21T15:35:16Z)
• CARE: Certifiably Robust Learning with Reasoning via Variational Inference [26.210129662748862]
  推論パイプライン(CARE)を用いた頑健な学習を提案する。 CAREは、最先端のベースラインに比べて、かなり高い信頼性のロバスト性を達成する。 さらに,CAREの実証的ロバスト性および知識統合の有効性を示すために,異なるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2022-09-12T07:15:52Z)
• Rethinking Importance Weighting for Transfer Learning [71.81262398144946]
  教師あり学習における主要な前提は、トレーニングとテストデータが同じ確率分布に従うことである。 現実の機械学習タスクはますます複雑になりつつあるため、このような課題に対処するための新しいアプローチが検討されている。
  論文  参考訳（メタデータ） (2021-12-19T14:35:25Z)
• Confounder Identification-free Causal Visual Feature Learning [84.28462256571822]
  本稿では,創始者を特定する必要性を排除した,創始者同定自由因果視覚特徴学習(CICF)手法を提案する。 CICFは、フロントドア基準に基づいて異なるサンプル間の介入をモデル化し、インスタンスレベルの介入に対するグローバルスコープ干渉効果を近似する。 我々は,CICFと一般的なメタラーニング戦略MAMLの関係を明らかにするとともに,MAMLが理論的観点から機能する理由を解釈する。
  論文  参考訳（メタデータ） (2021-11-26T10:57:47Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。