論文の概要: Learning or Self-aligning? Rethinking Instruction Fine-tuning

• arxiv url: http://arxiv.org/abs/2402.18243v1
• Date: Wed, 28 Feb 2024 11:16:00 GMT
• ステータス: 処理完了
• システム内更新日: 2024-02-29 15:14:07.031454
• Title: Learning or Self-aligning? Rethinking Instruction Fine-tuning
• Title（参考訳）: 学習か自尊心か? インストラクションファインチューニングの再考
• Authors: Mengjie Ren, Boxi Cao, Hongyu Lin, Liu Cao, Xianpei Han, Ke Zeng, Guanglu Wan, Xunliang Cai, Le Sun
• Abstract要約: 我々は、IFTの潜在的な要因を分離するための知識介入フレームワークを設計する。 実験の結果、IFTを通じて追加の世界知識を習得しようとする試みは、ポジティブな影響をもたらすのにしばしば苦労していることが明らかになった。 IFTの前後における内部知識の整合性を維持することは、IFTを成功させる上で重要な要素である。
• 参考スコア（独自算出の注目度）: 46.4355769031303
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Instruction Fine-tuning~(IFT) is a critical phase in building large language models~(LLMs). Previous works mainly focus on the IFT's role in the transfer of behavioral norms and the learning of additional world knowledge. However, the understanding of the underlying mechanisms of IFT remains significantly limited. In this paper, we design a knowledge intervention framework to decouple the potential underlying factors of IFT, thereby enabling individual analysis of different factors. Surprisingly, our experiments reveal that attempting to learn additional world knowledge through IFT often struggles to yield positive impacts and can even lead to markedly negative effects. Further, we discover that maintaining internal knowledge consistency before and after IFT is a critical factor for achieving successful IFT. Our findings reveal the underlying mechanisms of IFT and provide robust support for some very recent and potential future works.
• Abstract（参考訳）: インストラクションファインチューニング~(IFT)は、大きな言語モデル~(LLM)を構築する上で重要なフェーズである。 以前の著作は主に行動規範の伝達と追加の世界知識の学習におけるiftの役割に焦点を当てている。 しかし、IFTの基盤となるメカニズムの理解は依然として著しく制限されている。 本稿では,IFTの潜在的な要因を分離し,異なる要因の個別分析を可能にする知識介入フレームワークを設計する。 驚くべきことに、我々の実験では、IFTを通じてさらなる世界の知識を学ぼうとすると、ポジティブな影響を生み出すのに苦労し、重大なネガティブな影響をもたらすことさえある。 さらに、IFTの前後における内部知識の整合性を維持することが、IFTの成功の鍵となる。 本研究は,IFTの基盤となるメカニズムを明らかにするとともに,最近の将来的な研究に対する堅牢な支援を提供するものである。

関連論文リスト

• Semantic are Beacons: A Semantic Perspective for Unveiling Parameter-Efficient Fine-Tuning in Knowledge Learning [30.831866499812925]
  本稿では,PEFTの知識学習課題における制約の背景にある理由を明らかにするために,意味論的視点を提案する。 PEFTは、モデルを意図した知識ターゲットから遠ざけるという顕著なリスクを提示している。 本研究では,知識学習に有害なデータを排除するためのデータフィルタリング戦略と,意味的距離に注意を向けるための再重み付き学習戦略を導入する。
  論文  参考訳（メタデータ） (2024-05-28T15:47:11Z)
• Injecting New Knowledge into Large Language Models via Supervised Fine-Tuning [13.371405067535814]
  本稿では,Large Language Models(LLMs)における知識注入手法としてのスーパーバイザードファインタニング(SFT)の有効性について検討する。 さまざまなデータセット生成戦略 – トークンベースとファクトベースのスケーリング – を比較して,モデルが新たな情報を学ぶためのトレーニングデータを生成します。 その結果、ドメイン外知識に関連するQ&Aタスクのパフォーマンスが大幅に向上した。
  論文  参考訳（メタデータ） (2024-03-30T01:56:07Z)
• A Closer Look at the Limitations of Instruction Tuning [52.587607091917214]
  インストラクションチューニング(IT)は,大規模言語モデル(LLM)における知識やスキルの向上に失敗することを示す。 また、一般的なIT改善手法は、シンプルなLoRA微調整モデルよりも性能改善につながるものではないことも示している。 この結果から,事前学習した知識のみから生成した応答は,オープンソースデータセット上でITから新たな知識を学習するモデルによって,一貫した応答性能が向上することが判明した。
  論文  参考訳（メタデータ） (2024-02-03T04:45:25Z)
• Interpretable Knowledge Tracing via Response Influence-based Counterfactual Reasoning [10.80973695116047]
  知識追跡は、コンピュータ支援教育と知的学習システムにおいて重要な役割を担っている。 現在のアプローチでは、より説明可能な予測を達成するために心理的影響を調査している。 RCKTは,新しい応答型インフルエンサー・インフルエンサー・インフルエンス・インフルエンサー・ナレッジ・トレース・フレームワークである。
  論文  参考訳（メタデータ） (2023-12-01T11:27:08Z)
• Ladder-of-Thought: Using Knowledge as Steps to Elevate Stance Detection [73.31406286956535]
  姿勢検出タスクにLadder-of-Thought(LoT)を導入する。 LoTは、小さなLMに高品質な外部知識を同化させ、生成した中間的論理を精査するように指示する。 実験では, 姿勢検出タスクにおけるCoTのGPT-3.5よりも16%改善し, 10%向上した。
  論文  参考訳（メタデータ） (2023-08-31T14:31:48Z)
• CARE: Certifiably Robust Learning with Reasoning via Variational Inference [26.210129662748862]
  推論パイプライン(CARE)を用いた頑健な学習を提案する。 CAREは、最先端のベースラインに比べて、かなり高い信頼性のロバスト性を達成する。 さらに,CAREの実証的ロバスト性および知識統合の有効性を示すために,異なるアブレーション研究を行った。
  論文  参考訳（メタデータ） (2022-09-12T07:15:52Z)
• Rethinking Importance Weighting for Transfer Learning [71.81262398144946]
  教師あり学習における主要な前提は、トレーニングとテストデータが同じ確率分布に従うことである。 現実の機械学習タスクはますます複雑になりつつあるため、このような課題に対処するための新しいアプローチが検討されている。
  論文  参考訳（メタデータ） (2021-12-19T14:35:25Z)
• Confounder Identification-free Causal Visual Feature Learning [84.28462256571822]
  本稿では,創始者を特定する必要性を排除した,創始者同定自由因果視覚特徴学習(CICF)手法を提案する。 CICFは、フロントドア基準に基づいて異なるサンプル間の介入をモデル化し、インスタンスレベルの介入に対するグローバルスコープ干渉効果を近似する。 我々は,CICFと一般的なメタラーニング戦略MAMLの関係を明らかにするとともに,MAMLが理論的観点から機能する理由を解釈する。
  論文  参考訳（メタデータ） (2021-11-26T10:57:47Z)
• Pre-Trained Models: Past, Present and Future [126.21572378910746]
  大規模事前訓練モデル(PTM)は近年大きな成功を収め、人工知能(AI)分野におけるマイルストーンとなった。 知識を巨大なパラメータに格納し、特定のタスクを微調整することで、巨大なパラメータに暗黙的にエンコードされた豊富な知識は、さまざまな下流タスクの恩恵を受けることができる。 AIコミュニティが、モデルをスクラッチから学習するのではなく、下流タスクのバックボーンとしてPTMを採用することは、今、コンセンサスになっている。
  論文  参考訳（メタデータ） (2021-06-14T02:40:32Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。