論文の概要: From Style to Facts: Mapping the Boundaries of Knowledge Injection with Finetuning

• arxiv url: http://arxiv.org/abs/2503.05919v1
• Date: Fri, 07 Mar 2025 20:35:31 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-03-11 15:52:05.487831
• Title: From Style to Facts: Mapping the Boundaries of Knowledge Injection with Finetuning
• Title（参考訳）: スタイルからファクトへ:ファインタニングによる知識注入の境界のマッピング
• Authors: Eric Zhao, Pranjal Awasthi, Nika Haghtalab,
• Abstract要約: Finetuningは、特定のタスクやレスポンススタイルのために言語モデルをカスタマイズするスケーラブルで費用対効果の高い手段を提供する。 対照的に、従来の知恵は、微調整によって知識を注入すると、不安定な性能と一般化が低下する。 我々は、フロンティアGemini v1.5モデルファミリーをデータセットのスペクトル上で微調整する大規模な実験を行った。
• 参考スコア（独自算出の注目度）: 40.141932069582204
• License:
• Abstract: Finetuning provides a scalable and cost-effective means of customizing language models for specific tasks or response styles, with greater reliability than prompting or in-context learning. In contrast, the conventional wisdom is that injecting knowledge via finetuning results in brittle performance and poor generalization. We argue that the dichotomy of "task customization" (e.g., instruction tuning) and "knowledge injection" (e.g., teaching new facts) is a distinction without a difference. We instead identify concrete factors that explain the heterogeneous effectiveness observed with finetuning. To this end, we conduct a large-scale experimental study of finetuning the frontier Gemini v1.5 model family on a spectrum of datasets that are artificially engineered to interpolate between the strengths and failure modes of finetuning. Our findings indicate that question-answer training data formats provide much stronger knowledge generalization than document/article-style training data, numerical information can be harder for finetuning to retain than categorical information, and models struggle to apply finetuned knowledge during multi-step reasoning even when trained on similar examples -- all factors that render "knowledge injection" to be especially difficult, even after controlling for considerations like data augmentation and information volume. On the other hand, our findings also indicate that it is not fundamentally more difficult to finetune information about a real-world event than information about what a model's writing style should be.
• Abstract（参考訳）: Finetuningは、特定のタスクやレスポンススタイルのために言語モデルをカスタマイズするスケーラブルで費用対効果の高い手段を提供する。 対照的に、従来の知恵は、微調整によって知識を注入すると、不安定な性能と一般化が低下する。 我々は「タスクのカスタマイズ」(例えば、指導のチューニング)と「知識の注入」(例えば、新しい事実を教える)の二分法は違いのない区別であると主張している。 その代わりに、ファインタニングによって観察される不均一な効果を説明するための具体的な因子を同定する。 この目的のために,我々は,フロンティアのGemini v1.5モデルファミリーを,ファインタニングの強度と障害モードの補間のために人工的に設計したデータセットのスペクトル上に微調整する大規模実験を行った。 以上の結果から,質問応答学習データ形式は,文書やアーティクルスタイルの学習データよりもはるかに強力な知識一般化を提供し,数値情報は分類情報よりも微調整が難しいことが示唆された。 一方,本研究では,実際のイベントに関する情報を,モデルが書くべきスタイルに関する情報よりも微調整することが根本的に困難ではないことも示唆した。

関連論文リスト

• Gradual Learning: Optimizing Fine-Tuning with Partially Mastered Knowledge in Large Language Models [51.20499954955646]
  大規模言語モデル(LLM)は、事前学習期間中に大量のテキストコーパスから膨大な量の知識を取得する。 微調整や推論のような後段では、モデルは初期訓練でカバーされていない知識に遭遇する可能性がある。 本稿では,モデル全体のテスト精度と知識保持性を改善するための2段階の微調整戦略を提案する。
  論文  参考訳（メタデータ） (2024-10-08T08:35:16Z)
• R-Tuning: Instructing Large Language Models to Say `I Don't Know' [66.11375475253007]
  大きな言語モデル(LLM)は、優れたパフォーマンスで多くのドメインに革命をもたらしたが、それでもその課題に直面している。 事前の指導チューニング方法は、モデルが知識を知っているかどうかに関わらず、モデルに文章を完成させるよう強制する。 我々はRefusal-Aware Instruction Tuning (R-Tuning)と呼ばれる新しいアプローチを提案する。 実験の結果、R-Tuningは、既知の質問に答えたり、未知の質問に答えるのを控えるモデルの能力を効果的に改善することを示した。
  論文  参考訳（メタデータ） (2023-11-16T08:45:44Z)
• Causal Discovery with Language Models as Imperfect Experts [119.22928856942292]
  専門知識を用いて因果グラフの同定を改善する方法について検討する。 整合性に基づく専門家の知識を改良するための戦略を提案する。 本稿では,不完全な専門家として大規模言語モデルを用いる実データを用いたケーススタディについて報告する。
  論文  参考訳（メタデータ） (2023-07-05T16:01:38Z)
• Supervised Contrastive Learning for Affect Modelling [2.570570340104555]
  情報に影響を及ぼすことを考慮に入れた訓練表現のための3つの異なる教師付きコントラスト学習手法を導入する。 その結果、コントラスト学習の表現能力と、影響モデルの精度を高めるための効率が示された。
  論文  参考訳（メタデータ） (2022-08-25T17:40:19Z)
• Exploring Strategies for Generalizable Commonsense Reasoning with Pre-trained Models [62.28551903638434]
  モデルの一般化と精度に及ぼす3つの異なる適応法の影響を計測する。 2つのモデルを用いた実験では、微調整はタスクの内容と構造の両方を学習することで最もうまく機能するが、過度に適合し、新しい答えへの限定的な一般化に苦しむ。 我々は、プレフィックスチューニングのような代替適応手法が同等の精度を持つのを観察するが、解を見落とさずに一般化し、対数分割に対してより堅牢である。
  論文  参考訳（メタデータ） (2021-09-07T03:13:06Z)
• Knowledge-driven Data Construction for Zero-shot Evaluation in Commonsense Question Answering [80.60605604261416]
  本稿では,共通認識課題にまたがるゼロショット質問応答のための新しいニューラルシンボリック・フレームワークを提案する。 言語モデル、トレーニング体制、知識ソース、データ生成戦略のセットを変えて、タスク間の影響を測定します。 個別の知識グラフは特定のタスクに適しているが、グローバルな知識グラフはさまざまなタスクに対して一貫した利得をもたらす。
  論文  参考訳（メタデータ） (2020-11-07T22:52:21Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。