論文の概要: Knowledge That Is Linear Before Fine-Tuning Generalizes After It

• arxiv url: http://arxiv.org/abs/2610.22300v2
• Date: Mon, 19 Oct 2026 22:46:55 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.216738
• Title: Knowledge That Is Linear Before Fine-Tuning Generalizes After It
• Title（参考訳）: 微調整の前にリニアな知識が次々に一般化される
• Abstract要約: 我々は、自身のリコールを超えて一般化を支援するアクティブな事実と、リコールできるが、与えられたタスクにおいてそのような一般化をサポートしない不活性な事実とを区別する。 対象のサブセットに対する新しい関係に関するモデルを、元の関係や許容規則を告げることなく微調整する。 元の関係で回答を共有する保持対象に対応するラベルを割り当てるかどうかを検証する。
• 参考スコア（独自算出の注目度）: 49.78878762542519
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Not all facts a language model can recall support further learning equally well. We distinguish active facts, which support generalization beyond their own recall, from inert facts, which can be recalled but do not support such generalization in a given task. We study this distinction by constructing new relations from existing ones. Take the relation that maps a place to its continent (Paris -> Europe) and assign each of its answers an arbitrary new label (Europe -> crab, Asia -> zebra). The new relation then maps Paris -> crab. We fine-tune the model on the new relation for a subset of subjects, without telling it the original relation or the relabeling rule, and test whether it assigns the corresponding labels to held-out subjects that share an answer in the original relation. Having learned Paris -> crab, does it answer Munich -> crab? Across eleven language models and 70 relations, how linearly readable the original relation is in pretrained representations strongly predicts this generalization. Within each model, the two correlate across relations at Pearson r = 0.87 to 0.92. This association persists when controlling, separately and jointly, for the number of fine-tuning subjects and answers, the model's accuracy on the original relation, and how often the subjects occur in pretraining text. It is also robust to re-randomizing the label assignment and fine-tuning seed, and to replacing the animal labels with labels from thirteen other semantic categories. When we map a fine-tuned model's wrong label back to the original answer it was assigned to, Munich -> zebra becomes Munich -> Asia. Answers recovered this way are more often among the linear probe's top answers for the subject than among the pretrained model's own. Whether a new relation generalizes depends less on whether its facts can be recalled than on how readily their shared structure can be read out linearly.
• Abstract（参考訳）: すべての事実が言語モデルでも、さらなる学習をうまくリコールできるわけではない。 我々は、自身のリコールを超えて一般化を支援するアクティブな事実と、リコールできるが、与えられたタスクにおいてそのような一般化をサポートしない不活性な事実とを区別する。 我々は、既存のものとの新しい関係を構築して、この区別を研究する。 場所を大陸(パリ→ヨーロッパ)にマッピングし、それぞれの答えに任意の新しいラベル(エウロパ→カニ→アジア→ゼブラ)を割り当てる。 新しい関係はパリ -> カニをマッピングする。 我々は、対象のサブセットに対する新しい関係に関するモデルを、原関係や緩和規則を告げることなく微調整し、原関係の回答を共有する保持対象に対応するラベルを割り当てるかどうかを検証する。 パリ―カニ―を習ったので、ミュンヘン―カニ? 11の言語モデルと70の関係において、元の関係が事前訓練された表現の線形可読性は、この一般化を強く予測する。 各モデルにおいて、2つの関係はピアソン r = 0.87 から 0.92 で相関する。 このアソシエーションは、微調整対象と回答の数、元の関係に関するモデルの正確さ、事前訓練されたテキストでどれだけの頻度で被験者が現れるかを、別々に、かつ共同で制御するときに継続する。 また、ラベルの割り当てと微調整種子を再ランダム化し、動物ラベルを他の13のセマンティックカテゴリーのラベルに置き換える。 微調整されたモデルの間違ったラベルを、それが割り当てられた元の答えに戻すと、ミュンヘン ->ゼブラはミュンヘン ->アジアとなる。 この方法で回収された回答は、事前訓練されたモデルよりも、その対象に対する線形プローブの上位回答であることが多い。 新しい関係が一般化されるかどうかは、その事実をリコールできるかどうかよりも、共有構造を線形に読み取ることができるかにかかっている。

関連論文リスト

• Quantifying Compositionality of Classic and State-of-the-Art Embeddings [9.862058044710704]
  我々は、既知のエンティティ属性とそれらの埋め込みの間の線形性を測定する2段階の評価を形式化する。 また,L2損失,コサイン類似度,検索精度などの再構成指標も確認した。 強い構成信号は、後の訓練段階でデータモダリティを越えて観測される。
  論文  参考訳（メタデータ） (2025-09-14T18:28:21Z)
• Pre-training and Diagnosing Knowledge Base Completion Models [58.07183284468881]
  我々は,事実の集合から他の集合への知識伝達へのアプローチを,エンティティや関係マッチングを必要とせずに導入し,分析する。 主な貢献は、構造化されていないテキストから収集された事実の大規模事前学習を利用する方法である。 得られた事前学習モデルをよりよく理解するために,オープン知識ベースコンプリートのための事前学習モデルの解析のための新しいデータセットを導入する。
  論文  参考訳（メタデータ） (2024-01-27T15:20:43Z)
• Physics of Language Models: Part 3.1, Knowledge Storage and Extraction [51.68385617116854]
  大規模言語モデル(LLM)は膨大な量の世界の知識を格納することができ、しばしば質問応答によって抽出できる。 モデルが知識を抽出する能力と,トレーニングデータの多様な多様性尺度との間には,強い相関関係が認められた。
  論文  参考訳（メタデータ） (2023-09-25T17:37:20Z)
• More than Classification: A Unified Framework for Event Temporal Relation Extraction [61.44799147458621]
  イベント時間関係抽出(ETRE)は通常、マルチラベル分類タスクとして定式化される。 イベントの開始点と終了点を使ってすべての関係を解釈できることを観察する。 本稿では,時間関係を時間点の論理的表現に変換するイベント時間関係抽出フレームワークを提案する。
  論文  参考訳（メタデータ） (2023-05-28T02:09:08Z)
• Distilling Relation Embeddings from Pre-trained Language Models [35.718167335989854]
  事前学習した言語モデルから関係埋め込みを蒸留することが可能であることを示す。 我々は、(手動または自動生成)プロンプトを使って単語ペアを符号化し、言語モデルを微調整する。 結果として得られる関係埋め込みは、アナログ(教師なし)と関係分類(教師なし)のベンチマークで非常に競合する。
  論文  参考訳（メタデータ） (2021-09-21T15:05:27Z)
• Learning Relation Prototype from Unlabeled Texts for Long-tail Relation Extraction [84.64435075778988]
  本稿では,ラベルのないテキストから関係プロトタイプを学習するための一般的なアプローチを提案する。 我々は、エンティティ間の暗黙的な要因として関係プロトタイプを学習する。 私たちは、New York TimesとGoogle Distant Supervisionの2つの公開データセットで実験を行います。
  論文  参考訳（メタデータ） (2020-11-27T06:21:12Z)
• Logic-guided Semantic Representation Learning for Zero-Shot Relation Classification [31.887770824130957]
  ゼロショット関係分類のための論理誘導型意味表現学習モデルを提案する。 我々のアプローチは、暗黙的および明示的な意味表現と知識グラフの埋め込みと論理規則との接続を構築する。
  論文  参考訳（メタデータ） (2020-10-30T04:30:09Z)
• Rethinking Class Relations: Absolute-relative Supervised and Unsupervised Few-shot Learning [157.62595449130973]
  本稿では,現在の数ショット学習法における単純化型クラスモデリングの基本的問題について検討する。 本稿では,ラベル情報をフル活用して画像表現を洗練するための,絶対相対学習パラダイムを提案する。
  論文  参考訳（メタデータ） (2020-01-12T12:25:46Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。