論文の概要: The Instruction Tax on Factual Recall: Base Models Can Beat Their Instruction-Tuned Counterparts

• arxiv url: http://arxiv.org/abs/2610.28407v1
• Date: Tue, 20 Oct 2026 15:48:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.893843
• Title: The Instruction Tax on Factual Recall: Base Models Can Beat Their Instruction-Tuned Counterparts
• Title（参考訳）: ファクトリコールに関する命令税:ベースモデルが命令に従属する相手に勝る
• Abstract要約: 我々は AKBC LM-KBC 2026 Shared Task に対して,0.6836 のスコアを得た。 このタスクでは、最大32億のパラメータを持つ言語モデルを使用して、対象-関係のペアに対して可能なすべてのオブジェクトを生成する必要がある。 我々は、プロンプト手法がモデルアーキテクチャと同じくらい重要であることを示す。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: We present our solution to the AKBC LM-KBC 2026 Shared Task, where we achieved a score of 0.6836 on the official leaderboard, more than double the baseline of 0.2964. This task requires generating all possible objects for subject-relation pairs using a language model with up to 32 billion parameters, with no retrieval or fine-tuning involved. We show that the prompting methodology is as important as the model architecture: while the instruction-tuned model version achieves 0.5681 with its chat interface, the base model achieves 0.6836 when prompted using text completion. Thus, instruction tuning decreases factual recall; we refer to this effect as the instruction tax, which is caused by the model's weights rather than the prompting method. Our final solution is fairly straightforward: we prompt the base model with some examples from the training data, generate 64--256 outputs, and retain only the repeated ones. Two specialized methods are then applied for each relation: one improves the recall of large answer sets, and the other verifies a person's vitality before predicting their place of death.
• Abstract（参考訳）: AKBC LM-KBC 2026 Shared Taskにソリューションを提示し、公式のリーダーボードで0.6836、ベースライン0.2964を2倍以上のスコアで達成しました。 このタスクでは、最大32億のパラメータを持つ言語モデルを使用して、検索や微調整を伴わずに、対象-関係のペアに対して可能なすべてのオブジェクトを生成する必要がある。 命令調整型モデルバージョンは, チャットインタフェースで0.5681, ベースモデルは0.6836, テキスト補完で0.6836を実現している。 このように、命令チューニングは、実際のリコールを減らし、この効果を、プロンプト法ではなくモデルの重みによって引き起こされる命令税として言及する。 トレーニングデータからいくつかの例をベースモデルに通知し、64-256の出力を生成し、繰り返されるデータのみを保持する。 2つの専門的な手法がそれぞれの関係に適用され、1つは大きな回答セットのリコールを改善し、もう1つは死の場所を予測する前に人の活力を検証する。

関連論文リスト

• DeltaPrompts: Escaping the Zero-Delta Trap in Multimodal Distillation [49.98710755440242]
  蒸留により、コンパクトなビジョンランゲージモデル(VLM)が強力な推論能力を得ることができる。 標準チャート/文書推論データセットにおけるプロンプトの最大69%は、事実上ゼロデルタである。 既存のデータセットをシードとして再利用し、学生の障害モードを積極的にターゲットとして、より良いプロンプトを生成するためのステージド合成パイプラインを提案する。
  論文  参考訳（メタデータ） (2026-05-15T02:04:12Z)
• Mixture of Reasonings: Teach Large Language Models to Reason with Adaptive Strategies [6.7519234849348075]
  推論の混合は、様々な推論戦略を大きな言語モデルに組み込む。 MoR150はCoTプロンプトで0.730(2.2%改善)、ベースラインで0.734(13.5%改善)を達成した。
  論文  参考訳（メタデータ） (2025-07-01T09:39:04Z)
• SPaR: Self-Play with Tree-Search Refinement to Improve Instruction-Following in Large Language Models [88.29990536278167]
  SPaRは、木探索の自己精製を統合して、有効かつ同等な選好ペアを得るセルフプレイフレームワークである。 実験により,SPaRで誘導された3回の反復で訓練されたLLaMA3-8Bモデルが,一般機能を失うことなくIFEvalベンチマークでGPT-4-Turboを上回った。
  論文  参考訳（メタデータ） (2024-12-16T09:47:43Z)
• KCIF: Knowledge-Conditioned Instruction Following [4.945902994386117]
  我々は,知識と指示の相互作用について検討し,LLMが単純な回答修正命令に従うのに苦労していることを観察する。 本結果は,従来の知識・推論・指導の分離の限界を強調し,これらの機能の共同研究が重要であることを示唆している。
  論文  参考訳（メタデータ） (2024-10-16T19:07:37Z)
• LLM2KB: Constructing Knowledge Bases using instruction tuned context aware Large Language Models [0.8702432681310401]
  本稿では,大規模言語モデルを用いた知識ベース構築システム LLM2KB を提案する。 ISWC 2023で開かれたLM-KBCチャレンジでは,21関係の平均F1スコアが0.6185に達した。
  論文  参考訳（メタデータ） (2023-08-25T07:04:16Z)
• Deep Model Reassembly [60.6531819328247]
  我々はDeep Model Reassembly(DeRy)と呼ばれる新しい知識伝達タスクを探索する。 DeRyの目標は、まず各モデルを固有のビルディングブロックに分割し、それから派生したブロックを選択的に再組み立てて、カスタマイズされたネットワークを生成することである。 ImageNetでは、最高の再組み立てモデルは微調整なしで78.6%のトップ1の精度を実現している。
  論文  参考訳（メタデータ） (2022-10-24T10:16:13Z)
• Unifying Language Learning Paradigms [96.35981503087567]
  データセットやセットアップ全体にわたって普遍的に有効である事前学習モデルのための統一的なフレームワークを提案する。 本研究では, 事前学習対象を相互に配置し, 異なる対象間の補間を効果的に行う方法を示す。 また,テキスト内学習において,ゼロショットSuperGLUEで175B GPT-3,ワンショット要約でT5-XXLの性能を3倍に向上させた。
  論文  参考訳（メタデータ） (2022-05-10T19:32:20Z)
• Finetuned Language Models Are Zero-Shot Learners [67.70352207685558]
  命令チューニングは、目に見えないタスクにおけるゼロショット性能を向上することを示す。 137Bパラメータを事前訓練した言語モデルと、自然言語の命令テンプレートを介して言語化された60以上のNLPタスクにチューニングする。 FLANと呼ばれるこの命令調整モデルについて、未知のタスクタイプで評価する。
  論文  参考訳（メタデータ） (2021-09-03T17:55:52Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。