論文の概要: How Language Models Organize Task Information

• arxiv url: http://arxiv.org/abs/2610.27724v1
• Date: Tue, 20 Oct 2026 06:43:48 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-21 21:58:47.676523
• Title: How Language Models Organize Task Information
• Title（参考訳）: タスク情報を整理する言語モデル
• Abstract要約: 14個のコアタスクで5つの実験室から19個のLMを評価する。10つのベースモデルにより、確実に読みやすい9つの機能とほぼ同じ順序のタスクが提供される。 20モデルにわたる制御された合成実験では、成功した学習対象は単一機能の読み出しを許容する一方、可読性制御には数十の機能が必要である。 連続的な学習の後、保存されたヘッドは失敗するが、線形可読性は高いままであり、リカバリはテスト手順による初期タスク学習よりも少ないラベルを必要とする。
• 参考スコア（独自算出の注目度）: 15.685091205854823
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: Dense linear probes assess task readability from language model (LM) representations, but do not directly reveal how many features suffice for prediction. We measure readout sparsity with \(k^*\), the smallest feature count found by a fixed search protocol that recovers 95% of dense-probe AUROC above chance. We evaluate 19 LMs from five labs on 14 core tasks. Ten base models give the nine reliably readable tasks similar feature counts and nearly the same order. This agreement extends to the selected features themselves, which on three tasks show cross-model response correspondence beyond class-mean differences and a label-correlation-matched null. Instruction-tuned deployment selectively reduces \(k^*\), with both weights and input format contributing. In controlled synthetic experiments across 20 models, successfully learned targets admit single-feature readouts, whereas readable controls require tens of features. Reference-model \(k^*\) is associated with label requirements across eight students, following an empirical scaling of \(N^*\propto(k^*)^{0.65}\). After continual learning, saved heads can fail while linear readability remains high, and recovery requires fewer labels than initial task learning under the tested procedures. Pruning reduces linear readability, with wider pre-pruning readouts generally associated with larger losses. These findings distinguish task readability from readout sparsity and establish their complementary value for predicting learning requirements and diagnosing LM changes.
• Abstract（参考訳）: Dense linear probesは、言語モデル(LM)表現からタスクの可読性を評価するが、予測に十分な機能の数を直接明らかにしない。 我々は,高密度AUROCの95%を回収する固定探索プロトコルで見つかる最小の特徴数である \(k^*\) を用いて読み出し間隔を測定する。 14個のコアタスクで5つの実験室から19個のLMを評価した。 10のベースモデルでは、9つのタスクを確実に読み取ることができる。 この合意は、選択された機能自体にまで拡張され、3つのタスクでは、クラス平均の違いを超えて、クロスモデル応答対応とラベル相関マッチングされたnullが示される。 インストラクションチューニングによるデプロイメントは、重みと入力形式の両方が寄与するので、選択的に \(k^*\) を減少させる。 20モデルにわたる制御された合成実験では、成功した学習対象は単一機能の読み出しを許容する一方、可読性制御には数十の機能が必要である。 参照モデル \(k^*\) は、(N^*\propto(k^*)^{0.65}\ の経験的スケーリングに従って、8人の学生のラベル要求と関連付けられている。 連続的な学習の後、保存されたヘッドは失敗するが、線形可読性は高いままであり、リカバリはテスト手順による初期タスク学習よりも少ないラベルを必要とする。 プルーニングは線形可読性を低下させ、より広いプレプルーニング読み出しは一般的により大きな損失を伴う。 これらの結果から,可読性と読み出し頻度を区別し,学習要求の予測とLM変化の診断に相補的価値を確立することができた。

関連論文リスト

• Multi-head Sequence Tagging Model for Grammatical Error Correction [31.538895931875565]
  文法的誤り訂正(英: Grammatical Error Correction, GEC)は、ソースシーケンスとターゲットシーケンスのマッピングである。 現在のシーケンスタギングアプローチでは、あるタスクにレーザーを集中させることで、幅広い文法的誤りを処理できるという問題がある。 本稿では,学習データを効果的に活用し,関連する課題訓練信号からの情報を活用するための,新しいマルチヘッド・マルチタスク学習モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-21T20:01:06Z)
• Analysing Zero-Shot Readability-Controlled Sentence Simplification [54.09069745799918]
  本研究では,異なる種類の文脈情報が,所望の可読性を持つ文を生成するモデルの能力に与える影響について検討する。 結果から,全ての試験されたモデルは,原文の制限や特徴のため,文の簡略化に苦慮していることがわかった。 実験では、RCTSに合わせたより良い自動評価指標の必要性も強調した。
  論文  参考訳（メタデータ） (2024-09-30T12:36:25Z)
• GistScore: Learning Better Representations for In-Context Example Selection with Gist Bottlenecks [3.9638110494107095]
  In-context Learning(ICL)は、大規模言語モデル(LLM)がプロンプトで条件付きで新しいタスクを実行する機能である。 本稿では,教師付き微調整によるサンプルエンコーダの学習手法であるサンプルギストリングを提案する。 我々の微調整モデルでは、既成のレトリバーよりも20%以上向上し、最先端のICL性能が得られている。
  論文  参考訳（メタデータ） (2023-11-16T06:28:05Z)
• LabelPrompt: Effective Prompt-based Learning for Relation Classification [31.291466190218912]
  本稿では,関係分類タスクのための新しいプロンプト型学習手法であるLabelPromptを提案する。 GIVE MODEL CHOICES!'の直感により、まず関係ラベルを表すための追加トークンを定義し、これらのトークンを意味的初期化を伴う動詞としてみなす。 そして、予測関係と与えられた実体との整合性を緩和するために、コントラスト学習を伴うエンティティ認識モジュールを実装した。
  論文  参考訳（メタデータ） (2023-02-16T04:06:25Z)
• BUMP: A Benchmark of Unfaithful Minimal Pairs for Meta-Evaluation of Faithfulness Metrics [70.52570641514146]
  不誠実な最小対 (BUMP) のベンチマークを示す。 BUMPは、889人の人間が書いた最小限のサマリーペアのデータセットである。 非ペアベースのデータセットとは異なり、BUMPはメトリクスの一貫性を測定するために使用することができる。
  論文  参考訳（メタデータ） (2022-12-20T02:17:30Z)
• Prompt Consistency for Zero-Shot Task Generalization [118.81196556175797]
  本稿では,ラベルのないデータを用いてゼロショット性能を向上させる手法について検討する。 具体的には,複数のプロンプトを使ってひとつのタスクを指定できることを利用して,プロンプトの一貫性を規則化する手法を提案する。 我々のアプローチは、4つのNLPタスクにまたがる11のデータセットのうち9つにおいて、最先端のゼロショット学習者であるT0を精度で最大10.6の絶対点で上回ります。
  論文  参考訳（メタデータ） (2022-04-29T19:18:37Z)
• Lifelong Learning Without a Task Oracle [13.331659934508764]
  監視されたディープニューラルネットワークは、新しいタスクが学習されると、古いタスクの精度が大幅に低下することが知られている。 本稿では,メモリオーバーヘッドの少ないタスク割り当てマップの提案と比較を行う。 最高のパフォーマンスの変種は、平均的なパラメータメモリの増大を1.7%に抑えるだけである。
  論文  参考訳（メタデータ） (2020-11-09T21:30:31Z)
• Predicting What You Already Know Helps: Provable Self-Supervised Learning [60.27658820909876]
  自己教師付き表現学習は、ラベル付きデータを必要としない補助的な予測タスク(プリテキストタスクと呼ばれる)を解決する。 本研究では,特定のエミュレーションに基づくプレテキストタスク間の統計的関係を利用して,優れた表現を学習することを保証する機構を示す。 複素基底真理関数クラスにおいても線形層は近似誤差が小さいことを証明した。
  論文  参考訳（メタデータ） (2020-08-03T17:56:13Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。