論文の概要: Model-Aware Data Selection from In-and-Out Information Interplay

• arxiv url: http://arxiv.org/abs/2609.33010v1
• Date: Sat, 26 Sep 2026 23:07:28 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-10-06 11:15:14.781202
• Title: Model-Aware Data Selection from In-and-Out Information Interplay
• Title（参考訳）: イン・アンド・アウト情報によるモデル認識データ選択
• Abstract要約: 重みに格納された知識とモデルを通過するデータストリームの間の興味深いランク平衡を観察する。 本稿では,データ候補が現在のモデルにアクセス可能な情報を含むか否かを判断できるモデル認識型データ選択手法CAPを提案する。
• 参考スコア（独自算出の注目度）: 30.122773692852107
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: LLMs are effective representations that assimilate vast amounts of knowledge during pretraining, but post-training is necessary for models to reliably access this knowledge and "know what they know." We observe an interesting rank equilibrium between knowledge stored in the weights and the data stream passing through the model. Across all model layers, we find that the hidden states (data stream) follow a U-shaped pattern, showing substantial compression in early layers and a steep rise during the late-layer decoding phase. In contrast, the weight rank follows an inverted U-shaped pattern, with very low rank in the early and late layers and high rank in the middle. We interpret this as an in-and-out information interplay: intermediate activations do not need to carry content that the weights can supply later, so they primarily preserve what the weights cannot provide. Motivated by this observation, we propose a model-aware data selection method, CAP (Counterfactual Assimilation Profile), which can determine whether a data candidate contains information accessible to the current model by utilizing the divergence gap in early- and late-layer representations between model-generated and reference responses. Across math, code, and science domains, CAP delivers 35.4% greater average improvement over the base model than the strongest baseline under different selection budgets. With only 10% of the data pool, CAP surpasses or matches full-pool training on math and science. We further show that CAP transfers to multimodal data selection and is robust to response horizon and noise.
• Abstract（参考訳）: LLMは事前訓練中に大量の知識を同化させる効果的な表現であるが、モデルがこの知識に確実にアクセスするためには後学習が必要である。 重みに格納された知識とモデルを通過するデータストリームの間の興味深いランク平衡を観察する。 すべてのモデル層にまたがって、隠れ状態(データストリーム)はU字型のパターンに従っており、初期層では大幅に圧縮され、後期層復号フェーズでは急上昇する。 対照的に、重量級は逆U字型であり、初期・後期は極端に低く、中期は高位である。 中間アクティベーションは、重量が後から供給できるコンテンツを運ぶ必要がないので、主に重量が提供できないものを保存します。 そこで本研究では,モデル生成と参照応答の早期および後期の表現における分岐ギャップを利用して,データ候補が現在のモデルにアクセス可能な情報を含むか否かを判断する,モデル認識型データ選択手法CAPを提案する。 数学、コード、科学の分野では、CAPは選択予算の異なる最強のベースラインよりも平均35.4%向上している。 データプールの10%しかありませんが、CAPは数学と科学のフルプールトレーニングに勝ったり、マッチします。 さらに、CAPはマルチモーダルデータ選択に移行し、応答水平線とノイズに対して堅牢であることを示す。

関連論文リスト

• Understanding Data Temporality Impact on Large Language Models Pre-training [3.679526459634607]
  大型言語モデル(LLM)は一般にシャッフルコーパスで訓練される。 本研究では,事前学習のダイナミクスが時間に敏感な事実知識の獲得に与える影響について検討する。
  論文  参考訳（メタデータ） (2026-05-21T17:31:17Z)
• Model Inversion with Layer-Specific Modeling and Alignment for Data-Free Continual Learning [19.12792297140574]
  継続的な学習は、以前のタスクのパフォーマンスを維持しながら、一連のタスクでモデルを漸進的にトレーニングすることを目的としています。 データの保存と再生は、プライバシやセキュリティ上の制約によって不可能になることが多い。 単層最適化における高速収束にインスパイアされたPMI(Per-layer Model Inversion)を提案する。
  論文  参考訳（メタデータ） (2025-10-30T09:58:48Z)
• Intention-Conditioned Flow Occupancy Models [80.42634994902858]
  大規模な事前学習は、今日の機械学習研究のやり方を根本的に変えた。 同じフレームワークを強化学習に適用することは、RLの中核的な課題に対処するための魅力的な方法を提供するので、魅力的です。 生成AIの最近の進歩は、高度に複雑な分布をモデリングするための新しいツールを提供している。
  論文  参考訳（メタデータ） (2025-06-10T15:27:46Z)
• Tripartite Weight-Space Ensemble for Few-Shot Class-Incremental Learning [30.111708221388813]
  FSCIL(Few-shot class incremental learning)は、いくつかのトレーニング例だけで、新しい概念の継続的な学習を可能にする。 最近の傾向は、モデルの分類ヘッドから表現の学習を解き放つのが典型的である。 破滅的な忘れと過度に適合する問題を効果的に解決する新しいFSCIL法を提案する。
  論文  参考訳（メタデータ） (2025-06-04T01:41:42Z)
• Data Mixing Can Induce Phase Transitions in Knowledge Acquisition [21.923905379872863]
  知識密度データセットから知識を取得することは、必ずしもスムーズなスケーリング法則に従わないことを示す。 これらの相転移は予測可能であり, モデルサイズとのパワー-ロー関係に追従した臨界混合比を示す。
  論文  参考訳（メタデータ） (2025-05-23T16:46:24Z)
• How Post-Training Reshapes LLMs: A Mechanistic View on Knowledge, Truthfulness, Refusal, and Confidence [52.9442657690445]
  大規模言語モデル(LLM)の成功にはポストトレーニングが不可欠である 学習後効果をよりよく理解するために,4つの視点からベースとポストトレーニング後のLLMを比較した。
  論文  参考訳（メタデータ） (2025-04-03T06:30:55Z)
• Masked Autoencoding for Scalable and Generalizable Decision Making [93.84855114717062]
  MaskDPは、強化学習と行動クローンのためのシンプルでスケーラブルな自己教師付き事前学習手法である。 我々は,MaskDPモデルにより,単一ゴールや複数ゴール到達といった新しいBCタスクへのゼロショット転送能力が得られることを発見した。
  論文  参考訳（メタデータ） (2022-11-23T07:04:41Z)
• On the Transferability of Pre-trained Language Models: A Study from Artificial Datasets [74.11825654535895]
  大規模未ラベルテキストデータ上での事前学習言語モデル(LM)により、ダウンストリームのパフォーマンスが極めて容易になる。 我々は,事前学習データに含まれる特定の特徴について,セマンティクス以外では,下流タスクのスクラッチからトレーニングしたデータよりも,事前学習したLMを優れているか検討した。
  論文  参考訳（メタデータ） (2021-09-08T10:39:57Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。