論文の概要: Subliminal Effects in Your Data: A General Mechanism via Log-Linearity

• arxiv url: http://arxiv.org/abs/2602.04863v1
• Date: Wed, 04 Feb 2026 18:50:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-02-05 19:45:11.694134
• Title: Subliminal Effects in Your Data: A General Mechanism via Log-Linearity
• Title（参考訳）: データにおけるサブリミナル効果:ログリニアリティによる一般的なメカニズム
• Authors: Ishaq Aden-Ali, Noah Golowich, Allen Liu, Abhishek Shetty, Ankur Moitra, Nika Haghtalab,
• Abstract要約: 現代の大規模言語モデル(LLM)のトレーニングは、特定の振る舞いを引き出すために設計されたアルゴリズムとデータセットの検証可能なスモーガスボードとなっている。 最近の実験では、データセットが個々のデータポイントから直接観測できない信号を送信できることが示されている。 我々は、ジェネリックデータセットに隠されたサブテキストが出現する一般的なメカニズムを明らかにする。
• 参考スコア（独自算出の注目度）: 39.40622797996004
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Training modern large language models (LLMs) has become a veritable smorgasbord of algorithms and datasets designed to elicit particular behaviors, making it critical to develop techniques to understand the effects of datasets on the model's properties. This is exacerbated by recent experiments that show datasets can transmit signals that are not directly observable from individual datapoints, posing a conceptual challenge for dataset-centric understandings of LLM training and suggesting a missing fundamental account of such phenomena. Towards understanding such effects, inspired by recent work on the linear structure of LLMs, we uncover a general mechanism through which hidden subtexts can arise in generic datasets. We introduce Logit-Linear-Selection (LLS), a method that prescribes how to select subsets of a generic preference dataset to elicit a wide range of hidden effects. We apply LLS to discover subsets of real-world datasets so that models trained on them exhibit behaviors ranging from having specific preferences, to responding to prompts in a different language not present in the dataset, to taking on a different persona. Crucially, the effect persists for the selected subset, across models with varying architectures, supporting its generality and universality.
• Abstract（参考訳）: 現代の大規模言語モデル(LLM)のトレーニングは、特定の振る舞いを引き出すために設計されたアルゴリズムとデータセットの検証可能なスモーガスボードとなり、データセットがモデルの性質に与える影響を理解するための技術を開発することが重要になっている。 これは、データセットが個々のデータポイントから直接観測できない信号を送信できることを示し、LLMトレーニングに関するデータセット中心の理解において概念的な課題を提起し、そのような現象の基本的な説明が欠けていることを示唆する最近の実験によってさらに悪化している。 LLMの線形構造に関する最近の研究に触発されて、そのような効果を理解するために、ジェネリックデータセットに隠されたサブテキストが出現する一般的なメカニズムを明らかにする。 我々は,汎用的な選好データセットのサブセットを選択して,幅広い隠れ効果を引き出す方法を規定するLogit-Linear-Selection (LLS)を紹介した。 実世界のデータセットのサブセットを見つけるためにLSSを適用して、トレーニングされたモデルが特定の嗜好を持つこと、データセットに存在しない異なる言語のプロンプトに応答すること、異なるペルソナを取ることなど、様々な行動を示すようにします。 重要なことに、この効果は選択された部分集合に対して持続し、様々なアーキテクチャを持つモデルにまたがってその一般化と普遍性をサポートする。

関連論文リスト

• Latent Traits and Cross-Task Transfer: Deconstructing Dataset Interactions in LLM Fine-tuning [8.082936847467638]
  本稿では,タスク間相互作用を識別するために,移動学習行列の構築と次元削減を行う分析フレームワークを提案する。 我々は、潜伏能力(例えば、Reasoning、Sentiment Classification、NLU、Arithmetic)を特定するための10のモデルを訓練し、分析し、伝達学習の副作用を発見する。
  論文  参考訳（メタデータ） (2025-09-17T01:45:42Z)
• Diversity as a Reward: Fine-Tuning LLMs on a Mixture of Domain-Undetermined Data [54.3895971080712]
  多様なデータセットを使用した細調整された大規模言語モデル(LLM)は、さまざまな領域にわたる全体的なパフォーマンス向上に不可欠である。 本稿では,LLMに2つのアイデンティティを与える新しい手法を提案する。多様性報酬に基づいてデータを認知的に探索し,選択する出力モデルと,選択したデータに調整する入力モデルである。
  論文  参考訳（メタデータ） (2025-02-05T17:21:01Z)
• Amortized Inference of Causal Models via Conditional Fixed-Point Iterations [17.427722515310606]
  本研究では,異なるSCMからサンプリングした複数のデータセットに対して,単一モデルをトレーニングすることにより,構造因果モデル(SCM)の補正推定を提案する。 まず、まず、データセット埋め込みのアモータイズ学習にトランスフォーマーベースのアーキテクチャを使用し、次にFixed-Point Approach(FiP)を拡張して、データセット埋め込みに条件付きSCMを推論する。 副産物として,本手法はパラメータを更新することなく,新しいSCMから観測データや介入データを生成することができる。
  論文  参考訳（メタデータ） (2024-10-08T15:31:33Z)
• ALP: Action-Aware Embodied Learning for Perception [60.64801970249279]
  認知のための行動認識型身体学習(ALP)について紹介する。 ALPは、強化学習ポリシーと逆ダイナミクス予測目標を最適化することにより、行動情報を表現学習に組み込む。 ALPは、複数の下流認識タスクにおいて、既存のベースラインよりも優れていることを示す。
  論文  参考訳（メタデータ） (2023-06-16T21:51:04Z)
• infoVerse: A Universal Framework for Dataset Characterization with Multidimensional Meta-information [68.76707843019886]
  infoVerseは、データセットの特徴付けのための普遍的なフレームワークである。 infoVerseは、様々なモデル駆動メタ情報を統合することで、データセットの多次元特性をキャプチャする。 実世界の3つのアプリケーション(データプルーニング、アクティブラーニング、データアノテーション)において、infoVerse空間で選択されたサンプルは、強いベースラインを一貫して上回る。
  論文  参考訳（メタデータ） (2023-05-30T18:12:48Z)
• Learning from Temporal Spatial Cubism for Cross-Dataset Skeleton-based Action Recognition [88.34182299496074]
  アクションラベルはソースデータセットでのみ利用可能だが、トレーニング段階のターゲットデータセットでは利用できない。 我々は,2つの骨格に基づく行動データセット間の領域シフトを低減するために,自己スーパービジョン方式を利用する。 時間的セグメントや人体部分のセグメンテーションとパーフォーミングにより、我々は2つの自己教師あり学習分類タスクを設計する。
  論文  参考訳（メタデータ） (2022-07-17T07:05:39Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。