論文の概要: Human Supervision as an Information Bottleneck: A Unified Theory of Error Floors in Human-Guided Learning
- arxiv url: http://arxiv.org/abs/2602.23446v1
- Date: Thu, 26 Feb 2026 19:11:32 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-03-02 19:48:24.101654
- Title: Human Supervision as an Information Bottleneck: A Unified Theory of Error Floors in Human-Guided Learning
- Title（参考訳）: 情報基盤としてのヒューマンスーパービジョン:ヒューマンガイド学習におけるエラーフロアの統一理論
- Authors: Alejandro Rodriguez Dominguez,
- Abstract要約: 制約は、モデルスケールや最適化よりも、監督チャネルの構造的特性を反映している、と我々は主張する。
我々は、人間の監督チャネルが潜在評価対象に十分でない場合、情報伝達チャネルとして機能することを示す統一理論を開発する。
- 参考スコア（独自算出の注目度）: 51.56484100374058
- License: http://creativecommons.org/licenses/by-nc-nd/4.0/
- Abstract: Large language models are trained primarily on human-generated data and feedback, yet they exhibit persistent errors arising from annotation noise, subjective preferences, and the limited expressive bandwidth of natural language. We argue that these limitations reflect structural properties of the supervision channel rather than model scale or optimization. We develop a unified theory showing that whenever the human supervision channel is not sufficient for a latent evaluation target, it acts as an information-reducing channel that induces a strictly positive excess-risk floor for any learner dominated by it. We formalize this Human-Bounded Intelligence limit and show that across six complementary frameworks (operator theory, PAC-Bayes, information theory, causal inference, category theory, and game-theoretic analyses of reinforcement learning from human feedback), non-sufficiency yields strictly positive lower bounds arising from the same structural decomposition into annotation noise, preference distortion, and semantic compression. The theory explains why scaling alone cannot eliminate persistent human-aligned errors and characterizes conditions under which auxiliary non-human signals (e.g., retrieval, program execution, tools) increase effective supervision capacity and collapse the floor by restoring information about the latent target. Experiments on real preference data, synthetic known-target tasks, and externally verifiable benchmarks confirm the predicted structural signatures: human-only supervision exhibits a persistent floor, while sufficiently informative auxiliary channels strictly reduce or eliminate excess error.
- Abstract（参考訳）: 大規模な言語モデルは、主に人為的なデータとフィードバックに基づいて訓練されるが、アノテーションノイズ、主観的嗜好、自然言語の限られた表現帯域幅から生じる持続的なエラーを示す。
これらの制限は、モデルスケールや最適化よりも、監督チャネルの構造的特性を反映している、と我々は主張する。
我々は、人間の監督チャネルが潜在評価対象に十分でない場合、それが支配する学習者に対して、厳密な正の余剰リスクフロアを誘導する情報還元チャネルとして機能することを示す統一理論を開発する。
我々は、この人間境界知能限界を定式化し、6つの相補的フレームワーク(演算理論、PACベイズ、情報理論、因果推論、カテゴリー理論、および人間のフィードバックからの強化学習のゲーム理論解析)において、非十分性は、同じ構造分解からアノテーションノイズ、嗜好歪み、意味的圧縮へと、厳密に正の下位境界をもたらすことを示す。
この理論は、なぜスケーリングだけで永続的なヒューマンアラインエラーを排除できないのかを説明し、補助的な非人間信号(例えば、検索、プログラム実行、ツール)が効果的な監視能力を高め、潜在対象に関する情報を復元することでフロアを崩壊させる条件を特徴付ける。
実際の嗜好データ、合成された既知のタスク、および外部で検証されたベンチマークの実験では、予測された構造上のシグネチャが確認されている。
関連論文リスト
- Understanding Degradation with Vision Language Model [56.09241449206817]
視覚的劣化を理解することは、コンピュータビジョンにおいて重要な問題であるが、難しい問題である。
本稿では,教師付き微調整と強化学習を併用したマルチモーダル・チェーン・オブ・ソート・モデルであるDU-VLMを紹介する。
また,110,000個のクリーン劣化ペアと接地された物理アノテーションからなる大規模データセットである textbfDU-110k も導入した。
論文 参考訳（メタデータ） (2026-02-04T13:51:15Z) - Towards Minimal Causal Representations for Human Multimodal Language Understanding [20.44307628909198]
従来の可能性よりも因果原理を活用する因果多様情報ボトルネック(CaMIB)モデルを導入する。
因果的特徴のグローバルな整合性を確保するため,器用変数制約を組み込む。
マルチモーダル感情分析、ユーモア検出、およびサルカズム検出の実験は、OODテストセットとともに、CaMIBの有効性を実証した。
論文 参考訳（メタデータ） (2025-09-26T03:04:23Z) - Knowledge Collapse in LLMs: When Fluency Survives but Facts Fail under Recursive Synthetic Training [2.094557609248011]
大規模な言語モデルは、人間が書き込んだコンテンツの不足のために、合成データにますます依存している。
モデル生成出力に対する再帰的なトレーニングは、事実の信頼性を脅かす退化過程であるモデル崩壊につながる。
論文 参考訳（メタデータ） (2025-09-05T04:29:15Z) - The wall confronting large language models [0.0]
大規模言語モデルの性能を決定するスケーリング法則は,予測の不確実性を改善する能力を大幅に制限していることを示す。
LLMの学習能力の多くを駆動するメカニズムは、誤りの積み重ねを発生させる確率の根本にあるのかもしれない、と我々は主張する。
論文 参考訳（メタデータ） (2025-07-25T22:48:37Z) - Robust Molecular Property Prediction via Densifying Scarce Labeled Data [53.24886143129006]
薬物発見において、研究を進める上で最も重要な化合物は、しばしば訓練セットを越えている。
本稿では, ラベル付きデータを利用して, 分布内データ(ID)と分布外データ(OOD)を補間する2段階最適化手法を提案する。
論文 参考訳（メタデータ） (2025-06-13T15:27:40Z) - On the Surprising Effectiveness of Large Learning Rates under Standard Width Scaling [15.769249369390884]
最適な学習速度は理論的な予測よりも遅く、ネットワークは、非常に広い範囲でも安定した訓練と非自明な特徴学習の両方を示します。
特に, クロスエントロピー (CE) の損失下では, 不安定な状態は, 破滅的な不安定な状態と, より良質な制御された分岐状態の2つのサブレジムから構成されることを示す。
我々の経験的証拠は、幅スケーリングの考慮は、経験的最大学習率指数を予測するのに驚くほど有用であることを示している。
論文 参考訳（メタデータ） (2025-05-28T15:40:48Z) - SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。
本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
論文 参考訳（メタデータ） (2024-07-23T20:34:23Z) - Neural Network Approximation for Pessimistic Offline Reinforcement
Learning [17.756108291816908]
一般ニューラルネットワーク近似を用いた悲観的オフラインRLの非漸近的推定誤差を提案する。
その結果, 推定誤差は2つの部分から構成されることがわかった。第1は, 部分的に制御可能な集束率でサンプルサイズに所望の速度で0に収束し, 第2は残留制約が厳密であれば無視可能である。
論文 参考訳（メタデータ） (2023-12-19T05:17:27Z) - Understanding Robust Overfitting from the Feature Generalization Perspective [61.770805867606796]
逆行訓練(AT)は、逆行摂動を自然データに組み込むことで、堅牢なニューラルネットワークを構築する。
これはロバストオーバーフィッティング(RO)の問題に悩まされ、モデルのロバスト性を著しく損なう。
本稿では,新しい特徴一般化の観点からROを考察する。
論文 参考訳（メタデータ） (2023-10-01T07:57:03Z) - Neuro-Symbolic Entropy Regularization [78.16196949641079]
構造化予測では、目的は構造化されたオブジェクトをエンコードする多くの出力変数を共同で予測することである。
エントロピー正則化(Entropy regularization)という1つのアプローチは、決定境界が低確率領域にあるべきであることを示唆している。
我々は、モデルが有効対象を確実に予測することを奨励する損失、ニューロシンボリックエントロピー正規化を提案する。
論文 参考訳（メタデータ） (2022-01-25T06:23:10Z) - An Information Bottleneck Approach for Controlling Conciseness in
Rationale Extraction [84.49035467829819]
我々は,情報ボトルネック(IB)の目的を最適化することで,このトレードオフをよりよく管理できることを示す。
我々の完全教師なしのアプローチは、文上のスパース二項マスクを予測する説明器と、抽出された合理性のみを考慮したエンドタスク予測器を共同で学習する。
論文 参考訳（メタデータ） (2020-05-01T23:26:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。