論文の概要: Human Supervision as an Information Bottleneck: A Unified Theory of Error Floors in Human-Guided Learning

• arxiv url: http://arxiv.org/abs/2602.23446v1
• Date: Thu, 26 Feb 2026 19:11:32 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-03-02 19:48:24.101654
• Title: Human Supervision as an Information Bottleneck: A Unified Theory of Error Floors in Human-Guided Learning
• Title（参考訳）: 情報基盤としてのヒューマンスーパービジョン:ヒューマンガイド学習におけるエラーフロアの統一理論
• Abstract要約: 制約は、モデルスケールや最適化よりも、監督チャネルの構造的特性を反映している、と我々は主張する。 我々は、人間の監督チャネルが潜在評価対象に十分でない場合、情報伝達チャネルとして機能することを示す統一理論を開発する。
• 参考スコア（独自算出の注目度）: 51.56484100374058
• License: http://creativecommons.org/licenses/by-nc-nd/4.0/
• Abstract: Large language models are trained primarily on human-generated data and feedback, yet they exhibit persistent errors arising from annotation noise, subjective preferences, and the limited expressive bandwidth of natural language. We argue that these limitations reflect structural properties of the supervision channel rather than model scale or optimization. We develop a unified theory showing that whenever the human supervision channel is not sufficient for a latent evaluation target, it acts as an information-reducing channel that induces a strictly positive excess-risk floor for any learner dominated by it. We formalize this Human-Bounded Intelligence limit and show that across six complementary frameworks (operator theory, PAC-Bayes, information theory, causal inference, category theory, and game-theoretic analyses of reinforcement learning from human feedback), non-sufficiency yields strictly positive lower bounds arising from the same structural decomposition into annotation noise, preference distortion, and semantic compression. The theory explains why scaling alone cannot eliminate persistent human-aligned errors and characterizes conditions under which auxiliary non-human signals (e.g., retrieval, program execution, tools) increase effective supervision capacity and collapse the floor by restoring information about the latent target. Experiments on real preference data, synthetic known-target tasks, and externally verifiable benchmarks confirm the predicted structural signatures: human-only supervision exhibits a persistent floor, while sufficiently informative auxiliary channels strictly reduce or eliminate excess error.
• Abstract（参考訳）: 大規模な言語モデルは、主に人為的なデータとフィードバックに基づいて訓練されるが、アノテーションノイズ、主観的嗜好、自然言語の限られた表現帯域幅から生じる持続的なエラーを示す。 これらの制限は、モデルスケールや最適化よりも、監督チャネルの構造的特性を反映している、と我々は主張する。 我々は、人間の監督チャネルが潜在評価対象に十分でない場合、それが支配する学習者に対して、厳密な正の余剰リスクフロアを誘導する情報還元チャネルとして機能することを示す統一理論を開発する。 我々は、この人間境界知能限界を定式化し、6つの相補的フレームワーク(演算理論、PACベイズ、情報理論、因果推論、カテゴリー理論、および人間のフィードバックからの強化学習のゲーム理論解析)において、非十分性は、同じ構造分解からアノテーションノイズ、嗜好歪み、意味的圧縮へと、厳密に正の下位境界をもたらすことを示す。 この理論は、なぜスケーリングだけで永続的なヒューマンアラインエラーを排除できないのかを説明し、補助的な非人間信号(例えば、検索、プログラム実行、ツール)が効果的な監視能力を高め、潜在対象に関する情報を復元することでフロアを崩壊させる条件を特徴付ける。 実際の嗜好データ、合成された既知のタスク、および外部で検証されたベンチマークの実験では、予測された構造上のシグネチャが確認されている。

関連論文リスト

• Ring-Zero: Scaling Zero RL to a Trillion Parameters for Emergent Reasoning [55.99621402404222]
  人間の注釈のない検証可能な報酬による強化学習は、しばしばゼロRLと呼ばれ、思考の連鎖的推論を引き出すための強力なパラダイムとして現れている。 我々はモデルから高品質な推論行動を引き出すことを目指している。 単純なスケーリングは、可読性、トークンの冗長性、適応的な推論深さの欠如に悩まされることがよくあります。
  論文  参考訳（メタデータ） (2026-07-14T06:14:55Z)
• Human-Machine Collaboration on Generative Meta-Learning: Model and Algorithm [22.212135025785244]
  機械学習モデルをトレーニングディストリビューションとは異なる環境に一般化することは、依然として重要なハードルである。 本稿では,データ合成の指導に専門家の直観を活用することによって,この領域のギャップを埋める新しいフレームワークであるGMHF(Generative Meta-Learning with Human Feedback)を提案する。
  論文  参考訳（メタデータ） (2026-07-01T13:29:54Z)
• The Curse of Helpfulness: Inverse Scaling Law in Robustness to Distractor Instructions via DistractionIF [19.923694743124475]
  大規模言語モデル (LLM) は、エージェントおよび検索強化世代 (RAG) システムにますます多くデプロイされている。 実際には、そのような文脈は、しばしば非構造化され、良性だが命令のようなセマンティックノイズで汚染される。 本稿では、参照テキストにおけるそのような注意散らし命令に対する堅牢性を評価するためのベンチマークであるDistractionIFを紹介する。
  論文  参考訳（メタデータ） (2026-05-28T07:18:15Z)
• The Annotation Scarcity Paradox in Low-Resource NLP Evaluation: A Decade of Acceleration and Emerging Constraints [3.322533845946475]
  低リソース自然言語処理(NLP)は、過去10年間に爆発的な成長を遂げてきた。 しかし、より複雑な生成システムを評価するのに必要な深い社会言語学の専門知識は、ひどく緊張している。 我々はこのパラドックスが報告された進捗の妥当性を脅かすと論じている。
  論文  参考訳（メタデータ） (2026-05-18T19:48:00Z)
• Perception Without Engagement: Dissecting the Causal Discovery Deficit in LMMs [68.58207076756237]
  本稿では,結果評価からメカニズム診断へ移行する摂動に基づく評価プロトコルProCauEvalを紹介する。 因果推論において,ビデオコンテンツは体系的に過小評価されている。 教師のネガティブなアライメントに基づく強化学習フレームワークであるADPOを提案する。
  論文  参考訳（メタデータ） (2026-05-10T08:48:58Z)
• From Garbage to Gold: A Data-Architectural Theory of Predictive Robustness [0.3277163122167433]
  本研究では,高次元誤差確率予測器が2種類のノイズを克服することを示す。 本稿では,ロバストネスを効率的に実現する予測器を識別する「プロアクティブデータ中心型AI」を提案する。 データ品質をアイテムレベルの完全性からポートフォリオレベルのアーキテクチャに再定義することで、“ローカル要因”の理論的理論的根拠を提供する。
  論文  参考訳（メタデータ） (2026-03-08T18:58:33Z)
• Understanding Degradation with Vision Language Model [56.09241449206817]
  視覚的劣化を理解することは、コンピュータビジョンにおいて重要な問題であるが、難しい問題である。 本稿では,教師付き微調整と強化学習を併用したマルチモーダル・チェーン・オブ・ソート・モデルであるDU-VLMを紹介する。 また,110,000個のクリーン劣化ペアと接地された物理アノテーションからなる大規模データセットである textbfDU-110k も導入した。
  論文  参考訳（メタデータ） (2026-02-04T13:51:15Z)
• Towards Minimal Causal Representations for Human Multimodal Language Understanding [20.44307628909198]
  従来の可能性よりも因果原理を活用する因果多様情報ボトルネック(CaMIB)モデルを導入する。 因果的特徴のグローバルな整合性を確保するため,器用変数制約を組み込む。 マルチモーダル感情分析、ユーモア検出、およびサルカズム検出の実験は、OODテストセットとともに、CaMIBの有効性を実証した。
  論文  参考訳（メタデータ） (2025-09-26T03:04:23Z)
• Knowledge Collapse in LLMs: When Fluency Survives but Facts Fail under Recursive Synthetic Training [2.094557609248011]
  大規模な言語モデルは、人間が書き込んだコンテンツの不足のために、合成データにますます依存している。 モデル生成出力に対する再帰的なトレーニングは、事実の信頼性を脅かす退化過程であるモデル崩壊につながる。
  論文  参考訳（メタデータ） (2025-09-05T04:29:15Z)
• The wall confronting large language models [0.0]
  大規模言語モデルの性能を決定するスケーリング法則は,予測の不確実性を改善する能力を大幅に制限していることを示す。 LLMの学習能力の多くを駆動するメカニズムは、誤りの積み重ねを発生させる確率の根本にあるのかもしれない、と我々は主張する。
  論文  参考訳（メタデータ） (2025-07-25T22:48:37Z)
• Robust Molecular Property Prediction via Densifying Scarce Labeled Data [53.24886143129006]
  薬物発見において、研究を進める上で最も重要な化合物は、しばしば訓練セットを越えている。 本稿では, ラベル付きデータを利用して, 分布内データ(ID)と分布外データ(OOD)を補間する2段階最適化手法を提案する。
  論文  参考訳（メタデータ） (2025-06-13T15:27:40Z)
• On the Surprising Effectiveness of Large Learning Rates under Standard Width Scaling [15.769249369390884]
  最適な学習速度は理論的な予測よりも遅く、ネットワークは、非常に広い範囲でも安定した訓練と非自明な特徴学習の両方を示します。 特に, クロスエントロピー (CE) の損失下では, 不安定な状態は, 破滅的な不安定な状態と, より良質な制御された分岐状態の2つのサブレジムから構成されることを示す。 我々の経験的証拠は、幅スケーリングの考慮は、経験的最大学習率指数を予測するのに驚くほど有用であることを示している。
  論文  参考訳（メタデータ） (2025-05-28T15:40:48Z)
• SINDER: Repairing the Singular Defects of DINOv2 [61.98878352956125]
  大規模なデータセットでトレーニングされたビジョントランスフォーマーモデルは、抽出したパッチトークンにアーティファクトを表示することが多い。 本稿では,小さなデータセットのみを用いて構造欠陥を補正するスムーズなスムーズな正規化を提案する。
  論文  参考訳（メタデータ） (2024-07-23T20:34:23Z)
• Neural Network Approximation for Pessimistic Offline Reinforcement Learning [17.756108291816908]
  一般ニューラルネットワーク近似を用いた悲観的オフラインRLの非漸近的推定誤差を提案する。 その結果, 推定誤差は2つの部分から構成されることがわかった。第1は, 部分的に制御可能な集束率でサンプルサイズに所望の速度で0に収束し, 第2は残留制約が厳密であれば無視可能である。
  論文  参考訳（メタデータ） (2023-12-19T05:17:27Z)
• Understanding Robust Overfitting from the Feature Generalization Perspective [61.770805867606796]
  逆行訓練(AT)は、逆行摂動を自然データに組み込むことで、堅牢なニューラルネットワークを構築する。 これはロバストオーバーフィッティング(RO)の問題に悩まされ、モデルのロバスト性を著しく損なう。 本稿では,新しい特徴一般化の観点からROを考察する。
  論文  参考訳（メタデータ） (2023-10-01T07:57:03Z)
• Neuro-Symbolic Entropy Regularization [78.16196949641079]
  構造化予測では、目的は構造化されたオブジェクトをエンコードする多くの出力変数を共同で予測することである。 エントロピー正則化(Entropy regularization)という1つのアプローチは、決定境界が低確率領域にあるべきであることを示唆している。 我々は、モデルが有効対象を確実に予測することを奨励する損失、ニューロシンボリックエントロピー正規化を提案する。
  論文  参考訳（メタデータ） (2022-01-25T06:23:10Z)
• An Information Bottleneck Approach for Controlling Conciseness in Rationale Extraction [84.49035467829819]
  我々は,情報ボトルネック(IB)の目的を最適化することで,このトレードオフをよりよく管理できることを示す。 我々の完全教師なしのアプローチは、文上のスパース二項マスクを予測する説明器と、抽出された合理性のみを考慮したエンドタスク予測器を共同で学習する。
  論文  参考訳（メタデータ） (2020-05-01T23:26:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。