論文の概要: Information Theory in Open-world Machine Learning Foundations, Frameworks, and Future Direction

• arxiv url: http://arxiv.org/abs/2510.15422v1
• Date: Fri, 17 Oct 2025 08:20:56 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-10-20 20:17:34.535758
• Title: Information Theory in Open-world Machine Learning Foundations, Frameworks, and Future Direction
• Title（参考訳）: オープンワールド機械学習ファウンデーションにおける情報理論と今後の方向性
• Authors: Lin Wang,
• Abstract要約: Open World Machine Learning (OWML)は、既知のカテゴリを認識し、未知のサンプルを拒絶し、新しい情報から継続的に学習できるインテリジェントなシステムを開発することを目的としている。 オープンセット認識、新規性検出、継続的な学習の進歩にもかかわらず、この分野には統一された理論基盤がない。 本稿では,オープンワールド機械学習における情報理論のアプローチを概観する。
• 参考スコア（独自算出の注目度）: 4.049865011707225
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Open world Machine Learning (OWML) aims to develop intelligent systems capable of recognizing known categories, rejecting unknown samples, and continually learning from novel information. Despite significant progress in open set recognition, novelty detection, and continual learning, the field still lacks a unified theoretical foundation that can quantify uncertainty, characterize information transfer, and explain learning adaptability in dynamic, nonstationary environments. This paper presents a comprehensive review of information theoretic approaches in open world machine learning, emphasizing how core concepts such as entropy, mutual information, and Kullback Leibler divergence provide a mathematical language for describing knowledge acquisition, uncertainty suppression, and risk control under open world conditions. We synthesize recent studies into three major research axes: information theoretic open set recognition enabling safe rejection of unknowns, information driven novelty discovery guiding new concept formation, and information retentive continual learning ensuring stable long term adaptation. Furthermore, we discuss theoretical connections between information theory and provable learning frameworks, including PAC Bayes bounds, open-space risk theory, and causal information flow, to establish a pathway toward provable and trustworthy open world intelligence. Finally, the review identifies key open problems and future research directions, such as the quantification of information risk, development of dynamic mutual information bounds, multimodal information fusion, and integration of information theory with causal reasoning and world model learning.
• Abstract（参考訳）: Open World Machine Learning (OWML)は、既知のカテゴリを認識し、未知のサンプルを拒絶し、新しい情報から継続的に学習できるインテリジェントなシステムを開発することを目的としている。 オープンセット認識、ノベルティ検出、継続学習の著しい進歩にもかかわらず、この分野には、不確実性を定量化し、情報伝達を特徴づけ、動的で非定常環境における学習適応性を説明する、統一的な理論基盤がまだ欠けている。 本稿では,オープンワールド学習における情報理論的アプローチの包括的レビューを行い,オープンワールド環境下での知識獲得,不確実性抑制,リスクコントロールを数学的に記述するための,エントロピーや相互情報,Kullback Leiblerの分散といった中核概念がいかに数学的言語を提供するかを強調した。 我々は最近の研究を3つの主要な研究軸にまとめる: 未知の安全な拒絶を可能にする情報理論オープンセット認識、新しい概念形成を導く情報駆動ノベルティ発見、安定した長期適応を保証する情報強化連続学習。 さらに,PACベイズ境界,オープンスペースリスク理論,因果情報フローなど,情報理論と証明可能な学習フレームワークの理論的関係を論じ,証明可能な,信頼性の高いオープンワールドインテリジェンスへの道筋を確立する。 最後に、情報リスクの定量化、動的相互情報境界の発達、マルチモーダル情報融合、因果推論と世界モデル学習による情報理論の統合など、重要なオープン問題と今後の研究方向性を明らかにする。

関連論文リスト

• How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training [92.88889953768455]
  大きな言語モデル(LLM)は、どのようにして新しい知識を内部化するかを理解する上で、重大なギャップに直面します。 知識記憶と処理を容易にする計算サブグラフを同定する。
  論文  参考訳（メタデータ） (2025-02-16T16:55:43Z)
• Open-world machine learning: A review and new outlooks [117.33922838201993]
  オープンワールド機械学習の全体像を論じる。 未知の拒絶、新奇な発見、継続的な学習を調査する。 これは研究者がそれぞれの分野でより強力なAIシステムを構築するのを助けることを目的としている。
  論文  参考訳（メタデータ） (2024-03-04T06:25:26Z)
• Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
  大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。 しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。 本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
  論文  参考訳（メタデータ） (2023-10-11T08:22:37Z)
• To Compress or Not to Compress- Self-Supervised Learning and Information Theory: A Review [30.87092042943743]
  ディープニューラルネットワークは教師付き学習タスクに優れるが、広範なラベル付きデータの必要性によって制約される。 自己組織化学習は有望な代替手段として登場し、明確なラベルなしでモデルを学習できる。 情報理論、特に情報ボトルネックの原則は、ディープニューラルネットワークの形成において重要な役割を担っている。
  論文  参考訳（メタデータ） (2023-04-19T00:33:59Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。