Fugu-MT 論文翻訳(概要): Information Theory in Open-world Machine Learning Foundations, Frameworks, and Future Direction

論文の概要: Information Theory in Open-world Machine Learning Foundations, Frameworks, and Future Direction

arxiv url: http://arxiv.org/abs/2510.15422v1
Date: Fri, 17 Oct 2025 08:20:56 GMT
ステータス: 翻訳完了
システム内更新日: 2025-10-20 20:17:34.535758
Title: Information Theory in Open-world Machine Learning Foundations, Frameworks, and Future Direction
Title（参考訳）: オープンワールド機械学習ファウンデーションにおける情報理論と今後の方向性
Authors: Lin Wang,
Abstract要約: Open World Machine Learning (OWML)は、既知のカテゴリを認識し、未知のサンプルを拒絶し、新しい情報から継続的に学習できるインテリジェントなシステムを開発することを目的としている。オープンセット認識、新規性検出、継続的な学習の進歩にもかかわらず、この分野には統一された理論基盤がない。本稿では,オープンワールド機械学習における情報理論のアプローチを概観する。
参考スコア（独自算出の注目度）: 4.049865011707225
License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
Abstract: Open world Machine Learning (OWML) aims to develop intelligent systems capable of recognizing known categories, rejecting unknown samples, and continually learning from novel information. Despite significant progress in open set recognition, novelty detection, and continual learning, the field still lacks a unified theoretical foundation that can quantify uncertainty, characterize information transfer, and explain learning adaptability in dynamic, nonstationary environments. This paper presents a comprehensive review of information theoretic approaches in open world machine learning, emphasizing how core concepts such as entropy, mutual information, and Kullback Leibler divergence provide a mathematical language for describing knowledge acquisition, uncertainty suppression, and risk control under open world conditions. We synthesize recent studies into three major research axes: information theoretic open set recognition enabling safe rejection of unknowns, information driven novelty discovery guiding new concept formation, and information retentive continual learning ensuring stable long term adaptation. Furthermore, we discuss theoretical connections between information theory and provable learning frameworks, including PAC Bayes bounds, open-space risk theory, and causal information flow, to establish a pathway toward provable and trustworthy open world intelligence. Finally, the review identifies key open problems and future research directions, such as the quantification of information risk, development of dynamic mutual information bounds, multimodal information fusion, and integration of information theory with causal reasoning and world model learning.
Abstract（参考訳）: Open World Machine Learning (OWML)は、既知のカテゴリを認識し、未知のサンプルを拒絶し、新しい情報から継続的に学習できるインテリジェントなシステムを開発することを目的としている。オープンセット認識、ノベルティ検出、継続学習の著しい進歩にもかかわらず、この分野には、不確実性を定量化し、情報伝達を特徴づけ、動的で非定常環境における学習適応性を説明する、統一的な理論基盤がまだ欠けている。本稿では,オープンワールド学習における情報理論的アプローチの包括的レビューを行い,オープンワールド環境下での知識獲得,不確実性抑制,リスクコントロールを数学的に記述するための,エントロピーや相互情報,Kullback Leiblerの分散といった中核概念がいかに数学的言語を提供するかを強調した。我々は最近の研究を3つの主要な研究軸にまとめる: 未知の安全な拒絶を可能にする情報理論オープンセット認識、新しい概念形成を導く情報駆動ノベルティ発見、安定した長期適応を保証する情報強化連続学習。さらに,PACベイズ境界,オープンスペースリスク理論,因果情報フローなど,情報理論と証明可能な学習フレームワークの理論的関係を論じ,証明可能な,信頼性の高いオープンワールドインテリジェンスへの道筋を確立する。最後に、情報リスクの定量化、動的相互情報境界の発達、マルチモーダル情報融合、因果推論と世界モデル学習による情報理論の統合など、重要なオープン問題と今後の研究方向性を明らかにする。

関連論文リスト

Unveiling Knowledge Utilization Mechanisms in LLM-based Retrieval-Augmented Generation [77.10390725623125]
検索強化世代(RAG)は知識範囲の拡大に広く利用されている。 RAGは、オープンドメインの質問応答のような知識集約的なタスクを約束しているので、複雑なタスクやインテリジェントアシスタントへの幅広い応用は、その実用性をさらに進歩させてきた。本稿では、RAGが内部(パラメトリック)知識と外部(検索)知識を統合する本質的なメカニズムを体系的に検討する。
論文参考訳（メタデータ） (2025-05-17T13:13:13Z)
How Do LLMs Acquire New Knowledge? A Knowledge Circuits Perspective on Continual Pre-Training [92.88889953768455]
大きな言語モデル(LLM)は、どのようにして新しい知識を内部化するかを理解する上で、重大なギャップに直面します。知識記憶と処理を容易にする計算サブグラフを同定する。
論文参考訳（メタデータ） (2025-02-16T16:55:43Z)
A Unified Framework for Neural Computation and Learning Over Time [56.44910327178975]
Hamiltonian Learningはニューラルネットワークを"時間とともに"学習するための新しい統合フレームワーク i)外部ソフトウェアソルバを必要とせずに統合できる、(ii)フィードフォワードおよびリカレントネットワークにおける勾配に基づく学習の概念を一般化する、(iii)新しい視点で開放する、という微分方程式に基づいている。
論文参考訳（メタデータ） (2024-09-18T14:57:13Z)
Open-world machine learning: A review and new outlooks [117.33922838201993]
オープンワールド機械学習の全体像を論じる。未知の拒絶、新奇な発見、継続的な学習を調査する。これは研究者がそれぞれの分野でより強力なAIシステムを構築するのを助けることを目的としている。
論文参考訳（メタデータ） (2024-03-04T06:25:26Z)
A Comprehensive Study of Knowledge Editing for Large Language Models [82.65729336401027]
大規模言語モデル(LLM)は、人間のコミュニケーションを忠実に反映したテキストの理解と生成の素晴らしい能力を示している。本稿では,知識編集の問題を定義し,最先端アプローチの包括的レビューを行う。我々は,代表的知識編集アプローチの総合的評価のための新しいベンチマークであるKnowEditを紹介した。
論文参考訳（メタデータ） (2024-01-02T16:54:58Z)
Beyond Factuality: A Comprehensive Evaluation of Large Language Models as Knowledge Generators [78.63553017938911]
大規模言語モデル(LLM)は、下流の知識集約タスクのための情報検索技術より優れている。しかし、コミュニティの懸念は、この無検閲の知識を使用することの事実と潜在的意味について多岐にわたる。本研究では,6つの重要な視点から生成した知識を評価するために設計されたCONNERを紹介する。
論文参考訳（メタデータ） (2023-10-11T08:22:37Z)
Detecting and Learning Out-of-Distribution Data in the Open world: Algorithm and Theory [15.875140867859209]
この論文は、特にオープンワールドシナリオのコンテキストにおいて、機械学習の領域に貢献する。オープンワールド機械学習に不可欠な2つの段階:アウト・オブ・ディストリビューション(OOD)検出とオープンワールド表現学習(ORL)
論文参考訳（メタデータ） (2023-10-10T00:25:21Z)
To Compress or Not to Compress- Self-Supervised Learning and Information Theory: A Review [30.87092042943743]
ディープニューラルネットワークは教師付き学習タスクに優れるが、広範なラベル付きデータの必要性によって制約される。自己組織化学習は有望な代替手段として登場し、明確なラベルなしでモデルを学習できる。情報理論、特に情報ボトルネックの原則は、ディープニューラルネットワークの形成において重要な役割を担っている。
論文参考訳（メタデータ） (2023-04-19T00:33:59Z)
Informed Learning by Wide Neural Networks: Convergence, Generalization and Sampling Complexity [27.84415856657607]
ドメイン知識が情報学習のパフォーマンスにどのような影響を及ぼすか、なぜ研究する。本稿では,知識の利点をうまく活用し,ラベルと知識の不完全性のバランスをとるための,汎用的な情報教育目標を提案する。
論文参考訳（メタデータ） (2022-07-02T06:28:25Z)
A Critical Review of Information Bottleneck Theory and its Applications to Deep Learning [0.0]
ディープニューラルネットワークは、今日の社会のあらゆる側面に影響を与え続ける比類のない改善を見てきました。情報ボトルネック理論は、ニューラルネットワークの学習ダイナミクスをよりよく理解するための有望なアプローチとして登場した。本研究の目的は、情報理論のルーツと最近提案された深層学習モデル理解への応用をカバーするib理論の包括的レビューを提供することである。
論文参考訳（メタデータ） (2021-05-07T14:16:38Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。