論文の概要: Coding for Intelligence from the Perspective of Category

• arxiv url: http://arxiv.org/abs/2407.01017v2
• Date: Tue, 2 Jul 2024 05:47:02 GMT
• ステータス: 処理完了
• システム内更新日: 2024-07-04 00:25:59.873322
• Title: Coding for Intelligence from the Perspective of Category
• Title（参考訳）: カテゴリーから見たインテリジェンスのためのコーディング
• Authors: Wenhan Yang, Zixuan Hu, Lilang Lin, Jiaying Liu, Ling-Yu Duan,
• Abstract要約: 符号化の対象はデータの圧縮と再構成、インテリジェンスである。 最近の傾向は、これらの2つの分野の潜在的均一性を示している。 本稿では,カテゴリ理論の観点から,インテリジェンスのためのコーディングの新たな問題を提案する。
• 参考スコア（独自算出の注目度）: 66.14012258680992
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Coding, which targets compressing and reconstructing data, and intelligence, often regarded at an abstract computational level as being centered around model learning and prediction, interweave recently to give birth to a series of significant progress. The recent trends demonstrate the potential homogeneity of these two fields, especially when deep-learning models aid these two categories for better probability modeling. For better understanding and describing from a unified perspective, inspired by the basic generally recognized principles in cognitive psychology, we formulate a novel problem of Coding for Intelligence from the category theory view. Based on the three axioms: existence of ideal coding, existence of practical coding, and compactness promoting generalization, we derive a general framework to understand existing methodologies, namely that, coding captures the intrinsic relationships of objects as much as possible, while ignoring information irrelevant to downstream tasks. This framework helps identify the challenges and essential elements in solving the specific derived Minimal Description Length (MDL) optimization problem from a broader range, providing opportunities to build a more intelligent system for handling multiple tasks/applications with coding ideas/tools. Centering on those elements, we systematically review recent processes of towards optimizing the MDL problem in more comprehensive ways from data, model, and task perspectives, and reveal their impacts on the potential CfI technical routes. After that, we also present new technique paths to fulfill CfI and provide potential solutions with preliminary experimental evidence. Last, further directions and remaining issues are discussed as well. The discussion shows our theory can reveal many phenomena and insights about large foundation models, which mutually corroborate with recent practices in feature learning.
• Abstract（参考訳）: データ圧縮と再構成、インテリジェンスを対象とする符号化は、しばしば抽象的な計算レベルでモデル学習と予測に中心を置いていると見なされる。 最近の傾向は、特にディープラーニングモデルがこれらの2つのカテゴリをより良い確率モデリングに役立てる場合、これらの2つの分野の潜在的な均一性を示している。 認知心理学の基本的な原則に着想を得て、統一的な視点からよりよく理解し、記述するために、私たちはカテゴリー理論の観点から知性のためのコーディングという新しい問題を定式化します。 理想的な符号化の存在、実用的な符号化の存在、一般化を促進するコンパクト性という3つの公理に基づいて、我々は既存の方法論を理解するための一般的な枠組みを導出する。 このフレームワークは、特定の派生した最小記述長(MDL)最適化問題を幅広い範囲から解決する上での課題と重要な要素を特定し、コーディングのアイデア/ツールで複数のタスク/アプリケーションを扱うためのよりインテリジェントなシステムを構築する機会を提供する。 これらの要素を中心に、我々は、データ、モデル、タスクの観点から、MDL問題をより包括的な方法で最適化するための最近のプロセスを体系的にレビューし、CfI技術ルートに対するそれらの影響を明らかにする。 その後、我々はCfIを満たすための新しい手法の道を示し、予備的な実験的証拠を提供する。 最後に、今後の方向性と今後の課題についても論じる。 この議論は、我々の理論が、機能学習における近年の実践と相互に相関する大きな基礎モデルに関する多くの現象や洞察を明らかにすることができることを示している。

関連論文リスト

• Relational Concept Bottleneck Models [13.311396882130033]
  概念ボトルネックモデル(CBM)は問題を解決するために設計されていない。 R-CBMは標準CBMとリレーショナルGNNの両方を表現できる。 特に,R-CBMが概念に基づく説明の生成を支援することを示す。
  論文  参考訳（メタデータ） (2023-08-23T08:25:33Z)
• Hierarchically Structured Task-Agnostic Continual Learning [0.0]
  本研究では,連続学習のタスク非依存的な視点を取り入れ,階層的情報理論の最適性原理を考案する。 我々は,情報処理経路の集合を作成することで,忘れを緩和する,Mixture-of-Variational-Experts層と呼ばれるニューラルネットワーク層を提案する。 既存の連続学習アルゴリズムのようにタスク固有の知識を必要としない。
  論文  参考訳（メタデータ） (2022-11-14T19:53:15Z)
• Causal Reasoning Meets Visual Representation Learning: A Prospective Study [117.08431221482638]
  解釈可能性の欠如、堅牢性、分布外一般化が、既存の視覚モデルの課題となっている。 人間レベルのエージェントの強い推論能力にインスパイアされた近年では、因果推論パラダイムの開発に多大な努力が注がれている。 本稿では,この新興分野を包括的に概観し,注目し,議論を奨励し,新たな因果推論手法の開発の急激さを先導することを目的とする。
  論文  参考訳（メタデータ） (2022-04-26T02:22:28Z)
• MODRL/D-EL: Multiobjective Deep Reinforcement Learning with Evolutionary Learning for Multiobjective Optimization [10.614594804236893]
  本稿では、時間窓付き多目的車両ルーティング問題と呼ばれる典型的な複雑な問題に対して、進化学習アルゴリズムを用いた多目的深部強化学習を提案する。 MO-VRPTWインスタンスの実験結果は、提案アルゴリズムが他の学習ベースおよび反復型アプローチよりも優れていることを示す。
  論文  参考訳（メタデータ） (2021-07-16T15:22:20Z)
• A Minimalist Dataset for Systematic Generalization of Perception, Syntax, and Semantics [131.93113552146195]
  我々は,機械が一般化可能な概念を学習する能力を調べるため,新しいデータセットであるHINT(Hand written arithmetic with INTegers)を提案する。 HINTでは、イメージなどの生信号から概念がどのように認識されるかを学ぶことが機械のタスクである。 我々は、RNN、Transformer、GPT-3など、様々なシーケンス・ツー・シーケンスモデルで広範囲に実験を行った。
  論文  参考訳（メタデータ） (2021-03-02T01:32:54Z)
• Investigating Bi-Level Optimization for Learning and Vision from a Unified Perspective: A Survey and Beyond [114.39616146985001]
  機械学習やコンピュータビジョンの分野では、モチベーションやメカニズムが異なるにもかかわらず、複雑な問題の多くは、一連の密接に関連するサブプロトコルを含んでいる。 本稿では,BLO(Bi-Level Optimization)の観点から,これらの複雑な学習と視覚問題を一様に表現する。 次に、値関数に基づく単一レベル再構成を構築し、主流勾配に基づくBLO手法を理解し、定式化するための統一的なアルゴリズムフレームワークを確立する。
  論文  参考訳（メタデータ） (2021-01-27T16:20:23Z)
• A Survey on Concept Factorization: From Shallow to Deep Representation Learning [104.78577405792592]
  概念因子化(CF)は、機械学習とデータマイニングの分野で大きな関心を集めています。 まず、ルートCF法を再検討し、CFに基づく表現学習の進歩について検討する。 また、CFベースの手法の潜在的な適用領域についても紹介する。
  論文  参考訳（メタデータ） (2020-07-31T04:19:14Z)
• Concept Learners for Few-Shot Learning [76.08585517480807]
  本研究では,人間の解釈可能な概念次元に沿って学習することで,一般化能力を向上させるメタ学習手法であるCOMETを提案する。 我々は,細粒度画像分類,文書分類,セルタイプアノテーションなど,さまざまな領域からの少数ショットタスクによるモデルの評価を行った。
  論文  参考訳（メタデータ） (2020-07-14T22:04:17Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。