論文の概要: Semantic Information G Theory for Range Control with Tradeoff between Purposiveness and Efficiency

• arxiv url: http://arxiv.org/abs/2411.05789v1
• Date: Sat, 19 Oct 2024 08:43:49 GMT
• ステータス: 翻訳完了
• システム内更新日: 2024-11-17 10:00:39.591261
• Title: Semantic Information G Theory for Range Control with Tradeoff between Purposiveness and Efficiency
• Title（参考訳）: パーポーブネスと効率のトレードオフを考慮したセマンティック情報G理論
• Authors: Chenguang Lu,
• Abstract要約: 本稿では,意味情報G測度とR(G)関数のパラメトリック解を紹介する。 R(G)関数はIMM法の理論的基礎として機能するが、深層学習、強化学習、制約制御と組み合わせてさらなる研究が必要である。
• 参考スコア（独自算出の注目度）: 0.7252027234425334
• License:
• Abstract: Recent advances in deep learning suggest that we need to maximize and minimize two different kinds of information simultaneously. The Information Max-Min (IMM) method has been used in deep learning, reinforcement learning, and maximum entropy control. Shannon's information rate-distortion function is the theoretical basis of Minimizing Mutual Information (MMI) and data compression, but it is not enough to solve the IMM problem. The author has proposed the semantic information G theory (i.e., Shannon-Lu theory), including the semantic information G measure and the information rate fidelity function R(G) (R is the MMI for the given G of semantic mutual information). The parameter solution of the R(G) function provides a general method to improve the information efficiency, G/R. This paper briefly introduces the semantic information G measure and the parametric solution of the R(G) function. Two examples reveal that the parametric solution can help us optimize range control with the tradeoff between purposiveness (i.e., semantic mutual information) and information efficiency. It seems that the R(G) function can serve as the theoretical basis of IMM methods, but we still need further research in combination with deep learning, reinforcement learning, and constraint control.
• Abstract（参考訳）: 近年のディープラーニングの進歩は、2つの異なる情報の最大化と最小化を同時に行う必要があることを示唆している。 The Information Max-Min (IMM) method has been used in deep learning, reinforcement learning, and maximum entropy control。 シャノンの情報速度歪み関数は、MMI(Minimize Mutual Information)とデータ圧縮の理論的基礎であるが、IMMの問題を解決するには不十分である。 著者らは、意味情報G測度と情報レート忠実度関数R(G)を含む意味情報G理論(シャノン・ルー理論)を提案している(Rは意味情報GのMMIである)。 R(G) 関数のパラメータ解は、情報効率 G/R を改善する一般的な方法を提供する。 本稿では,意味情報G測度とR(G)関数のパラメトリック解について概説する。 2つの例は、パラメトリックソリューションが、パーポーブネス(意味的相互情報)と情報効率のトレードオフによる範囲制御を最適化するのに役立つことを示している。 R(G)関数はIMM法の理論的基礎として機能するが、深層学習、強化学習、制約制御と組み合わせてさらなる研究が必要である。

関連論文リスト

• RAG-DDR: Optimizing Retrieval-Augmented Generation Using Differentiable Data Rewards [78.74923079748521]
  Retrieval-Augmented Generation (RAG) は、Large Language Models (LLMs) における幻覚を緩和する効果を証明している。 現在のアプローチでは、命令チューニングを使用してLLMを最適化し、検索した知識を活用する能力を改善している。 本稿では,異なるRAGモジュール間でデータ嗜好を整列させることでRAGシステムを訓練するDDR法を提案する。
  論文  参考訳（メタデータ） (2024-10-17T12:53:29Z)
• Semantic Variational Bayes Based on a Semantic Information Theory for Solving Latent Variables [0.7252027234425334]
  本稿では,セマンティック変分ベイズ法(SVB)を提案する。 先述したセマンティック情報理論は、レート歪み関数 R(D) をレート忠実関数 R(G) に拡張する。
  論文  参考訳（メタデータ） (2024-08-12T03:23:53Z)
• Provably Efficient Information-Directed Sampling Algorithms for Multi-Agent Reinforcement Learning [50.92957910121088]
  本研究は,情報指向サンプリング(IDS)の原理に基づくマルチエージェント強化学習(MARL)のための新しいアルゴリズムの設計と解析を行う。 エピソディックな2プレーヤゼロサムMGに対して、ナッシュ平衡を学習するための3つのサンプル効率アルゴリズムを提案する。 我々は、Reg-MAIDSをマルチプレイヤー汎用MGに拡張し、ナッシュ平衡または粗相関平衡をサンプル効率良く学習できることを証明する。
  論文  参考訳（メタデータ） (2024-04-30T06:48:56Z)
• How Can LLM Guide RL? A Value-Based Approach [68.55316627400683]
  強化学習(Reinforcement Learning, RL)は、将来の行動方針をフィードバックで改善することにより、シーケンシャルな意思決定問題の事実上の標準的実践となった。 大規模言語モデル(LLM)の最近の発展は、言語理解と生成において印象的な能力を示したが、探索と自己改善能力に欠けていた。 我々はLINVITというアルゴリズムを開発し、LLMガイダンスを値ベースRLの正規化因子として組み込んで学習に必要なデータ量を大幅に削減する。
  論文  参考訳（メタデータ） (2024-02-25T20:07:13Z)
• Generalized Sum Pooling for Metric Learning [21.45902496139412]
  ディープラーニングのための学習可能な一般化和プーリング法(GSP)を提案する。 提案手法の有効性を4つの一般的なメトリクス学習ベンチマークで評価した。
  論文  参考訳（メタデータ） (2023-08-18T01:20:25Z)
• Reviewing Evolution of Learning Functions and Semantic Information Measures for Understanding Deep Learning [0.0]
  本稿ではまず,意味情報測度と学習機能の進化史を概観する。 著者のセマンティック情報G理論をR(G)関数で簡単に紹介する(GはSeMIを表す)。
  論文  参考訳（メタデータ） (2023-05-23T06:32:49Z)
• Computationally-efficient initialisation of GPs: The generalised variogram method [1.0312968200748118]
  我々の戦略は,MLトレーニングの初期条件を見つけるための事前訓練段階として利用することができる。 合成および実世界のデータを用いて,異なるカーネルに対して,精度,MLとの整合性,計算複雑性を実験的に検証する。
  論文  参考訳（メタデータ） (2022-10-11T12:13:21Z)
• Robust Unsupervised Multi-task and Transfer Learning on Gaussian Mixture Models [13.07916598175886]
  GMMにおけるマルチタスク学習問題について検討する。 本稿では,EMアルゴリズムに基づくマルチタスクGMM学習手法を提案する。 我々はGMMにおける伝達学習の課題に取り組むためのアプローチを一般化する。
  論文  参考訳（メタデータ） (2022-09-30T04:35:12Z)
• Policy Information Capacity: Information-Theoretic Measure for Task Complexity in Deep Reinforcement Learning [83.66080019570461]
  課題の難易度について,環境にとらわれない,アルゴリズムにとらわれない2つの定量的指標を提案する。 これらの指標は、様々な代替案よりも、正規化タスク可解性スコアとの相関が高いことを示す。 これらのメトリクスは、鍵設計パラメータの高速かつ計算効率の良い最適化にも使用できる。
  論文  参考訳（メタデータ） (2021-03-23T17:49:50Z)
• Discovering Reinforcement Learning Algorithms [53.72358280495428]
  強化学習アルゴリズムは、いくつかのルールの1つに従ってエージェントのパラメータを更新する。 本稿では,更新ルール全体を検出するメタラーニング手法を提案する。 これには、一連の環境と対話することで、"何を予測するか"(例えば、値関数)と"どのように学習するか"の両方が含まれている。
  論文  参考訳（メタデータ） (2020-07-17T07:38:39Z)
• Graph Representation Learning via Graphical Mutual Information Maximization [86.32278001019854]
  本稿では,入力グラフとハイレベルな隠蔽表現との相関を測る新しい概念であるGMIを提案する。 我々は,グラフニューラルエンコーダの入力と出力の間でGMIを最大化することで訓練された教師なし学習モデルを開発する。
  論文  参考訳（メタデータ） (2020-02-04T08:33:49Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。