論文の概要: An Indirect Rate-Distortion Characterization for Semantic Sources:
General Model and the Case of Gaussian Observation
- arxiv url: http://arxiv.org/abs/2201.12477v1
- Date: Sat, 29 Jan 2022 02:14:24 GMT
- ステータス: 処理完了
- システム内更新日: 2022-02-01 20:01:42.831066
- Title: An Indirect Rate-Distortion Characterization for Semantic Sources:
General Model and the Case of Gaussian Observation
- Title（参考訳）: セマンティクスソースの間接的レートゆがみ特性:一般モデルとガウス観測の場合
- Authors: Jiakun Liu, Shuo Shao, Wenyi Zhang, H. Vincent Poor
- Abstract要約: ソースモデルは、情報の意味的側面に対する最近の関心の高まりによって動機付けられている。
intrinsic状態は、一般に観測不可能なソースの意味的特徴に対応する。
レート歪み関数は、ソースのセマンティックレート歪み関数である。
- 参考スコア（独自算出の注目度）: 83.93224401261068
- License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
- Abstract: A new source model, which consists of an intrinsic state part and an
extrinsic observation part, is proposed and its information-theoretic
characterization, namely its rate-distortion function, is defined and analyzed.
Such a source model is motivated by the recent surge of interest in the
semantic aspect of information: the intrinsic state corresponds to the semantic
feature of the source, which in general is not observable but can only be
inferred from the extrinsic observation. There are two distortion measures, one
between the intrinsic state and its reproduction, and the other between the
extrinsic observation and its reproduction. Under a given code rate, the
tradeoff between these two distortion measures is characterized by the
rate-distortion function, which is solved via the indirect rate-distortion
theory and is termed as the semantic rate-distortion function of the source. As
an application of the general model and its analysis, the case of Gaussian
extrinsic observation is studied, assuming a linear relationship between the
intrinsic state and the extrinsic observation, under a quadratic distortion
structure. The semantic rate-distortion function is shown to be the solution of
a convex programming programming with respect to an error covariance matrix,
and a reverse water-filling type of solution is provided when the model further
satisfies a diagonalizability condition.
- Abstract（参考訳）: 固有状態部分と外部観測部分からなる新たな情報源モデルを提案し,その情報理論的特徴,すなわち速度歪み関数を定義し,解析した。
このような情報源モデルは、情報の意味的側面に対する最近の関心の高まりによって動機付けられている:本質的な状態は、一般に観測不可能であるが、外生的な観察からのみ推測できるソースの意味的特徴に対応する。
内在状態と再生状態の間には2つの歪み測度があり、内在状態と再生状態の間には2つの歪み測度がある。
与えられた符号率の下では、これらの2つの歪み測度間のトレードオフは、間接的な速度歪み理論によって解決される速度歪み関数によって特徴づけられる。
一般モデルと解析の応用として,2次歪み構造下での内在状態と外因性観測との線形関係を仮定して,ガウス系外因性観測の場合について検討した。
セマンティックレート歪み関数は、誤差共分散行列に対する凸プログラミングの解であることが示され、モデルがさらに対角化条件を満たす場合に、逆水充填型の解が提供される。
関連論文リスト
- Geometric Insights into Focal Loss: Reducing Curvature for Enhanced Model Calibration [1.642094639107215]
分類問題におけるモデルの信頼度は、便利なソフトマックス関数の出力ベクトルによって与えられることが多い。
この問題はモデルキャリブレーションと呼ばれ、広く研究されている。
本研究では, 焦点損失がモデルトレーニングにおける損失面の曲率を減少させることを示す。
論文 参考訳（メタデータ） (2024-05-01T10:53:54Z) - Demystifying Disagreement-on-the-Line in High Dimensions [34.103373453782744]
我々は高次元のランダム特徴回帰における不一致を解析するための理論的基盤を開発する。
CIFAR-10-C、Tiny ImageNet-C、Camelyon17の実験は、我々の理論と一致しており、理論的な発見の普遍性を支持する。
論文 参考訳（メタデータ） (2023-01-31T02:31:18Z) - Identifying Weight-Variant Latent Causal Models [82.14087963690561]
推移性は潜在因果表現の識別性を阻害する重要な役割を担っている。
いくつかの軽微な仮定の下では、潜伏因果表現が自明な置換とスケーリングまで特定可能であることを示すことができる。
本稿では,その間の因果関係や因果関係を直接学習する構造的caUsAl変分自動エンコーダを提案する。
論文 参考訳（メタデータ） (2022-08-30T11:12:59Z) - On the Strong Correlation Between Model Invariance and Generalization [54.812786542023325]
一般化は、見えないデータを分類するモデルの能力をキャプチャする。
不変性はデータの変換におけるモデル予測の一貫性を測定する。
データセット中心の視点から、あるモデルの精度と不変性は異なるテストセット上で線形に相関している。
論文 参考訳（メタデータ） (2022-07-14T17:08:25Z) - Self-Supervised Training with Autoencoders for Visual Anomaly Detection [61.62861063776813]
我々は, 正規サンプルの分布を低次元多様体で支持する異常検出において, 特定のユースケースに焦点を当てた。
我々は、訓練中に識別情報を活用する自己指導型学習体制に適応するが、通常の例のサブ多様体に焦点をあてる。
製造領域における視覚異常検出のための挑戦的なベンチマークであるMVTec ADデータセットで、最先端の新たな結果を達成する。
論文 参考訳（メタデータ） (2022-06-23T14:16:30Z) - Closed-form discovery of structural errors in models of chaotic systems
by integrating Bayesian sparse regression and data assimilation [0.0]
私たちはMEDIDAというフレームワークを紹介します: 解釈可能性とデータ同化を伴うモデルエラー発見。
MEDIDAでは、まず、観測状態と予測状態の差からモデル誤差を推定する。
観測結果がノイズである場合、まず、アンサンブルカルマンフィルタ(EnKF)のようなデータ同化手法を用いて、システムのノイズフリー解析状態を提供する。
最後に、レバレンスベクトルマシン(RVM)のような方程式発見手法、すなわちスパーシィプロモーティングベイズ法を用いて、解釈可能でパシモニアスでクローズドな解を同定する。
論文 参考訳（メタデータ） (2021-10-01T17:19:28Z) - On the Role of Optimization in Double Descent: A Least Squares Study [30.44215064390409]
最小二乗対象の降下勾配解に対して過大なリスクを負うことを示す。
ノイズのない回帰の場合、二重降下は最適化関連量によってのみ説明される。
ニューラルネットワークの予測が保たれているかどうかを実証的に調査する。
論文 参考訳（メタデータ） (2021-07-27T09:13:11Z) - Leveraging Global Parameters for Flow-based Neural Posterior Estimation [90.21090932619695]
実験観測に基づくモデルのパラメータを推定することは、科学的方法の中心である。
特に困難な設定は、モデルが強く不確定であるとき、すなわち、パラメータの異なるセットが同一の観測をもたらすときである。
本稿では,グローバルパラメータを共有する観測の補助的セットによって伝達される付加情報を利用して,その不確定性を破る手法を提案する。
論文 参考訳（メタデータ） (2021-02-12T12:23:13Z) - Semiparametric Nonlinear Bipartite Graph Representation Learning with
Provable Guarantees [106.91654068632882]
半パラメトリック指数族分布におけるパラメータの統計的推定問題として、両部グラフを考察し、その表現学習問題を定式化する。
提案手法は, 地中真理付近で強い凸性を示すため, 勾配降下法が線形収束率を達成できることを示す。
我々の推定器は指数族内の任意のモデル誤特定に対して頑健であり、広範な実験で検証されている。
論文 参考訳（メタデータ） (2020-03-02T16:40:36Z) - Generalisation error in learning with random features and the hidden
manifold model [23.71637173968353]
合成データセットの一般線形回帰と分類について検討した。
我々は,高次元構造を考察し,統計物理学からのレプリカ法を用いる。
閾値をピークとしたロジスティック回帰のためのいわゆる二重降下挙動を得る方法を示す。
隠れ多様体モデルにより生成されたデータにおいて相関関係が果たす役割について論じる。
論文 参考訳（メタデータ） (2020-02-21T14:49:41Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。