論文の概要: Information Theory of Meaningful Communication
- arxiv url: http://arxiv.org/abs/2411.12728v1
- Date: Tue, 19 Nov 2024 18:51:23 GMT
- ステータス: 翻訳完了
- システム内更新日: 2024-11-20 13:36:01.857333
- Title: Information Theory of Meaningful Communication
- Title（参考訳）: 意味のあるコミュニケーションの情報理論
- Authors: Doron Sivan, Misha Tsodyks,
- Abstract要約: シャノンの論文では、印刷された英語のエントロピーは固定的な処理として扱われ、1文字あたり約1ビットと推定された。
本研究では,最近開発された大規模言語モデルを用いて,意味ある物語に伝達される情報を節ごとの意味のビットで定量化することができることを示す。
- 参考スコア（独自算出の注目度）: 0.0
- License:
- Abstract: In Shannon's seminal paper, entropy of printed English, treated as a stationary stochastic process, was estimated to be roughly 1 bit per character. However, considered as a means of communication, language differs considerably from its printed form: (i) the units of information are not characters or even words but clauses, i.e. shortest meaningful parts of speech; and (ii) what is transmitted is principally the meaning of what is being said or written, while the precise phrasing that was used to communicate the meaning is typically ignored. In this study, we show that one can leverage recently developed large language models to quantify information communicated in meaningful narratives in terms of bits of meaning per clause.
- Abstract（参考訳）: シャノンのセミナー論文では、固定確率過程として扱われる英語のエントロピーは1文字あたり約1ビットと推定された。
しかし、コミュニケーションの手段として考えると、言語は印刷形式と大きく異なる。
一 情報の単位は、文字、語、節、即ち、言論の最も短い部分である。
二 伝達するものとは、主に、その意味を伝えるのに用いた正確な言い回しを無視すること。
本研究では,最近開発された大規模言語モデルを用いて,意味ある物語に伝達される情報を節ごとの意味のビットで定量化することができることを示す。
関連論文リスト
- Surprise! Uniform Information Density Isn't the Whole Story: Predicting Surprisal Contours in Long-form Discourse [54.08750245737734]
話者は、階層的に構造化された談話モデル内の位置に基づいて、情報率を変調する。
階層的予測器は談話の情報輪郭の重要な予測器であり,深い階層的予測器は浅い予測器よりも予測力が高いことがわかった。
論文 参考訳（メタデータ） (2024-10-21T14:42:37Z) - Quantifying the redundancy between prosody and text [67.07817268372743]
我々は大きな言語モデルを用いて、韻律と単語自体の間にどれだけの情報が冗長であるかを推定する。
単語が持つ情報と韻律情報の間には,複数の韻律的特徴にまたがる高い冗長性が存在する。
それでも、韻律的特徴はテキストから完全には予測できないことが観察され、韻律は単語の上下に情報を運ぶことが示唆された。
論文 参考訳（メタデータ） (2023-11-28T21:15:24Z) - Machine Translation to Control Formality Features in the Target Language [0.9208007322096532]
本研究では、機械学習が英語からフォーマルな言語への翻訳にどのように使われているかを検討する。
これは、形式性制御された設定でバイリンガルモデルを訓練し、その性能を事前訓練された多言語モデルと比較することで実現された。
予測されたマスク付きトークンと基底真理を比較することにより,公式な形式性精度(ACC)を評価する。
論文 参考訳（メタデータ） (2023-11-22T15:42:51Z) - Evaluation of Automatically Constructed Word Meaning Explanations [0.0]
非常に大規模なコーパスからの集合情報に基づいて,説明を自動的に導き出す新しいツールを提案する。
提案手法は,約90%のケースにおいて,単語の意味を理解するのに有用なデータを含む説明を作成できることを示す。
論文 参考訳（メタデータ） (2023-02-27T09:47:55Z) - Cross-Linguistic Syntactic Difference in Multilingual BERT: How Good is
It and How Does It Affect Transfer? [50.48082721476612]
マルチリンガルBERT (mBERT) は, 言語間シンタクティックな機能を示した。
我々は,mBERTから引き起こされる文法的関係の分布を,24言語に類型的に異なる文脈で検討した。
論文 参考訳（メタデータ） (2022-12-21T09:44:08Z) - Semantic Communications: Principles and Challenges [59.13318519076149]
本稿では,セマンティックコミュニケーションの概要を紹介する。
シャノン情報理論の簡単なレビューの後、深層学習によって実現される理論、フレームワーク、システム設計とのセマンティックコミュニケーションについて論じる。
論文 参考訳（メタデータ） (2021-12-30T16:32:00Z) - Do Language Embeddings Capture Scales? [54.1633257459927]
事前学習された言語モデルは、オブジェクトのスカラーサイズに関するかなりの量の情報を取得することを示す。
我々は,事前学習と数理化における文脈情報を,その性能に影響を及ぼす2つの重要な要因として認識する。
論文 参考訳（メタデータ） (2020-10-11T21:11:09Z) - Speakers Fill Lexical Semantic Gaps with Context [65.08205006886591]
我々は単語の語彙的あいまいさを意味のエントロピーとして運用する。
単語のあいまいさの推定値と,WordNetにおける単語の同義語数との間には,有意な相関関係が認められた。
これは、あいまいさの存在下では、話者が文脈をより情報的にすることで補うことを示唆している。
論文 参考訳（メタデータ） (2020-10-05T17:19:10Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。