論文の概要: Creolizing the Web
- arxiv url: http://arxiv.org/abs/2102.12382v1
- Date: Wed, 24 Feb 2021 16:08:45 GMT
- ステータス: 処理完了
- システム内更新日: 2021-02-25 18:19:21.208604
- Title: Creolizing the Web
- Title(参考訳): Webを創る
- Authors: Abhinav Tamaskar, Roy Rinberg, Sunandan Chakraborty, Bud Mishra
- Abstract要約: 本稿では,言語進化の社会学的モデルにおける進化パターンの検出手法を提案する。
我々は,個人間のコミュニケーションに基づく言語の一般化進化モデルに対する厳密な基礎を提供する最小主義モデルを開発した。
実験結果とその解釈を rdt から得られた実世界のデータセットに提示し,コミュニティを識別し,意見の反響室を抽出する。
- 参考スコア(独自算出の注目度): 2.393911349115195
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: The evolution of language has been a hotly debated subject with contradicting
hypotheses and unreliable claims. Drawing from signalling games, dynamic
population mechanics, machine learning and algebraic topology, we present a
method for detecting evolutionary patterns in a sociological model of language
evolution. We develop a minimalistic model that provides a rigorous base for
any generalized evolutionary model for language based on communication between
individuals. We also discuss theoretical guarantees of this model, ranging from
stability of language representations to fast convergence of language by
temporal communication and language drift in an interactive setting. Further we
present empirical results and their interpretations on a real world dataset
from \rdt to identify communities and echo chambers for opinions, thus placing
obstructions to reliable communication among communities.
- Abstract(参考訳): 言語の進化は、仮説と信頼できない主張と矛盾する激しい議論の対象となっている。
本稿では,信号ゲーム,動的集団力学,機械学習,代数トポロジーから,言語進化の社会学的モデルにおける進化パターンを検出する手法を提案する。
我々は,個人間のコミュニケーションに基づく言語の一般化進化モデルに対する厳密な基礎を提供する最小主義モデルを開発した。
また,言語表現の安定性から時間的コミュニケーションによる言語収束,対話的環境における言語ドリフトなど,このモデルの理論的保証についても論じる。
さらに,実世界データセット上での実証結果とその解釈を行い,コミュニティの意見を識別し,コミュニティ間の信頼性の高いコミュニケーションに障害を与える。
関連論文リスト
- From Word Models to World Models: Translating from Natural Language to
the Probabilistic Language of Thought [124.40905824051079]
言語インフォームド・シンキングのための計算フレームワークである「構成」を合理的に提案する。
我々は、自然言語から確率論的思考言語への文脈感応的なマッピングとして、言語の意味を定式化する。
LLMは、現実的に適切な言語的意味をキャプチャする文脈依存翻訳を生成することができることを示す。
認知的なモチベーションを持つシンボリックモジュールを統合するために、我々のフレームワークを拡張します。
論文 参考訳(メタデータ) (2023-06-22T05:14:00Z) - Commonsense Knowledge Transfer for Pre-trained Language Models [83.01121484432801]
ニューラルコモンセンス知識モデルに格納されたコモンセンス知識を汎用的な事前学習言語モデルに転送するフレームワークであるコモンセンス知識伝達を導入する。
まず、一般的なテキストを利用して、ニューラルコモンセンス知識モデルからコモンセンス知識を抽出するクエリを形成する。
次に、コモンセンスマスクの埋め込みとコモンセンスの関係予測という2つの自己教師対象で言語モデルを洗練する。
論文 参考訳(メタデータ) (2023-06-04T15:44:51Z) - Transparency Helps Reveal When Language Models Learn Meaning [71.96920839263457]
合成データを用いた体系的な実験により,すべての表現が文脈に依存しない意味を持つ言語では,自己回帰型とマスキング型の両方の言語モデルが,表現間の意味的関係をエミュレートする。
自然言語に目を向けると、特定の現象(参照不透明さ)による実験は、現在の言語モデルが自然言語の意味論をうまく表現していないという証拠を増大させる。
論文 参考訳(メタデータ) (2022-10-14T02:35:19Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳(メタデータ) (2021-08-06T23:49:18Z) - Language Model Evaluation Beyond Perplexity [47.268323020210175]
我々は、言語モデルから生成されたテキストが、訓練された人為的なテキストに存在する統計的傾向を示すかどうかを分析する。
ニューラルネットワークモデルは、考慮された傾向のサブセットのみを学習しているように見えるが、提案された理論分布よりも経験的傾向とより密接に一致している。
論文 参考訳(メタデータ) (2021-05-31T20:13:44Z) - The Rediscovery Hypothesis: Language Models Need to Meet Linguistics [8.293055016429863]
現代言語モデルの性能向上に言語知識が必須条件であるかどうかを検討する。
その結果, 言語構造を探索した場合, かなり圧縮されるが, 事前学習目的によく適合する言語モデルは, 良好なスコアを保っていることがわかった。
この結果は再発見仮説を支持し,本論文の第2の貢献である言語モデル目標と言語情報との関連性に関する情報論的枠組みを導出する。
論文 参考訳(メタデータ) (2021-03-02T15:57:39Z) - Multi-agent Communication meets Natural Language: Synergies between
Functional and Structural Language Learning [16.776753238108036]
本稿では,マルチエージェント通信と従来のデータ駆動型アプローチを組み合わせた自然言語学習手法を提案する。
私たちの出発点は、タスク固有の言語データではなく、ジェネリックに基づいて訓練された言語モデルです。
次に、このモデルをマルチエージェントのセルフプレイ環境に配置し、モデルへの適応や修正に使用するタスク固有の報酬を生成する。
論文 参考訳(メタデータ) (2020-05-14T15:32:23Z) - Experience Grounds Language [185.73483760454454]
言語理解研究は、言語が記述する物理的世界と、それが促進する社会的相互作用とを関連づけることに失敗している。
テキストだけで訓練された後にタスクに取り組むための言語処理モデルの驚くべき効果にもかかわらず、成功した言語コミュニケーションは世界の共有経験に依存している。
論文 参考訳(メタデータ) (2020-04-21T16:56:27Z) - On the coexistence of competing languages [0.0]
我々は,共存がもたらされる可能性のある方法を明らかにすることに焦点を当て,言語競争の問題を再考する。
この出現は対称性の破れに関連しており、2つの特定のシナリオを探索している。
いずれも、パラダイム的状況の調査は、言語共存につながる条件を定量的に理解することにつながる。
論文 参考訳(メタデータ) (2020-03-10T14:06:55Z) - Towards Graph Representation Learning in Emergent Communication [37.8523331078468]
我々は,マルチエージェントシステムにおける言語進化と協調を支援するために,グラフ畳み込みネットワークを利用する。
画像ベースの参照ゲームに動機づけられた,複雑度の異なるグラフ参照ゲームを提案する。
出現した通信プロトコルは堅牢であり、エージェントはゲームの変動の真の要因を明らかにし、トレーニング中に遭遇したサンプルを超えて一般化することを学ぶ。
論文 参考訳(メタデータ) (2020-01-24T15:55:59Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。