論文の概要: Future Language Modeling from Temporal Document History
- arxiv url: http://arxiv.org/abs/2404.10297v1
- Date: Tue, 16 Apr 2024 05:45:52 GMT
- ステータス: 処理完了
- システム内更新日: 2024-04-17 18:02:32.368202
- Title: Future Language Modeling from Temporal Document History
- Title（参考訳）: 時間的文書履歴から将来の言語モデリング
- Authors: Changmao Li, Jeffrey Flanigan,
- Abstract要約: 本稿では,テキストの時間的履歴に基づく将来的なテキストの確率的モデリングという,未来の言語モデリングの課題を紹介する。
我々は、強力な非時間的言語モデルベースラインを改善する将来の言語モデルを構築することは実際に可能であることを示す。
- 参考スコア（独自算出の注目度）: 8.207682890286957
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Predicting the future is of great interest across many aspects of human activity. Businesses are interested in future trends, traders are interested in future stock prices, and companies are highly interested in future technological breakthroughs. While there are many automated systems for predicting future numerical data, such as weather, stock prices, and demand for products, there is relatively little work in automatically predicting textual data. Humans are interested in textual data predictions because it is a natural format for our consumption, and experts routinely make predictions in a textual format (Christensen et al., 2004; Tetlock & Gardner, 2015; Frick, 2015). However, there has been relatively little formalization of this general problem in the machine learning or natural language processing communities. To address this gap, we introduce the task of future language modeling: probabilistic modeling of texts in the future based on a temporal history of texts. To our knowledge, our work is the first work to formalize the task of predicting the future in this way. We show that it is indeed possible to build future language models that improve upon strong non-temporal language model baselines, opening the door to working on this important, and widely applicable problem.
- Abstract（参考訳）: 未来を予測することは、人間の活動の多くの側面において大きな関心事である。
企業は将来のトレンドに興味を持ち、トレーダーは将来の株価に興味を持ち、企業は将来の技術的ブレークスルーに非常に関心を持っている。
天気や株価、製品需要など、将来の数値データを自動で予測するシステムは数多く存在するが、テキストデータを自動的に予測する作業は比較的少ない。
人間は、私たちの消費にとって自然なフォーマットであるため、テキストデータ予測に興味を持ち、専門家は定期的にテキスト形式で予測を行う(Christensen et al , 2004; Tetlock & Gardner, 2015; Frick, 2015)。
しかし、機械学習や自然言語処理のコミュニティでは、この問題の形式化は比較的少ない。
このギャップに対処するために,テキストの時間的履歴に基づく将来的なテキストの確率的モデリングという,将来の言語モデリングの課題を紹介する。
私たちの知識では、私たちの仕事は、この方法で未来を予測するタスクを形式化する最初の作業です。
我々は、強力な非時間的言語モデルベースラインを改善する将来の言語モデルを構築することが可能であることを示し、この重要かつ広く適用可能な問題に取り組むための扉を開く。
関連論文リスト
- Detection of Machine-Generated Text: Literature Survey [0.0]
本研究の目的は,機械生成テキスト分野における成果と成果をコンパイルし,合成することである。
また、機械が生成するテキストの傾向を概観し、より大きな社会的意味を探求する。
論文 参考訳（メタデータ） (2024-01-02T01:44:15Z) - Humans and language models diverge when predicting repeating text [52.03471802608112]
我々は,人間とLMのパフォーマンスが分岐するシナリオを提示する。
人間とGPT-2 LMの予測はテキストスパンの最初のプレゼンテーションで強く一致しているが、メモリが役割を担い始めると、その性能は急速にバラバラになる。
このシナリオが,LMを人間の行動に近づける上で,今後の作業に拍車をかけることを期待しています。
論文 参考訳（メタデータ） (2023-10-10T08:24:28Z) - Learning to Model the World with Language [100.76069091703505]
人間と対話し、世界で行動するためには、エージェントは人々が使用する言語の範囲を理解し、それを視覚の世界に関連付ける必要がある。
私たちのキーとなるアイデアは、エージェントが将来を予測するのに役立つ信号として、このような多様な言語を解釈すべきである、ということです。
我々は、将来のテキストや画像表現を予測するマルチモーダル世界モデルを学ぶエージェントであるDynalangでこれをインスタンス化する。
論文 参考訳（メタデータ） (2023-07-31T17:57:49Z) - When Large Language Models Meet Personalization: Perspectives of
Challenges and Opportunities [60.5609416496429]
大規模言語モデルの能力は劇的に改善されている。
このような大きな飛躍的なAI能力は、パーソナライゼーションの実施方法のパターンを変えるだろう。
大規模言語モデルを汎用インターフェースとして活用することにより、パーソナライズシステムはユーザ要求を計画にコンパイルすることができる。
論文 参考訳（メタデータ） (2023-07-31T02:48:56Z) - What Twitter Data Tell Us about the Future? [1.7205106391379026]
本研究の目的は, 未来学者がTwitter上で予測する未来を調査し, 予測思考に対する言語指導の影響を探ることである。
我々は、将来のインフルエンサーによる100万以上の公開ツイートの集合データセットを提示し、SOTAモデルを用いたスケーラブルなNLPパイプラインを開発する。
論文 参考訳（メタデータ） (2023-07-20T14:02:47Z) - On the application of Large Language Models for language teaching and
assessment technology [18.735612275207853]
我々は,AIによる言語教育とアセスメントシステムに大規模言語モデルを導入する可能性を検討する。
より大きな言語モデルは、テキスト生成における以前のモデルよりも改善されていることがわかった。
自動階調と文法的誤り訂正において、よく知られたベンチマークで進捗が確認されたタスクについては、初期の調査では、彼ら自身の大きな言語モデルが最先端の結果を改善していないことが示されている。
論文 参考訳（メタデータ） (2023-07-17T11:12:56Z) - Opportunities for Large Language Models and Discourse in Engineering
Design [0.0]
談話はエンジニアリング設計プロセスの中核と見なされるべきであり、したがってデジタルアーティファクトで表現されるべきである、と我々は主張する。
シミュレーション,実験,トポロジ最適化,その他のプロセスステップを,機械操作可能な,談話中心の設計プロセスに統合する方法について述べる。
論文 参考訳（メタデータ） (2023-06-15T14:46:44Z) - Time-aware topic identification in social media with pre-trained
language models: A case study of electric vehicles [1.2891210250935146]
事前学習言語モデルを用いた時間認識型トピック識別手法を提案する。
提案手法は,言語モデルを用いて時間変化トピックを追跡する動的関数と,将来有望なトピックを探索する出現スコア関数の2段階からなる。
論文 参考訳（メタデータ） (2022-10-11T04:50:10Z) - Forecasting Future World Events with Neural Networks [68.43460909545063]
Autocastは数千の予測質問と付随するニュースコーパスを含むデータセットである。
ニュースコーパスは日付によって整理され、人間が過去の予測を行った条件を正確にシミュレートすることができる。
予測タスクで言語モデルをテストし、パフォーマンスが人間専門家のベースラインよりはるかに低いことを確認します。
論文 参考訳（メタデータ） (2022-06-30T17:59:14Z) - Towards Zero-shot Language Modeling [90.80124496312274]
人間の言語学習に誘導的に偏りを持つニューラルモデルを構築した。
類型的に多様な訓練言語のサンプルからこの分布を推測する。
我々は、保留言語に対する遠隔監視として、追加の言語固有の側情報を利用する。
論文 参考訳（メタデータ） (2021-08-06T23:49:18Z) - Adversarial Generative Grammars for Human Activity Prediction [141.43526239537502]
将来予測のための逆生成文法モデルを提案する。
私たちの文法は、データ分散から生産ルールを学習できるように設計されています。
推論中に複数の生産ルールを選択することができると、予測される結果が異なる。
論文 参考訳（メタデータ） (2020-08-11T17:47:53Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。