論文の概要: Navigating Human Language Models with Synthetic Agents

• arxiv url: http://arxiv.org/abs/2008.04162v7
• Date: Tue, 29 Sep 2020 09:57:33 GMT
• ステータス: 処理完了
• システム内更新日: 2022-10-31 22:20:01.886613
• Title: Navigating Human Language Models with Synthetic Agents
• Title（参考訳）: 合成エージェントを用いたヒューマン言語モデルのナビゲーション
• Authors: Philip Feldman and Antonio Bucchiarone
• Abstract要約: 我々は、歴史的チェスゲームのコーパスでGPT-2のバージョンを訓練し、その後、合成エージェントのクラスタをモデルに"起動"する。 その結果, モデルを用いた動きの比率は, 人間のパターンと大きく類似していることが判明した。
• 参考スコア（独自算出の注目度）: 7.99536002595393
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Modern natural language models such as the GPT-2/GPT-3 contain tremendous amounts of information about human belief in a consistently testable form. If these models could be shown to accurately reflect the underlying beliefs of the human beings that produced the data used to train these models, then such models become a powerful sociological tool in ways that are distinct from traditional methods, such as interviews and surveys. In this study, We train a version of the GPT-2 on a corpora of historical chess games, and then "launch" clusters of synthetic agents into the model, using text strings to create context and orientation. We compare the trajectories contained in the text generated by the agents/model and compare that to the known ground truth of the chess board, move legality, and historical patterns of play. We find that the percentages of moves by piece using the model are substantially similar from human patterns. We further find that the model creates an accurate latent representation of the chessboard, and that it is possible to plot trajectories of legal moves across the board using this knowledge.
• Abstract（参考訳）: GPT-2/GPT-3のような現代の自然言語モデルは、一貫して検証可能な形式での人間の信念に関する膨大な量の情報を含んでいる。 これらのモデルが、これらのモデルを訓練するために使用されるデータを生成する人間の根底にある信念を正確に反映するように示せるならば、そのようなモデルは、インタビューや調査のような伝統的な方法と異なる方法で強力な社会学的ツールとなる。 本研究では,歴史チェスゲームのコーパス上でgpt-2を訓練し,合成エージェントのクラスターをモデルに"起動"し,テキスト文字列を用いてコンテキストと方向を創造する。 エージェント/モデルによって生成されたテキストに含まれる軌跡を比較し、チェス盤の既知の基礎的真理、合法性、遊びの歴史的パターンと比較する。 その結果, モデルを用いた動きの比率は, 人間のパターンと大きく類似していることが判明した。 さらに、このモデルがチェス盤の正確な潜伏表現を作成し、この知識を用いて、ボード全体の法的動きの軌跡をプロットできることが判明した。

関連論文リスト

• Controllable Context Sensitivity and the Knob Behind It [53.70327066130381]
  予測を行う場合、言語モデルは、そのコンテキストとそれ以前の知識にどれだけ依存しているかをトレードオフする必要があります。 我々は,この感性を制御するノブを探索し,言語モデルが文脈から応答するか,それ以前の知識から応答するかを判断する。
  論文  参考訳（メタデータ） (2024-11-11T22:22:21Z)
• Emergent World Models and Latent Variable Estimation in Chess-Playing Language Models [0.0]
  我々は,Othelloゲーム上でGPTモデルをトレーニングし,ボード状態の内部表現を学習した。 この作業をチェスのより複雑な領域に拡張し、実際のゲームでトレーニングし、モデルの内部表現を調査します。 Li et al. の以前の合成データセットアプローチとは異なり、我々の分析では、このモデルがプレイヤースキルのような潜伏変数を推定し、次のキャラクタをより正確に予測する方法も学んでいる。
  論文  参考訳（メタデータ） (2024-03-21T18:53:23Z)
• Few-Shot Detection of Machine-Generated Text using Style Representations [4.326503887981912]
  人間の文章を巧みに模倣する言語モデルは、虐待のかなりのリスクを負う。 そこで本研究では,人間が作成したテキストから推定した書体スタイルの表現を活用することを提案する。 また,人間と機械作家の区別にも有効であることがわかった。
  論文  参考訳（メタデータ） (2024-01-12T17:26:51Z)
• ChessGPT: Bridging Policy Learning and Language Modeling [17.85415939196955]
  ChessGPTはポリシー学習と言語モデリングのためのGPTモデルである。 チェスに関連する大規模ゲームと言語データセットを構築した。 政策学習と言語モデリングを統合したChessCLIPとChessGPTのモデル例を2つ紹介する。
  論文  参考訳（メタデータ） (2023-06-15T15:35:31Z)
• Infusing Commonsense World Models with Graph Knowledge [89.27044249858332]
  オープンワールドテキストアドベンチャーゲームにおける物語生成の設定について検討する。 基礎となるゲーム状態のグラフ表現は、接地グラフ表現と自然言語記述とアクションの両方を消費し出力するモデルを訓練するために使用することができる。
  論文  参考訳（メタデータ） (2023-01-13T19:58:27Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Robust Preference Learning for Storytelling via Contrastive Reinforcement Learning [53.92465205531759]
  制御された自動ストーリ生成は、自然言語批判や嗜好から制約を満たす自然言語ストーリを生成することを目指している。 対照的なバイエンコーダモデルをトレーニングし、ストーリーを人間の批評と整合させ、汎用的な嗜好モデルを構築する。 我々はさらに、ストーリー生成の堅牢性を高めるために、プロンプトラーニング技術を用いて、対照的な報酬モデルを微調整する。
  論文  参考訳（メタデータ） (2022-10-14T13:21:33Z)
• Estimating the Personality of White-Box Language Models [0.589889361990138]
  大規模なテキストコーパスで訓練された大規模言語モデルは、至る所で広範囲のアプリケーションで使用されている。 既存の研究は、これらのモデルが人間の偏見を捉え、捉えていることを示している。 これらのバイアス、特に害を引き起こす可能性のあるバイアスの多くは、十分に調査されている。 しかし、これらのモデルによって受け継がれた人間の性格特性を推測し、変化させる研究は、ほとんど、あるいは存在しない。
  論文  参考訳（メタデータ） (2022-04-25T23:53:53Z)
• TunBERT: Pretrained Contextualized Text Representation for Tunisian Dialect [0.0]
  表現不足言語に対するモノリンガルトランスフォーマーに基づく言語モデルのトレーニングの実現可能性について検討する。 構造化データの代わりにノイズの多いWebクローリングデータを使用することは、そのような非標準言語にとってより便利であることを示す。 我々の最高のパフォーマンスTunBERTモデルは、下流の3つのタスクすべてにおいて最先端のタスクに到達または改善します。
  論文  参考訳（メタデータ） (2021-11-25T15:49:50Z)
• Learning Chess Blindfolded: Evaluating Language Models on State Tracking [69.3794549747725]
  私たちはチェスのゲームのための言語モデリングのタスクを検討します。 自然言語とは異なり、チェス表記法は単純で制約のある決定論的領域を記述する。 トランスフォーマー言語モデルでは,移動シーケンスのみを訓練することで,ピースの追跡や法的動作の予測を高精度に行うことができる。
  論文  参考訳（メタデータ） (2021-02-26T01:16:23Z)
• Hidden Footprints: Learning Contextual Walkability from 3D Human Trails [70.01257397390361]
  現在のデータセットは、人々がどこにいるか、どこにいるかを教えてくれません。 まず、画像間で人の観察を伝播させ、3D情報を利用して、私たちが「隠れ足跡」と呼ぶものを作成することで、有効なラベル付き歩行可能領域の集合を拡大する。 このようなスパースラベルのために設計されたトレーニング戦略を考案し、クラスバランスの分類損失と文脈逆転損失を組み合わせた。
  論文  参考訳（メタデータ） (2020-08-19T23:19:08Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。