論文の概要: Can Language Models Represent the Past without Anachronism?

• arxiv url: http://arxiv.org/abs/2505.00030v1
• Date: Mon, 28 Apr 2025 01:14:09 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-02 19:15:55.108006
• Title: Can Language Models Represent the Past without Anachronism?
• Title（参考訳）: 言語モデルはアナクロニズムなしで過去を表現することができるか?
• Authors: Ted Underwood, Laura K. Nelson, Matthew Wilkens,
• Abstract要約: 周期文の例で現代モデルをプロンプトすることは、周期形式に整合した出力を生成しないことがわかった。 我々は、社会研究の歴史的視点を確実にシミュレートするために、時代遅れの散文による事前訓練が必要であると結論付けている。
• 参考スコア（独自算出の注目度）: 0.777275868719199
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Before researchers can use language models to simulate the past, they need to understand the risk of anachronism. We find that prompting a contemporary model with examples of period prose does not produce output consistent with period style. Fine-tuning produces results that are stylistically convincing enough to fool an automated judge, but human evaluators can still distinguish fine-tuned model outputs from authentic historical text. We tentatively conclude that pretraining on period prose may be required in order to reliably simulate historical perspectives for social research.
• Abstract（参考訳）: 研究者が過去をシミュレートするために言語モデルを使用する前に、アクロニズムのリスクを理解する必要がある。 周期文の例で現代モデルをプロンプトすることは、周期形式に整合した出力を生成しないことがわかった。 ファインチューニングは、自動化された裁判官を騙すのに十分なスタイリスティックな説得力を持つ結果を生み出すが、人間の評価者は依然として、本物の歴史的テキストから細調整されたモデルアウトプットを区別することができる。 我々は、社会研究の歴史的視点を確実にシミュレートするために、時代遅れの散文による事前訓練が必要であると仮に結論づける。

関連論文リスト

• A Psycholinguistic Evaluation of Language Models' Sensitivity to Argument Roles [0.06554326244334868]
  我々は,人間の議論的役割処理に関する心理言語学的研究を再現することにより,大規模言語モデルの議論的役割に対する感受性を評価する。 言語モデルでは,動詞とその先行する引数の関係から,可否が決定されるような,可否的かつ不可解な文脈で現れる動詞を識別することができる。 このことは、言語モデルが動詞の可読性を検出する能力は、人間のリアルタイム文処理の基盤となるメカニズムから生じるものではないことを示唆している。
  論文  参考訳（メタデータ） (2024-10-21T16:05:58Z)
• Detecting Mode Collapse in Language Models via Narration [0.0]
  3つのOpenAI言語モデルからサンプリングした4,374のストーリーについて検討した。 我々は、GPT-3の連続バージョンが「モード崩壊」の度合いの上昇に悩まされていることを示す。 社会学シミュレーションに言語モデルを用いたい研究者にとって,本手法と結果が重要である。
  論文  参考訳（メタデータ） (2024-02-06T23:52:58Z)
• Few-Shot Detection of Machine-Generated Text using Style Representations [4.326503887981912]
  人間の文章を巧みに模倣する言語モデルは、虐待のかなりのリスクを負う。 そこで本研究では,人間が作成したテキストから推定した書体スタイルの表現を活用することを提案する。 また,人間と機械作家の区別にも有効であることがわかった。
  論文  参考訳（メタデータ） (2024-01-12T17:26:51Z)
• Evaluating Shutdown Avoidance of Language Models in Textual Scenarios [3.265773263570237]
  我々は, GPT-4 や Claude などの言語モデルにおいて, 道具的推論と閉鎖回避を玩具シナリオで評価する可能性を検討する。 動作を手動で評価し,言語モデルを用いて自動評価を行った。 本研究は, 閉鎖回避シナリオにおける言語モデルの振る舞いに関する知見を提供し, 評価におけるテキストシナリオの利用に関するさらなる研究を刺激するものである。
  論文  参考訳（メタデータ） (2023-07-03T07:05:59Z)
• Model Criticism for Long-Form Text Generation [113.13900836015122]
  我々は,テキストの高レベル構造を評価するために,潜在空間におけるモデル批判という統計ツールを適用した。 我々は,コヒーレンス,コア,トピックスという,ハイレベルな談話の3つの代表的な側面について実験を行った。 トランスフォーマーベースの言語モデルでは、トピック構造をキャプチャできるが、構造コヒーレンスやモデリングコアスを維持するのが難しくなる。
  論文  参考訳（メタデータ） (2022-10-16T04:35:58Z)
• Do Language Models Plagiarize? [22.02731537718498]
  人工テキストを生成する際に,言語モデルが記憶するか否かを検討するとともに,学習サンプルをプラジャライズする。 以上の結果から,特にGPT-2では,難読化の有無にかかわらず,トレーニングコーパスから特定のテキストを再利用することが示唆された。 私たちの研究は、将来のニューラルネットワークモデルの研究が、トレーニングデータセットを盗用するモデルを避けるために、予防措置を講じるべきであることを示唆している。
  論文  参考訳（メタデータ） (2022-03-15T03:11:11Z)
• Explain, Edit, and Understand: Rethinking User Study Design for Evaluating Model Explanations [97.91630330328815]
  我々はクラウドソーシング研究を行い、真偽のホテルレビューと偽のホテルレビューを区別するために訓練された詐欺検出モデルと対話する。 単語の線形バッグモデルでは、トレーニング中に特徴係数にアクセスした参加者は、非説明制御と比較して、テストフェーズにおいてモデルの信頼性が大幅に低下する可能性があることを観察する。
  論文  参考訳（メタデータ） (2021-12-17T18:29:56Z)
• Empowering Language Understanding with Counterfactual Reasoning [141.48592718583245]
  本稿では,反現実的思考を模倣した反現実的推論モデルを提案する。 特に,各実例に対して代表的対実サンプルを生成する生成モジュールを考案し,その対実サンプルと実例サンプルを比較してモデル予測を振り返るレトロスペクティブモジュールを考案した。
  論文  参考訳（メタデータ） (2021-06-06T06:36:52Z)
• Sketch and Customize: A Counterfactual Story Generator [71.34131541754674]
  条件と終了に関係のある因果関係を導いたスケッチ・アンド・カスタマイズ生成モデルを提案する。 実験結果から,従来のシーケンス・ツー・シーケンスモデルと比較して,提案モデルの方がより優れたエンディングを生成することがわかった。
  論文  参考訳（メタデータ） (2021-04-02T08:14:22Z)
• Back to the Future: Unsupervised Backprop-based Decoding for Counterfactual and Abductive Commonsense Reasoning [79.48769764508006]
  ジェネレーティブ言語モデル(LM)は、過去の文脈のみを条件にするか、狭い範囲のテキスト入力を実行するよう訓練することができる。 我々は過去と将来の両方の文脈を柔軟に組み込むことができる新しい教師なし復号アルゴリズムであるDeLoreanを提案する。 提案手法は, 帰納的テキスト生成と反事実的ストーリーリビジョンの2つの非単調推論タスクに適用可能であることを示す。
  論文  参考訳（メタデータ） (2020-10-12T17:58:43Z)
• Residual Energy-Based Models for Text [46.22375671394882]
  自動回帰言語モデルの世代は、統計的判別器によって実際のテキストと確実に区別できることを示す。 これは、自己回帰モデルが生成過程に(グローバルに正規化された)判別器を組み込むことで改善できることを示唆している。
  論文  参考訳（メタデータ） (2020-04-06T13:44:03Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。