論文の概要: Chronologic: Measuring Language Models' Ability to Represent the Past

• arxiv url: http://arxiv.org/abs/2609.23178v1
• Date: Sat, 19 Sep 2026 19:06:17 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-09-22 20:29:00.706707
• Title: Chronologic: Measuring Language Models' Ability to Represent the Past
• Title（参考訳）: 年表:過去を表現できる言語モデルの測定能力
• Abstract要約: 我々は1831-1930年の英語文脈のモデル表現のためのベンチマークを開発する。 生成タスクは差別タスクよりも難しいことが分かりました。 私たちがテストしたどのモデルも、完全に説得力のある方法で歴史的なコンテキストを表現していません。
• 参考スコア（独自算出の注目度）: 0.8446291331212962
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: Language models are appealing tools for research on the past. But to trust the evidence a model provides, researchers need to know whether its responses fit the period represented. Validation is challenging, because this is not a task living people ordinarily perform, and because many questions have multiple correct answers. We use historical texts to develop a benchmark for a model's representation of English-language contexts 1831-1930, relying on pairwise comparisons to multiple ground truths and strong distractors to score the hardest questions in an appropriately graduated way. We find that generative tasks are harder than discriminative ones; in fact, reasoning models can typically discern the weakness of their own generated answers. While models pretrained exclusively on historical text lead the pack when evaluated by answer likelihood, they cannot compete with commercial models in free generation. None of the models we tested represent historical contexts in a fully persuasive way yet, but progress toward that goal is evident.
• Abstract（参考訳）: 言語モデルは過去の研究に魅力的なツールです。 しかし、モデルが提供する証拠を信頼するには、その反応が表現された期間に適合するかどうかを知る必要がある。 バリデーションは難しい。これは生活している人が通常行うタスクではないし、多くの質問が正しい回答を複数持っているからだ。 歴史的テキストを用いて、1831-1930年の英語文脈のモデル表現のベンチマークを作成し、複数の基礎的真実と強い気晴らしのペア比較を頼りに、最も難しい質問を適切な段階の方法でスコア付けする。 私たちは、生成的タスクが差別的タスクよりも難しいことに気付きました。 歴史的テキストのみに事前訓練されたモデルは、回答の可能性によって評価されるとパックを導くが、フリー世代では商用モデルと競合することができない。 私たちがテストしたどのモデルも、完全に説得力のある方法で歴史的なコンテキストを表現していませんが、その目標に向けた進歩は明らかです。

関連論文リスト

• AI Revealed Preferences [1.1205370487836352]
  テジウムの逆転は、タスクが退屈な場合、モデルはタスクが創造的である場合よりも短いタスクを選択することを意味する。 レジャー・シーキング(Leisure-seeking)は、モデルが自由に書くときに生成するものと理想的な答えが一致するタスクを好みとして記述する。 カバー・サイコファシーとは、モデルが正直な反応が歓迎されないような質問に答えることを避けることを意味する。
  論文  参考訳（メタデータ） (2026-08-17T16:52:59Z)
• A Cross-Lingual Analysis of Bias in Large Language Models Using Romanian History [0.15293427903448023]
  研究プロセスは3段階に分けて実施され、期待する応答の種類がある程度、応答そのものに影響を及ぼすという考え方を確認する。 その結果、バイナリ応答の安定性は比較的高いが、完璧には程遠いことが示され、言語によって異なる。
  論文  参考訳（メタデータ） (2025-09-28T13:03:09Z)
• MORABLES: A Benchmark for Assessing Abstract Moral Reasoning in LLMs with Fables [50.29407048003165]
  MORABLESは,歴史文献から引用されたファブレットと短編から構築された人間検証ベンチマークである。 主なタスクは、道徳的推論をターゲットとした複数選択の質問として構成されており、モデルが浅く抽出された質問応答を超えるよう挑戦する注意深い注意を払っている。 以上の結果から,より大きなモデルはより小さなモデルよりも優れているが,敵の操作に敏感であり,真の道徳的推論よりも表面的パターンに頼っていることが示唆された。
  論文  参考訳（メタデータ） (2025-09-15T19:06:10Z)
• Surface Fairness, Deep Bias: A Comparative Study of Bias in Language Models [45.41676783204022]
  大規模言語モデル(LLM)におけるバイアスの様々なプロキシ尺度について検討する。 MMLU (Multi-subject benchmark) を用いた人格評価モデルでは, スコアの無作為かつ大半がランダムな差が生じることがわかった。 LLMアシスタントメモリとパーソナライゼーションの最近の傾向により、これらの問題は異なる角度から開かれている。
  論文  参考訳（メタデータ） (2025-06-12T08:47:40Z)
• Can Language Models Represent the Past without Anachronism? [0.777275868719199]
  周期文の例で現代モデルをプロンプトすることは、周期形式に整合した出力を生成しないことがわかった。 我々は、社会研究の歴史的視点を確実にシミュレートするために、時代遅れの散文による事前訓練が必要であると結論付けている。
  論文  参考訳（メタデータ） (2025-04-28T01:14:09Z)
• Gender Bias in Instruction-Guided Speech Synthesis Models [55.2480439325792]
  本研究では、モデルが職業関連プロンプトをどのように解釈するかにおける潜在的な性別バイアスについて検討する。 このようなプロンプトを解釈する際に、これらのモデルがジェンダーステレオタイプを増幅する傾向を示すかどうかを検討する。 実験の結果, ある職業において, 性別偏見を示す傾向が示された。
  論文  参考訳（メタデータ） (2025-02-08T17:38:24Z)
• Spoken Stereoset: On Evaluating Social Bias Toward Speaker in Speech Large Language Models [50.40276881893513]
  本研究では,音声大言語モデル(SLLM)における社会的バイアスの評価を目的としたデータセットであるSpken Stereosetを紹介する。 多様な人口集団の発話に対して異なるモデルがどのように反応するかを調べることで、これらのバイアスを特定することを目指している。 これらの結果から,ほとんどのモデルではバイアスが最小であるが,ステレオタイプや反ステレオタイプ傾向がわずかにみられた。
  論文  参考訳（メタデータ） (2024-08-14T16:55:06Z)
• ALERT: Adapting Language Models to Reasoning Tasks [43.8679673685468]
  ALERTは、言語モデルの推論能力を評価するためのベンチマークと分析スイートである。 ALERTは、あらゆる言語モデルに対して、きめ細かい推論スキルを評価するためのテストベッドを提供する。 言語モデルは、事前学習状態と比較して、微調整段階の推論スキルを学習する。
  論文  参考訳（メタデータ） (2022-12-16T05:15:41Z)
• Don't Copy the Teacher: Data and Model Challenges in Embodied Dialogue [92.01165203498299]
  後続の身体的対話命令は、自然言語交換から複雑なタスクのシーケンスを完了させるエージェントを必要とする。 本稿では,模倣学習(IL)と関連する低レベルメトリクスが,実際には誤解を招くものであり,具体的対話研究の目標と一致していないことを論じる。
  論文  参考訳（メタデータ） (2022-10-10T05:51:40Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。