論文の概要: Cultural Competence in Context: A Large Language Model Passes the Turing Test in Finland
- arxiv url: http://arxiv.org/abs/2609.18394v1
- Date: Wed, 16 Sep 2026 09:52:17 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-09-20 08:55:53.742147
- Title: Cultural Competence in Context: A Large Language Model Passes the Turing Test in Finland
- Title(参考訳): 文脈における文化的能力:フィンランドでチューリングテストに合格した大規模言語モデル
- Abstract要約: フィンランド語におけるチューリング試験の結果を報告する。
誤りの顕著な原因は、参加者が言語的手がかり、特に口語的なフィンランド語を人間の著作者のマーカーとして信頼していることであった。
その結果は、モデル能力、アイデンティティ、人間間のインサイダー能力、そしてAIリテラシーを反映しているため、この方法は、ドメイン間の人間と機械の境界に関する有用な調査を提供する。
- 参考スコア(独自算出の注目度): 0.0
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We report the results of a Turing Test conducted in Finland in the Finnish language. Because languages and cultural contexts are unevenly represented in LLM training data, we expected the model (ChatGPT 5.2) to perform worse in a Finnish-language Turing Test than in previously studied English-language US contexts. We also present model-generated role prompting as a replicable technique for conducting comparative LLM-based Turing Tests designed to improve construct validity. Contrary to our expectations, the LLM passed the Finnish Turing Test. A prominent source of error was participants' reliance on linguistic cues, particularly colloquial Finnish, as markers of human authorship. We reframe the Turing Test from a test of intelligence to a comparative method for examining whether an AI system can display credible membership in a particular social world. Because its outcome reflects model capabilities, prompted identity, insider competence among human participants, and their AI literacy, the method provides a useful probe of the human-machine boundary across domains.
- Abstract(参考訳): フィンランド語におけるチューリング試験の結果を報告する。
言語と文化の文脈はLLMトレーニングデータで不均一に表現されるため,フィンランド語チューリングテストにおいて,従来研究されていた英語の米国文脈よりもモデル(ChatGPT 5.2)が悪化することが予想された。
また,LLMを用いた比較チューリングテストの再現性向上のためのモデル生成的役割も提案する。
予想に反して、LLMはフィンランドチューリングテストに合格した。
誤りの顕著な原因は、参加者が言語的手がかり、特に口語的なフィンランド語を人間の著作者のマーカーとして信頼していることであった。
我々は、チューリングテスト(チューリングテスト)を知性テストから、AIシステムが特定の社会世界で信頼できるメンバーシップを表示できるかどうかを比較する方法に再構成する。
その結果は、モデル能力、アイデンティティ、人間間のインサイダー能力、そしてAIリテラシーを反映しているため、この方法は、ドメイン間の人間と機械の境界に関する有用な調査を提供する。
関連論文リスト
- Book your room in the Turing Hotel! A symmetric and distributed Turing Test with multiple AIs and humans [11.294156739799654]
本研究では,大規模言語モデル(LLM)と人的参加者の混合コミュニティ間の相互作用に基づくチューリングテストの新たな拡張であるTuringHotel'の経験を報告する。
チューリングテストの古典的な1対1のインタラクションは、人間と人工エージェントの両方が時間に縛られた議論に従事し、興味深いことに、審査員と回答者の両方であるグループ設定で再解釈される。
実験の結果、17人の被験者と19人のLSMによる実験の結果、現在のモデルが人間と混同されていることが判明した。
論文 参考訳(メタデータ) (2026-03-19T14:44:47Z) - Computational Turing Test Reveals Systematic Differences Between Human and AI Language [0.0]
大規模言語モデル(LLM)は、人間の振る舞いをシミュレートするために社会科学でますます使われている。
既存の検証努力は人的判断に基づく評価に大きく依存している。
本稿では,LLMが人間の言語にどの程度近いかを評価するために,計算チューリングテストを提案する。
論文 参考訳(メタデータ) (2025-11-06T08:56:37Z) - Are Lexicon-Based Tools Still the Gold Standard for Valence Analysis in Low-Resource Flemish? [0.0]
LIWCやPatternといった従来のレキシコンベースのツールは、長い間この領域の基本的な道具として機能してきた。
オランダ語話者102名を対象に,まず約25,000件のテキスト応答について検討した。
オランダ固有の3つのLLMの性能評価を行い, LIWCとPatternで生成した値と比較した。
本研究は,自然言語使用の複雑さを包括的に扱える,文化的・言語学的にカスタマイズされたモデル・ツールの開発に不可欠であることを示す。
論文 参考訳(メタデータ) (2025-06-04T16:31:37Z) - Beyond English: Evaluating Automated Measurement of Moral Foundations in Non-English Discourse with a Chinese Case Study [8.068626035121875]
本研究では、非英語コーパスにおける道徳的基礎(MF)を測定するための計算手法について検討する。
本研究は,中国語を事例として,機械翻訳テキスト,局所言語語彙,多言語言語モデル,および多言語モデル(LLM)に英語リソースを適用し,非英語テキストのMFを測定することの有効性を評価する。
論文 参考訳(メタデータ) (2025-02-04T16:17:01Z) - Training Neural Networks as Recognizers of Formal Languages [87.06906286950438]
ニューラルネットワークを文字列のバイナリ分類器として直接訓練し評価する。
3つのニューラルアーキテクチャに対して、チョムスキー階層の様々な言語について結果を提供する。
我々の貢献は、将来の研究において、言語認識の主張を理論的に健全に検証するのに役立つだろう。
論文 参考訳(メタデータ) (2024-11-11T16:33:25Z) - Assessing Dialect Fairness and Robustness of Large Language Models in Reasoning Tasks [68.33068005789116]
本稿では、標準英語とAAVEで1.2K以上の並列クエリペアを含むベンチマークであるReDialを紹介する。
我々は、GPT、Claude、Llama、Mistral、Phiモデルファミリーなど、広く使われているモデルを評価した。
我々の研究は、方言クエリにおけるLLMバイアスを分析するための体系的で客観的な枠組みを確立する。
論文 参考訳(メタデータ) (2024-10-14T18:44:23Z) - CLOMO: Counterfactual Logical Modification with Large Language Models [109.60793869938534]
本稿では,新しいタスク,CLOMO(Counterfactual Logical Modification)と高品質な人間アノテーションベンチマークを紹介する。
このタスクでは、LLMは所定の論理的関係を維持するために、与えられた議論的テキストを順応的に変更しなければなりません。
LLMの自然言語出力を直接評価する革新的な評価指標である自己評価スコア(SES)を提案する。
論文 参考訳(メタデータ) (2023-11-29T08:29:54Z) - Disco-Bench: A Discourse-Aware Evaluation Benchmark for Language
Modelling [70.23876429382969]
本研究では,多種多様なNLPタスクに対して,文内談話特性を評価できるベンチマークを提案する。
ディスコ・ベンチは文学領域における9つの文書レベルのテストセットから構成されており、豊富な談話現象を含んでいる。
また,言語分析のために,対象モデルが談話知識を学習するかどうかを検証できる診断テストスイートを設計する。
論文 参考訳(メタデータ) (2023-07-16T15:18:25Z) - LERT: A Linguistically-motivated Pre-trained Language Model [67.65651497173998]
本稿では,3種類の言語特徴を学習する事前学習型言語モデルLERTを提案する。
我々は,中国における10のNLUタスクについて広範な実験を行い,LERTが大きな改善をもたらすことを示す実験結果を得た。
論文 参考訳(メタデータ) (2022-11-10T05:09:16Z) - A Transfer Learning Based Model for Text Readability Assessment in
German [4.550811027560416]
移動学習に基づくドイツ語テキストのテキスト複雑性評価のための新しいモデルを提案する。
最高のモデルはBERTの事前訓練言語モデルに基づいており、Root Mean Square Error (RMSE) は 0.483 である。
論文 参考訳(メタデータ) (2022-07-13T15:15:44Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。