論文の概要: Is Human-Like Text Liked by Humans? Multilingual Human Detection and Preference Against AI

• arxiv url: http://arxiv.org/abs/2502.11614v1
• Date: Mon, 17 Feb 2025 09:56:46 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-02-18 14:15:58.488384
• Title: Is Human-Like Text Liked by Humans? Multilingual Human Detection and Preference Against AI
• Title（参考訳）: 人間のようなテキストは人間に好まれているか? 多言語による人間の検出とAIに対する嗜好
• Authors: Yuxia Wang, Rui Xing, Jonibek Mansurov, Giovanni Puccetti, Zhuohan Xie, Minh Ngoc Ta, Jiahui Geng, Jinyan Su, Mervat Abassy, Saad El Dine Ahmed, Kareem Elozeiri, Nurkhan Laiyk, Maiya Goloburda, Tarek Mahmoud, Raj Vardhan Tomar, Alexander Aziz, Ryuto Koike, Masahiro Kaneko, Artem Shelmanov, Ekaterina Artemova, Vladislav Mikhailov, Akim Tsvigun, Alham Fikri Aji, Nizar Habash, Iryna Gurevych, Preslav Nakov,
• Abstract要約: 人文と機械文の大きなギャップは、具体性、文化的ニュアンス、多様性にある。 また,人間は必ずしも人書きのテキストを好んではいないこと,特にその情報源を明確に特定できない場合などを見いだす。
• 参考スコア（独自算出の注目度）: 95.81924314159943
• License:
• Abstract: Prior studies have shown that distinguishing text generated by large language models (LLMs) from human-written one is highly challenging, and often no better than random guessing. To verify the generalizability of this finding across languages and domains, we perform an extensive case study to identify the upper bound of human detection accuracy. Across 16 datasets covering 9 languages and 9 domains, 19 annotators achieved an average detection accuracy of 87.6%, thus challenging previous conclusions. We find that major gaps between human and machine text lie in concreteness, cultural nuances, and diversity. Prompting by explicitly explaining the distinctions in the prompts can partially bridge the gaps in over 50% of the cases. However, we also find that humans do not always prefer human-written text, particularly when they cannot clearly identify its source.
• Abstract（参考訳）: 以前の研究では、大きな言語モデル(LLM)が生成するテキストと人間の書いたテキストとを区別することは極めて困難であり、しばしばランダムな推測に勝るものではないことが示されている。 言語や領域をまたいだこの発見の一般化性を検証するために,人間の検出精度の上限を決定するための広範囲なケーススタディを実施している。 9つの言語と9つのドメインを含む16のデータセットのうち、19のアノテータは87.6%の平均検出精度を達成した。 人文と機械文の大きなギャップは、具体性、文化的ニュアンス、多様性にある。 プロンプトの区別を明確に説明することで、50%以上のケースで部分的にギャップを埋めることができる。 しかし,人間は必ずしも人書きのテキストを好んではいない。

関連論文リスト

• ExaGPT: Example-Based Machine-Generated Text Detection for Human Interpretability [62.285407189502216]
  LLM(Large Language Models)によって生成されたテキストの検出は、誤った判断によって致命的な誤りを引き起こす可能性がある。 本稿では,人間の意思決定プロセスに根ざした解釈可能な検出手法であるExaGPTを紹介する。 以上の結果から,ExaGPTは従来の強力な検出器よりも最大で40.9ポイントの精度を1%の偽陽性率で大きく上回っていることが明らかとなった。
  論文  参考訳（メタデータ） (2025-02-17T01:15:07Z)
• Perceptions of Linguistic Uncertainty by Language Models and Humans [26.69714008538173]
  言語モデルが不確実性の言語表現を数値応答にどうマッピングするかを検討する。 10モデル中7モデルで不確実性表現を確率的応答に人間的な方法でマッピングできることが判明した。 この感度は、言語モデルは以前の知識に基づいてバイアスの影響を受けやすいことを示している。
  論文  参考訳（メタデータ） (2024-07-22T17:26:12Z)
• Intrinsic Dimension Estimation for Robust Detection of AI-Generated Texts [22.852855047237153]
  自然言語におけるフロートテキストの平均内在次元は、アルファベットベースの言語では9ドル、中国語では7ドル前後で推移している。 この特性により、スコアベースの人工テキスト検出器を構築することができる。
  論文  参考訳（メタデータ） (2023-06-07T18:38:04Z)
• MAGE: Machine-generated Text Detection in the Wild [82.70561073277801]
  大規模言語モデル(LLM)は人間レベルのテキスト生成を実現し、効果的なAI生成テキスト検出の必要性を強調している。 我々は、異なるLLMによって生成される多様な人文やテキストからテキストを収集することで、包括的なテストベッドを構築する。 問題にもかかわらず、トップパフォーマンス検出器は、新しいLCMによって生成された86.54%のドメイン外のテキストを識別することができ、アプリケーションシナリオの実現可能性を示している。
  論文  参考訳（メタデータ） (2023-05-22T17:13:29Z)
• On the Possibilities of AI-Generated Text Detection [76.55825911221434]
  機械が生成するテキストが人間に近い品質を近似するにつれて、検出に必要なサンプルサイズが増大すると主張している。 GPT-2, GPT-3.5-Turbo, Llama, Llama-2-13B-Chat-HF, Llama-2-70B-Chat-HFなどの最先端テキストジェネレータをoBERTa-Large/Base-Detector, GPTZeroなどの検出器に対して試験した。
  論文  参考訳（メタデータ） (2023-04-10T17:47:39Z)
• Paraphrasing evades detectors of AI-generated text, but retrieval is an effective defense [56.077252790310176]
  本稿では,パラフレーズ生成モデル(DIPPER)を提案する。 DIPPERを使って3つの大きな言語モデル(GPT3.5-davinci-003)で生成されたテキストを言い換えると、透かしを含むいくつかの検出器を回避できた。 我々は,言語モデルAPIプロバイダによって維持されなければならない,意味論的に類似した世代を検索するシンプルなディフェンスを導入する。
  論文  参考訳（メタデータ） (2023-03-23T16:29:27Z)
• Real or Fake Text?: Investigating Human Ability to Detect Boundaries Between Human-Written and Machine-Generated Text [23.622347443796183]
  我々は、テキストが人間の書き起こしから始まり、最先端のニューラルネットワークモデルによって生成されるようになる、より現実的な状況について研究する。 この課題でアノテータはしばしば苦労するが、アノテータのスキルにはかなりのばらつきがあり、適切なインセンティブが与えられると、アノテータは時間とともに改善できることを示す。
  論文  参考訳（メタデータ） (2022-12-24T06:40:25Z)
• On the probability-quality paradox in language generation [76.69397802617064]
  我々は情報理論レンズを用いて言語生成を分析する。 人間の言語は自然文字列上の分布のエントロピーに近い量の情報を含むべきであると仮定する。
  論文  参考訳（メタデータ） (2022-03-31T17:43:53Z)
• Human Abnormality Detection Based on Bengali Text [0.2320417845168326]
  自然言語処理では、有効な意味は全ての単語によって伝達される可能性がある。 本稿では,ベンガル文字のみを用いた効率的かつ効果的な人体異常検出モデルを提案する。 本モデルでは, タイプしたベンガル文字を解析することにより, 正常状態か異常状態かを認識することができる。
  論文  参考訳（メタデータ） (2020-07-21T11:21:26Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。