論文の概要: Language Models Surface the Unwritten Code of Science and Society

• arxiv url: http://arxiv.org/abs/2505.18942v1
• Date: Sun, 25 May 2025 02:28:40 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-05-27 16:58:42.766814
• Title: Language Models Surface the Unwritten Code of Science and Society
• Title（参考訳）: 言語モデルが科学と社会の無書記法を表わす
• Authors: Honglin Bao, Siyang Wu, Jiwoong Choi, Yingrong Mao, James A. Evans,
• Abstract要約: 本稿では,大規模言語モデル(LLM)が人間のバイアスをどのように受け継がれるかを研究する研究コミュニティに呼びかける。 本稿では,科学のケーススタディを通じて,ピアレビューに隠されたルールを明らかにする概念的枠組みを紹介する。
• 参考スコア（独自算出の注目度）: 1.4680035572775534
• License: http://creativecommons.org/licenses/by/4.0/
• Abstract: This paper calls on the research community not only to investigate how human biases are inherited by large language models (LLMs) but also to explore how these biases in LLMs can be leveraged to make society's "unwritten code" - such as implicit stereotypes and heuristics - visible and accessible for critique. We introduce a conceptual framework through a case study in science: uncovering hidden rules in peer review - the factors that reviewers care about but rarely state explicitly due to normative scientific expectations. The idea of the framework is to push LLMs to speak out their heuristics through generating self-consistent hypotheses - why one paper appeared stronger in reviewer scoring - among paired papers submitted to 45 computer science conferences, while iteratively searching deeper hypotheses from remaining pairs where existing hypotheses cannot explain. We observed that LLMs' normative priors about the internal characteristics of good science extracted from their self-talk, e.g. theoretical rigor, were systematically updated toward posteriors that emphasize storytelling about external connections, such as how the work is positioned and connected within and across literatures. This shift reveals the primacy of scientific myths about intrinsic properties driving scientific excellence rather than extrinsic contextualization and storytelling that influence conceptions of relevance and significance. Human reviewers tend to explicitly reward aspects that moderately align with LLMs' normative priors (correlation = 0.49) but avoid articulating contextualization and storytelling posteriors in their review comments (correlation = -0.14), despite giving implicit reward to them with positive scores. We discuss the broad applicability of the framework, leveraging LLMs as diagnostic tools to surface the tacit codes underlying human society, enabling more precisely targeted responsible AI.
• Abstract（参考訳）: 本稿は,人間のバイアスが大規模言語モデル(LLM)によってどのように受け継がれるかを研究するだけでなく,LLMにおけるこれらのバイアスが,暗黙のステレオタイプやヒューリスティックスといった社会の「無筆のコード」にどのように活用されるかを探るため,研究コミュニティに呼びかける。 我々は、科学のケーススタディを通して概念的枠組みを紹介した: ピアレビューで隠されたルールを明らかにする - レビュー担当者が意識するが、規範的な科学的期待のために明確に述べることは滅多にない。 このフレームワークの考え方は、45のコンピュータサイエンスカンファレンスに提出された論文のうち、1つの論文がレビュアースコアでより強く見えるのはなぜかという自己一貫性のある仮説を生成することによって、LLMに自身のヒューリスティックな仮説を語らせることであり、既存の仮説が説明できない残りのペアからより深い仮説を反復的に探すことである。 LLMの自己語から抽出した良科学の内部特性に関する規範的先行性,例えば理論的厳密性は,文学における作品の位置づけや相互接続など,外部接続に関するストーリーテリングを重視した後部に向けて体系的に更新された。 この変化は、非本質的な文脈化やストーリーテリングよりも科学的卓越性を推進し、関連性や重要性の概念に影響を及ぼす、本質的な性質に関する科学的神話の優位性を明らかにしている。 人間のレビュアーは、LLMの規範的前提(相関=0.49)と適度に一致しているが、レビューコメント(相関=-0.14)において文脈化やストーリーテリングの遅れを明示することを避ける(相関=-0.14)。 我々は、LLMを診断ツールとして活用し、人間の社会に根ざした暗黙のコードを明らかにすることにより、より正確に責任あるAIを実現できるフレームワークの適用性について論じる。

関連論文リスト

• Implicit Bias in LLMs: A Survey [2.07180164747172]
  本稿では,大規模言語モデルにおける暗黙バイアスに関する既存の文献を包括的にレビューする。 まず、心理学における暗黙の偏見に関連する重要な概念、理論、方法を紹介する。 検出方法は,単語関連,タスク指向テキスト生成,意思決定の3つの主要なアプローチに分類する。
  論文  参考訳（メタデータ） (2025-03-04T16:49:37Z)
• Are We There Yet? Revealing the Risks of Utilizing Large Language Models in Scholarly Peer Review [66.73247554182376]
  大規模言語モデル(LLM)がピアレビューに統合された。 未確認のLLMの採用は、ピアレビューシステムの完全性に重大なリスクをもたらす。 5%のレビューを操作すれば、論文の12%が上位30%のランキングでその地位を失う可能性がある。
  論文  参考訳（メタデータ） (2024-12-02T16:55:03Z)
• Internal Consistency and Self-Feedback in Large Language Models: A Survey [19.647988281648253]
  我々は、内部整合性の統一的な視点を使用し、欠陥や幻覚を推論するための説明を提供する。 自己フィードバックと呼ばれる内部一貫性をマイニングできる効果的な理論的枠組みを導入する。
  論文  参考訳（メタデータ） (2024-07-19T17:59:03Z)
• Categorical Syllogisms Revisited: A Review of the Logical Reasoning Abilities of LLMs for Analyzing Categorical Syllogism [62.571419297164645]
  本稿では,分類的シロジズムを解析するための大規模言語モデルの論理的推論能力に関する先行研究を体系的に概説する。 まず、純粋に論理的な観点から分類的シロジズムの可能なバリエーションについて検討する。 次に、既存のデータセットでテストされた基本的な設定(ムードとフィギュア)を調べます。
  論文  参考訳（メタデータ） (2024-06-26T21:17:20Z)
• Exploring the Jungle of Bias: Political Bias Attribution in Language Models via Dependency Analysis [86.49858739347412]
  大規模言語モデル(LLM)は、これらのモデルにおけるバイアスの頻度とその緩和に関する激しい議論を引き起こしている。 本稿では,意思決定プロセスに寄与する属性の抽出と仲介を行うためのプロンプトベースの手法を提案する。 観察された異なる治療は、少なくとも部分的には、属性の相違とモデルの相違によるものであることが判明した。
  論文  参考訳（メタデータ） (2023-11-15T00:02:25Z)
• Large Language Models for Automated Open-domain Scientific Hypotheses Discovery [50.40483334131271]
  本研究は,社会科学の学術的仮説発見のための最初のデータセットを提案する。 従来のデータセットとは異なり、新しいデータセットには、(1)オープンドメインデータ(RAW Webコーパス)を観察として使用すること、(2)人間性にさらに新しい仮説を提案することが必要である。 パフォーマンス向上のための3つのフィードバック機構を含む,タスクのためのマルチモジュールフレームワークが開発されている。
  論文  参考訳（メタデータ） (2023-09-06T05:19:41Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。