論文の概要: Algorithmic Tradeoffs, Applied NLP, and the State-of-the-Art Fallacy

• arxiv url: http://arxiv.org/abs/2509.08199v1
• Date: Wed, 10 Sep 2025 00:04:41 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-09-11 15:16:52.27389
• Title: Algorithmic Tradeoffs, Applied NLP, and the State-of-the-Art Fallacy
• Title（参考訳）: アルゴリズムトレードオフ, 応用NLP, 最先端の誤り
• Authors: AJ Alvero, Ruohong Dong, Klint Kanopka, David Lang,
• Abstract要約: 我々は、計算テキスト分析に焦点をあて、大学入学エッセイの先行研究を再考する。 より新しい手法は、事前の結果を有意義な方法で上回らなかったことが判明した。 分析的選択を理論的・実証的な問題と整合させる方法論的多元論から社会学的探求の恩恵を受けることを論じる。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://creativecommons.org/licenses/by-sa/4.0/
• Abstract: Computational sociology is growing in popularity, yet the analytic tools employed differ widely in power, transparency, and interpretability. In computer science, methods gain popularity after surpassing benchmarks of predictive accuracy, becoming the "state of the art." Computer scientists favor novelty and innovation for different reasons, but prioritizing technical prestige over methodological fit could unintentionally limit the scope of sociological inquiry. To illustrate, we focus on computational text analysis and revisit a prior study of college admissions essays, comparing analyses with both older and newer methods. These methods vary in flexibility and opacity, allowing us to compare performance across distinct methodological regimes. We find that newer techniques did not outperform prior results in meaningful ways. We also find that using the current state of the art, generative AI and large language models, could introduce bias and confounding that is difficult to extricate. We therefore argue that sociological inquiry benefits from methodological pluralism that aligns analytic choices with theoretical and empirical questions. While we frame this sociologically, scholars in other disciplines may confront what we call the "state-of-the-art fallacy", the belief that the tool computer scientists deem to be the best will work across topics, domains, and questions.
• Abstract（参考訳）: 計算社会学は人気が高まっているが、分析ツールはパワー、透明性、解釈可能性に大きく異なる。 コンピュータ科学において、予測精度のベンチマークを越え、「最先端技術」となることで、手法の人気が高まっている。 コンピュータ科学者は、様々な理由で斬新さと革新を好んだが、方法論的適合よりも技術的名声を優先することは、意図せず社会学的調査の範囲を制限する可能性がある。 そこで本研究では,計算テキスト分析に焦点をあて,大学入学エッセイの先行研究を再考し,従来法と新法の比較を行った。 これらの手法は柔軟性と不透明度に違いがあり、異なる方法論の体系間で性能を比較することができる。 より新しい手法は、事前の結果を有意義な方法で上回らなかったことが判明した。 また、現在最先端の、生成可能なAIと大規模言語モデルを使用することで、複雑化が難しいバイアスやコンファウンディングがもたらされることもわかりました。 そこで我々は,分析的選択と理論的,実証的疑問を整合させる方法論的多元論から,社会学的探求が恩恵を受けることを論じる。 我々はこの社会学的な枠組みを定めているが、他の分野の学者は、コンピュータ科学者が最高のツールであるとみなす信念は、トピック、ドメイン、質問にまたがって機能する、という「最先端の誤り」に直面するかもしれない。

関連論文リスト

• AI Sprints: Towards a Critical Method for Human-AI Collaboration [0.0]
  本稿では, 私が「AIスプリント」と呼ぶものを通して,新たな人文主義的探究の可能性を紹介する。 反復的開発におけるループが、生成AIがもたらす大きな変革を認識しながら、データやスプリント方法論をいかに厳格に適用できるかを実演します。 本論文は,AI強化研究のための実践的方法論と,このハイブリッド手法の変換を理解するための理論的枠組みの両立に寄与する。
  論文  参考訳（メタデータ） (2025-12-13T15:56:11Z)
• Qualitative Research in an Era of AI: A Pragmatic Approach to Data Analysis, Workflow, and Computation [0.0]
  我々は、知識、目的、倫理的コミットメントによって展開された場合、新しい技術は長年にわたる方法論上の課題に対処する可能性があると論じる。 我々は、慎重に、透過的に使用すると、現代の計算ツールは、置き換わるよりも、有意義に拡張できると結論付けている。
  論文  参考訳（メタデータ） (2025-09-15T23:12:13Z)
• Tinkering Against Scaling [15.060264126253212]
  既存の作業にインスパイアされた"チンケリング"アプローチを提案する。 この手法は、普通の研究者にとって管理可能なより小さなモデルやコンポーネントに関わります。 我々は、ティンカーは計算社会科学の創造と知識の方法であり、批判的な研究のための知識の方法であると主張している。
  論文  参考訳（メタデータ） (2025-04-23T09:21:39Z)
• Political-LLM: Large Language Models in Political Science [159.95299889946637]
  大規模言語モデル(LLM)は、政治科学のタスクで広く採用されている。 政治LLMは、LLMを計算政治科学に統合する包括的な理解を促進することを目的としている。
  論文  参考訳（メタデータ） (2024-12-09T08:47:50Z)
• SoK: Software Compartmentalization [3.058923790501231]
  大規模なシステムを小さなコンポーネントに分解することは、エクスプロイトの影響を最小限に抑える効果的な方法として長年認識されてきた。 歴史的ルーツ、実証された利益、そして学術と産業における多くの研究努力にもかかわらず、ソフトウェアの区画化は依然として主流ではない。 本稿では,構成化アプローチの体系的分析,比較,指示のための統一モデルを提案する。
  論文  参考訳（メタデータ） (2024-10-11T00:38:45Z)
• The Quest for the Right Mediator: Surveying Mechanistic Interpretability Through the Lens of Causal Mediation Analysis [51.046457649151336]
  本稿では,因果媒介分析に基づく解釈可能性研究の視点を提案する。 本稿では, 原因単位(メディエーター)の種類に応じて分類された解釈可能性の歴史と現状について述べる。 我々は,各メディエータの長所と短所について論じ,特定の種類のメディエータや検索手法が最適であるかどうかについての洞察を提供する。
  論文  参考訳（メタデータ） (2024-08-02T17:51:42Z)
• Ontology Embedding: A Survey of Methods, Applications and Resources [54.3453925775069]
  オンロジはドメインの知識とメタデータを表現するために広く使われている。 直接支援できる論理的推論は、学習、近似、予測において非常に限られています。 1つの簡単な解決策は、統計分析と機械学習を統合することである。
  論文  参考訳（メタデータ） (2024-06-16T14:49:19Z)
• Machine-assisted quantitizing designs: augmenting humanities and social sciences with artificial intelligence [0.0]
  大規模言語モデル(LLM)は、人文科学や社会科学におけるデータ分析をスケールアップする前例のない機会であることが示された。 設計原則を定量化し、変換し、言語学から特徴分析し、人間の専門知識と機械のスケーラビリティを透過的に統合する混合手法を構築します。 このアプローチは、1ダース以上のLDM支援ケーススタディで議論され、9つの多様な言語、複数の規律、タスクをカバーしている。
  論文  参考訳（メタデータ） (2023-09-24T14:21:50Z)
• Machine Psychology [54.287802134327485]
  我々は、心理学にインスパイアされた行動実験において、研究のための実りある方向が、大きな言語モデルに係わっていると論じる。 本稿では,本手法が表に示す理論的視点,実験パラダイム,計算解析技術について述べる。 これは、パフォーマンスベンチマークを超えた、生成人工知能(AI)のための「機械心理学」の道を開くものだ。
  論文  参考訳（メタデータ） (2023-03-24T13:24:41Z)
• A Survey of Deep Learning for Mathematical Reasoning [71.88150173381153]
  我々は過去10年間の数学的推論とディープラーニングの交差点における重要なタスク、データセット、方法についてレビューする。 大規模ニューラルネットワークモデルの最近の進歩は、新しいベンチマークと、数学的推論にディープラーニングを使用する機会を開放している。
  論文  参考訳（メタデータ） (2022-12-20T18:46:16Z)
• Metaethical Perspectives on 'Benchmarking' AI Ethics [81.65697003067841]
  ベンチマークは、人工知能(AI)研究の技術的進歩を測定するための基盤とみられている。 AIの顕著な研究領域は倫理であり、現在、ベンチマークのセットも、AIシステムの「倫理性」を測定する一般的な方法もない。 我々は、現在と将来のAIシステムのアクションを考えるとき、倫理よりも「価値」について話す方が理にかなっていると論じる。
  論文  参考訳（メタデータ） (2022-04-11T14:36:39Z)
• On Heuristic Models, Assumptions, and Parameters [0.6445605125467574]
  我々は、不明瞭で不透明な技術的注意事項、選択、および資格者の過小評価されたファミリーが存在すると論じている。 このようなオブジェクトの3つの特定のクラス、モデル、仮定、パラメータを記述します。
  論文  参考訳（メタデータ） (2022-01-19T04:32:11Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。