論文の概要: Evaluation of AI Ethics Tools in Language Models: A Developers' Perspective Case Stud

• arxiv url: http://arxiv.org/abs/2512.15791v1
• Date: Tue, 16 Dec 2025 02:43:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2025-12-19 18:10:31.718674
• Title: Evaluation of AI Ethics Tools in Language Models: A Developers' Perspective Case Stud
• Title（参考訳）: 言語モデルにおけるAI倫理ツールの評価:開発者の立場から
• Authors: Jhessica Silva, Diego A. B. Moreira, Gabriel O. dos Santos, Alef Ferreira, Helena Maia, Sandra Avila, Helio Pedrini,
• Abstract要約: 本稿では,言語モデルにおけるAIETの評価手法を提案する。 モデルカード,ALTAI,FactSheets,Harms Modelingの4つのAIETを選択した。 評価では、AIETの使用と品質に関する開発者の視点を考慮し、モデルに関する倫理的考慮事項の特定に役立てた。
• 参考スコア（独自算出の注目度）: 2.659655189346942
• License: http://creativecommons.org/licenses/by-nc-sa/4.0/
• Abstract: In Artificial Intelligence (AI), language models have gained significant importance due to the widespread adoption of systems capable of simulating realistic conversations with humans through text generation. Because of their impact on society, developing and deploying these language models must be done responsibly, with attention to their negative impacts and possible harms. In this scenario, the number of AI Ethics Tools (AIETs) publications has recently increased. These AIETs are designed to help developers, companies, governments, and other stakeholders establish trust, transparency, and responsibility with their technologies by bringing accepted values to guide AI's design, development, and use stages. However, many AIETs lack good documentation, examples of use, and proof of their effectiveness in practice. This paper presents a methodology for evaluating AIETs in language models. Our approach involved an extensive literature survey on 213 AIETs, and after applying inclusion and exclusion criteria, we selected four AIETs: Model Cards, ALTAI, FactSheets, and Harms Modeling. For evaluation, we applied AIETs to language models developed for the Portuguese language, conducting 35 hours of interviews with their developers. The evaluation considered the developers' perspective on the AIETs' use and quality in helping to identify ethical considerations about their model. The results suggest that the applied AIETs serve as a guide for formulating general ethical considerations about language models. However, we note that they do not address unique aspects of these models, such as idiomatic expressions. Additionally, these AIETs did not help to identify potential negative impacts of models for the Portuguese language.
• Abstract（参考訳）: 人工知能(AI)では、テキスト生成を通じて人間と現実的な会話をシミュレートできるシステムが広く採用されているため、言語モデルの重要性が高まっている。 社会に影響を及ぼすため、これらの言語モデルの開発と展開は、負の影響や潜在的な害に注意して、責任を持って行う必要がある。 このシナリオでは、AIET(AI Ethics Tools)のパブリッシュ数が最近増加している。 これらのAIETは、開発者、企業、政府、その他のステークホルダーが、AIの設計、開発、使用ステージを導くために受け入れられた価値をもたらすことによって、彼らの技術に対する信頼、透明性、責任を確立するのに役立つように設計されています。 しかし、多くのAIETには、優れたドキュメンテーション、使用例、実際の有効性の証明が欠けている。 本稿では,言語モデルにおけるAIETの評価手法を提案する。 提案手法では,213のAIETに関する広範な文献調査を行い,包括的および排他的基準を適用した上で,モデルカード,ALTAI,FactSheets,Harms Modelingの4つのAIETを選択した。 評価のために、ポルトガル語で開発された言語モデルにAIETを適用し、開発者との35時間のインタビューを行った。 評価では、AIETの使用と品質に関する開発者の視点を考慮し、モデルに関する倫理的考慮事項の特定に役立てた。 その結果,適用されたAIETは言語モデルに関する一般的な倫理的考察を定式化するためのガイドとして機能することが示唆された。 しかし、慣用的な表現など、これらのモデルのユニークな側面には対処していないことに留意する。 さらに、これらのAIETはポルトガル語のモデルに対する潜在的なネガティブな影響を特定するのに役立たなかった。

関連論文リスト

• CoCoNUTS: Concentrating on Content while Neglecting Uninformative Textual Styles for AI-Generated Peer Review Detection [60.52240468810558]
  我々は、AI生成ピアレビューの詳細なデータセットの上に構築されたコンテンツ指向ベンチマークであるCoCoNUTSを紹介する。 また、マルチタスク学習フレームワークを介してAIレビュー検出を行うCoCoDetを開発し、レビューコンテンツにおけるAIのより正確で堅牢な検出を実現する。
  論文  参考訳（メタデータ） (2025-08-28T06:03:11Z)
• Trustworthy Alignment of Retrieval-Augmented Large Language Models via Reinforcement Learning [84.94709351266557]
  検索強化に関して,言語モデルの信頼性に焦点をあてる。 検索強化言語モデルには,文脈的知識とパラメトリック的知識の両方に応じて応答を供給できる本質的な能力があると考えられる。 言語モデルと人間の嗜好の整合性に着想を得て,検索強化言語モデルを外部証拠にのみ依存する状況に整合させるための第一歩を踏み出した。
  論文  参考訳（メタデータ） (2024-10-22T09:25:21Z)
• On the application of Large Language Models for language teaching and assessment technology [18.735612275207853]
  我々は,AIによる言語教育とアセスメントシステムに大規模言語モデルを導入する可能性を検討する。 より大きな言語モデルは、テキスト生成における以前のモデルよりも改善されていることがわかった。 自動階調と文法的誤り訂正において、よく知られたベンチマークで進捗が確認されたタスクについては、初期の調査では、彼ら自身の大きな言語モデルが最先端の結果を改善していないことが示されている。
  論文  参考訳（メタデータ） (2023-07-17T11:12:56Z)
• Evaluating Language Models for Mathematics through Interactions [116.67206980096513]
  大型言語モデル(LLM)と対話し,評価するためのプロトタイププラットフォームであるCheckMateを紹介した。 我々はCheckMateと共同で3つの言語モデル(InstructGPT, ChatGPT, GPT-4)を、学部レベルの数学の証明支援として評価する研究を行った。 我々は、人間の行動の分類を導き、概して肯定的な相関にもかかわらず、正しさと知覚的有用性の間に顕著な相違点があることを明らかにする。
  論文  参考訳（メタデータ） (2023-06-02T17:12:25Z)
• Supporting Human-AI Collaboration in Auditing LLMs with LLMs [33.56822240549913]
  大きな言語モデルは偏見があり、無責任に振る舞うことが示されている。 これらの言語モデルを厳格に監査することは重要である。 既存の監査ツールは、人間とAIの両方を活用して失敗を見つける。
  論文  参考訳（メタデータ） (2023-04-19T21:59:04Z)
• Democratizing Ethical Assessment of Natural Language Generation Models [0.0]
  自然言語生成モデル(英: natural language generation model)とは、単語の列を文脈として刺激するとコヒーレントな言語を生成するコンピュータシステムである。 ユビキティと多くの有益な応用にもかかわらず、言語生成モデルは社会に害を与える可能性がある。 したがって、これらのモデルの倫理的評価は重要である。 本稿では,自然言語生成モデルの倫理的評価を民主化し,標準化するための新しいツールを紹介する。
  論文  参考訳（メタデータ） (2022-06-30T12:20:31Z)
• AES Systems Are Both Overstable And Oversensitive: Explaining Why And Proposing Defenses [66.49753193098356]
  スコアリングモデルの驚くべき逆方向の脆さの原因について検討する。 のモデルとして訓練されているにもかかわらず、単語の袋のように振る舞うことを示唆している。 高い精度で試料を発生させる過敏性と過敏性を検出できる検出ベース保護モデルを提案する。
  論文  参考訳（メタデータ） (2021-09-24T03:49:38Z)
• Evaluation Toolkit For Robustness Testing Of Automatic Essay Scoring Systems [64.4896118325552]
  モデル逆算評価スキームと関連するメトリクスを用いて、現状のAESモデルを評価する。 AESモデルは非常に過大評価されていることがわかった。質問の話題に関係のない内容の重い修正(25%まで)でさえ、モデルが生み出すスコアを低下させることはない。
  論文  参考訳（メタデータ） (2020-07-14T03:49:43Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。