論文の概要: Automated Analysis of Global AI Safety Initiatives: A Taxonomy-Driven LLM Approach
- arxiv url: http://arxiv.org/abs/2604.03533v1
- Date: Sat, 04 Apr 2026 01:02:15 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-04-07 15:49:18.62742
- Title: Automated Analysis of Global AI Safety Initiatives: A Taxonomy-Driven LLM Approach
- Title(参考訳): グローバルAI安全イニシアチブの自動分析:分類駆動型LLMアプローチ
- Authors: Takayuki Semitsu, Naoto Kiribuchi, Kengo Zenitani,
- Abstract要約: 本稿では,アクティビティの共有分類の下でAI安全ポリシー文書ペアを比較する,自動横断歩道フレームワークを提案する。
AI安全に関するアクティビティマップで定義されたアクティビティカテゴリを固定的な側面として、システムは関連するアクティビティを抽出し、マップし、各側面に対して短い要約で生成する。
公共政策文書間のLCMを用いた横断歩道解析の安定性と妥当性を評価する。
- 参考スコア(独自算出の注目度): 0.012202203114453207
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: We present an automated crosswalk framework that compares an AI safety policy document pair under a shared taxonomy of activities. Using the activity categories defined in Activity Map on AI Safety as fixed aspects, the system extracts and maps relevant activities, then produces for each aspect a short summary for each document, a brief comparison, and a similarity score. We assess the stability and validity of LLM-based crosswalk analysis across public policy documents. Using five large language models, we perform crosswalks on ten publicly available documents and visualize mean similarity scores with a heatmap. The results show that model choice substantially affects the crosswalk outcomes, and that some document pairs yield high disagreements across models. A human evaluation by three experts on two document pairs shows high inter-annotator agreement, while model scores still differ from human judgments. These findings support comparative inspection of policy documents.
- Abstract(参考訳): 本稿では,アクティビティの共有分類の下でAI安全ポリシー文書ペアを比較する,自動横断歩道フレームワークを提案する。
AI安全に関するアクティビティマップに定義されたアクティビティカテゴリを固定的なアスペクトとして使用することにより、システムは関連するアクティビティを抽出し、マップし、各アスペクトに対して各ドキュメントの短い要約、短い比較、類似度スコアを生成する。
公共政策文書間のLCMを用いた横断歩道解析の安定性と妥当性を評価する。
5つの大きな言語モデルを用いて、利用可能な10のドキュメント上で横断ウォークを行い、平均類似度スコアをヒートマップで可視化する。
その結果、モデル選択は横断歩道の結果に大きく影響し、いくつかの文書ペアはモデル間で高い不一致をもたらすことがわかった。
2つの文書対における3人の専門家による人的評価は、アノテータ間の合意が高いが、モデルスコアは人間の判断とまだ異なる。
これらの知見は政策文書の比較検査を支援する。
関連論文リスト
- The FACTS Leaderboard: A Comprehensive Benchmark for Large Language Model Factuality [70.45240108873001]
FACTS Leaderboardは、実際に正確なテキストを生成する言語モデルの能力を総合的に評価するオンラインのリーダーボードスイートである。
このスイートは、4つの異なるサブリーダーボード上でのモデルのパフォーマンスを集約することで、事実性の総合的な尺度を提供する。
論文 参考訳(メタデータ) (2025-12-11T16:35:14Z) - ABCD-LINK: Annotation Bootstrapping for Cross-Document Fine-Grained Links [57.514511353084565]
我々は、最高のパフォーマンスのアプローチを選択し、文書間リンクに注釈を付けるための新しいドメインに依存しないフレームワークを提案する。
当社のフレームワークを2つの異なるドメイン – ピアレビューとニュース – に適用しています。
結果として得られた新しいデータセットは、メディアフレーミングやピアレビューなど、数多くのクロスドキュメントタスクの基礎を築いた。
論文 参考訳(メタデータ) (2025-09-01T11:32:24Z) - ProxAnn: Use-Oriented Evaluations of Topic Models and Document Clustering [52.19512723549318]
我々は,実践者の実世界のモデル利用を反映したスケーラブルなヒューマン評価プロトコルを設計する。
このプロトコルを用いて、さまざまなトピックモデルから出力された大量のクラウドワーカーアノテーションを収集する。
次に、これらのアノテーションを用いて自動プロキシの検証を行い、最適なLCMプロキシが人間のアノテーションと統計的に区別できないことを発見した。
論文 参考訳(メタデータ) (2025-07-01T15:00:55Z) - DocXplain: A Novel Model-Agnostic Explainability Method for Document Image Classification [5.247930659596986]
本稿では,高解釈性特徴属性マップの生成に特化して設計された新しいモデルに依存しない説明可能性手法であるDocXplainを紹介する。
4つの異なる評価指標を用いて,文書画像分類の文脈において提案手法を広範囲に評価した。
著者の知識を最大限に活用するために、本研究は、特に文書画像に適した、モデルに依存しない属性に基づく説明可能性法を初めて提示する。
論文 参考訳(メタデータ) (2024-07-04T10:59:15Z) - Evaluating the Fairness of Discriminative Foundation Models in Computer
Vision [51.176061115977774]
本稿では,CLIP (Contrastive Language-Pretraining) などの差別基盤モデルのバイアス評価のための新しい分類法を提案する。
そして、これらのモデルにおけるバイアスを緩和するための既存の手法を分類学に関して体系的に評価する。
具体的には,ゼロショット分類,画像検索,画像キャプションなど,OpenAIのCLIPとOpenCLIPモデルをキーアプリケーションとして評価する。
論文 参考訳(メタデータ) (2023-10-18T10:32:39Z) - Fairness meets Cross-Domain Learning: a new perspective on Models and
Metrics [80.07271410743806]
クロスドメイン学習(CD)とモデルフェアネスの関係について検討する。
いくつかの人口集団にまたがる顔画像と医療画像のベンチマークと、分類とローカライゼーションタスクについて紹介する。
本研究は,3つの最先端フェアネスアルゴリズムとともに,14のCDアプローチをカバーし,前者が後者に勝ることを示す。
論文 参考訳(メタデータ) (2023-03-25T09:34:05Z) - Document-Level Relation Extraction with Sentences Importance Estimation
and Focusing [52.069206266557266]
文書レベルの関係抽出(DocRE)は、複数の文の文書から2つのエンティティ間の関係を決定することを目的としている。
我々はDocREのための文重要度スコアと文集中損失を設計するSIEF(Sentence Estimation and Focusing)フレームワークを提案する。
2つのドメインの実験結果から、SIEFは全体的なパフォーマンスを改善するだけでなく、DocREモデルをより堅牢にします。
論文 参考訳(メタデータ) (2022-04-27T03:20:07Z) - Automating Document Classification with Distant Supervision to Increase
the Efficiency of Systematic Reviews [18.33687903724145]
体系的なレビューは高価で、時間的需要があり、労働集約的です。
文書のレビュー作業を大幅に削減するための自動文書分類アプローチを提案します。
論文 参考訳(メタデータ) (2020-12-09T22:45:40Z) - Aspect-based Document Similarity for Research Papers [4.661692753666685]
文書分類タスクのペア化によってアスペクト情報との類似性を拡張する。
研究論文のアスペクトベースの文書類似性を評価する。
以上の結果から,SciBERTは最高の演奏システムであることがわかった。
論文 参考訳(メタデータ) (2020-10-13T13:51:21Z) - Hierarchical Interaction Networks with Rethinking Mechanism for
Document-level Sentiment Analysis [37.20068256769269]
文書レベルの感性分析(DSA)は、あいまいなセマンティックリンクと感情情報の複雑化により、より困難である。
そこで本研究では,DSAにおける対象の明示的パターンと感情文脈を用いた識別表現を効果的に生成する方法について検討する。
感性に基づく再考機構(SR)を,感情ラベル情報を用いてHINを精製し,より感情に敏感な文書表現を学習することによって設計する。
論文 参考訳(メタデータ) (2020-07-16T16:27:38Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト(すべての情報・翻訳含む)の品質を保証せず、本サイト(すべての情報・翻訳含む)を使用して発生したあらゆる結果について一切の責任を負いません。