論文の概要: Automatic Model Card Generation Using an LLM

• arxiv url: http://arxiv.org/abs/2608.24807v1
• Date: Tue, 25 Aug 2026 16:49:37 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-26 14:09:35.108483
• Title: Automatic Model Card Generation Using an LLM
• Title（参考訳）: LLMを用いたモデルカードの自動生成
• Abstract要約: モデルカードは、機械学習モデルに関する重要な情報を要約した構造化文書である。 多くのモデルはモデルカードを提供しておらず、比較と解釈が難しい。 既存のモデルカードを標準化テンプレートに再構成する LLM ベースのアプローチである MCTidy を提案する。 モデルリポジトリデータから直接モデルカードを生成するLCMベースのシステムであるMCGenieについても紹介する。
• 参考スコア（独自算出の注目度）: 6.101895668857863
• License: http://creativecommons.org/publicdomain/zero/1.0/
• Abstract: Model cards are structured documents that summarize key information about machine learning models to improve transparency, usability, and accountability. However, they often lack a consistent structure, and many models provide no model cards, making comparison and interpretation difficult. This paper presents two contributions. First, we propose MCTidy, an LLM-based approach that reorganizes existing model cards into a standardized template to improve clarity and comparability. Second, we introduce MCGenie, an LLM-based system that generates model cards directly from model repository data. We apply MCTidy to 48 Hugging Face model cards and evaluate information retention, section alignment, hallucination, and stability. Our findings show high information retention with minimal textual loss, accurate section assignment, rare hallucinations primarily in descriptive sections, and strong stability across runs. We assess MCGenie by generating model cards for the same 48 models and assessing semantic similarity, factual correctness, and sensitivity to input resources. The generated model cards achieved high semantic similarity (mean around 0.9); over half were fully correct, and most remaining errors were minor. Generation quality depended strongly on the availability of supporting resources, particularly associated papers. Overall, our findings demonstrate the potential of LLM-based methods to enable scalable, standardized model card documentation.
• Abstract（参考訳）: モデルカードは、透明性、ユーザビリティ、説明責任を改善するために、機械学習モデルに関する重要な情報を要約した構造化ドキュメントである。 しかし、それらは一貫した構造を欠いていることが多く、多くのモデルはモデルカードを提供しておらず、比較と解釈が難しい。 本稿では2つのコントリビューションを示す。 まず,既存のモデルカードを標準化テンプレートに再構成し,明快さと可視性を向上するMCTidyを提案する。 第2に,モデルリポジトリデータから直接モデルカードを生成するLCMベースのシステムMCGenieを紹介する。 MCTidyを48個のHugging Faceモデルカードに適用し,情報保持,セクションアライメント,幻覚,安定性を評価する。 文献的損失が最小限に抑えられ, 正確な部分割り当て, 主に記述部における希少幻覚, 走行時の安定性が良好であった。 我々は,同じ48モデルのモデルカードを生成し,意味的類似性,事実的正当性,入力リソースに対する感度を評価することでMCGenieを評価する。 生成したモデルカードのセマンティックな類似性(平均 0.9 前後)は高く、半分以上が完全に正しかった。 生成品質はサポートリソース、特に関連論文の可用性に大きく依存した。 全体として,拡張性のある標準化されたモデルカードドキュメンテーションを実現する LLM ベースの手法の可能性を示す。

関連論文リスト

• Interpretable Embeddings with Sparse Autoencoders: A Data Analysis Toolkit [16.056849135589324]
  大規模テキストコーパスの分析は、機械学習における中核的な課題である。 スパースオートエンコーダ(SAE)を用いてSAE埋め込みを作成する。 SAE 埋込みは LLM よりもコスト効率が高く信頼性が高く,高密度埋込みよりも制御性が高いことを示す。
  論文  参考訳（メタデータ） (2025-12-10T21:26:24Z)
• Can LLM Annotations Replace User Clicks for Learning to Rank? [112.2254432364736]
  大規模な教師付きデータは最新のランキングモデルのトレーニングには不可欠だが、高品質な人的アノテーションの取得にはコストがかかる。 クリックデータは低コストの代替手段として広く使われており、近年の大規模言語モデル(LLM)の発展に伴い、LLMベースの関連アノテーションも有望なアノテーションとして登場した。 公開データセットであるTianGong-STと、産業データセットであるBaidu-Clickの両方の実験は、クリック管理モデルが高周波クエリでより良いパフォーマンスを示すことを示している。 データスケジューリングと周波数対応多目的学習という2つのトレーニング戦略を検討し、両方の監視信号を統合する。
  論文  参考訳（メタデータ） (2025-11-10T02:26:14Z)
• Every Step Counts: Decoding Trajectories as Authorship Fingerprints of dLLMs [63.82840470917859]
  本稿では,dLLMの復号化機構をモデル属性の強力なツールとして利用できることを示す。 本稿では、デコードステップ間の構造的関係を捉え、モデル固有の振る舞いをよりよく明らかにする、DDM(Directed Decoding Map)と呼ばれる新しい情報抽出手法を提案する。
  論文  参考訳（メタデータ） (2025-10-02T06:25:10Z)
• LimiX: Unleashing Structured-Data Modeling Capability for Generalist Intelligence [61.46575527504109]
  LimiX-16MとLimiX-2Mは、構造化されたデータを変数と欠落に対する共同分布として扱う。 サンプルサイズ,特徴次元,クラス数,カテゴリ間特徴比,欠落度,サンプル-特徴比の広い11種類の大規模構造化データベンチマークを対象としたLimiXモデルの評価を行った。
  論文  参考訳（メタデータ） (2025-09-03T17:39:08Z)
• Predicting the Performance of Black-box LLMs through Self-Queries [60.87193950962585]
  大規模言語モデル(LLM)は、AIシステムにおいてますます頼りになってきている。 本稿では、フォローアッププロンプトを使用し、異なる応答の確率を表現として捉え、ブラックボックス方式でLCMの特徴を抽出する。 これらの低次元表現上で線形モデルをトレーニングすると、インスタンスレベルでのモデル性能の信頼性を予測できることを示す。
  論文  参考訳（メタデータ） (2025-01-02T22:26:54Z)
• MAPX: An explainable model-agnostic framework for the detection of false information on social media networks [1.5196326555431678]
  我々はMAPXと呼ばれる新しいモデルに依存しないフレームワークを導入し、予測のエビデンスに基づくアグリゲーションを可能にする。 我々は、MAPXの有効性を示すために、ベンチマークされた偽ニュースデータセットに対して広範な実験を行った。 実験結果から,提案手法は評価されたすべての最先端モデルより一貫して優れていることが示された。
  論文  参考訳（メタデータ） (2024-09-13T03:45:10Z)
• What's documented in AI? Systematic Analysis of 32K AI Model Cards [40.170354637778345]
  我々は、Hugging Face上で32,111のAIモデルドキュメンテーションを包括的に分析する。 かなりダウンロードされたAIモデルのほとんどはモデルカードを提供するが、カードには不明確な情報がある。 その結果, 環境影響, 限界, 評価に対処する区間は, 最下位の充足率を示す一方, トレーニング区間は最下位の充足率を示すことがわかった。
  論文  参考訳（メタデータ） (2024-02-07T18:04:32Z)
• Adapting Large Language Models for Content Moderation: Pitfalls in Data Engineering and Supervised Fine-tuning [79.53130089003986]
  大規模言語モデル(LLM)は、様々なドメインでタスクを処理するための実現可能なソリューションとなっている。 本稿では、コンテンツモデレーションのためにプライベートにデプロイ可能なLLMモデルを微調整する方法を紹介する。
  論文  参考訳（メタデータ） (2023-10-05T09:09:44Z)
• Unlocking Model Insights: A Dataset for Automated Model Card Generation [4.167070553534516]
  25のMLモデルに対して500対の質問応答ペアのデータセットを導入する。 元の論文から回答を抽出するためにアノテーションを使用します。 また,ChatGPT-3.5,LLaMa,Galacticaを用いた実験では,これらのLMによる研究論文の理解に大きなギャップが認められた。
  論文  参考訳（メタデータ） (2023-09-22T04:46:11Z)
• Large Language Models with Controllable Working Memory [64.71038763708161]
  大規模言語モデル(LLM)は、自然言語処理(NLP)の一連のブレークスルーをもたらした。 これらのモデルをさらに切り離すのは、事前訓練中に内在する膨大な量の世界的知識だ。 モデルの世界知識が、文脈で提示された事実情報とどのように相互作用するかは、まだ解明されていない。
  論文  参考訳（メタデータ） (2022-11-09T18:58:29Z)
• Discover, Explanation, Improvement: An Automatic Slice Detection Framework for Natural Language Processing [72.14557106085284]
  スライス検出モデル(SDM)は、データポイントの低パフォーマンスなグループを自動的に識別する。 本稿では,NLPタスクの分類のための "Discover, Explain, improve (DEIM)" というベンチマークを提案する。 評価の結果,Edisaは情報的セマンティックな特徴を持つ誤り発生データポイントを正確に選択できることがわかった。
  論文  参考訳（メタデータ） (2022-11-08T19:00:00Z)
• Evaluation of HTR models without Ground Truth Material [2.4792948967354236]
  手書き文字認識モデルの開発における評価は容易である。 しかし、開発からアプリケーションに切り替えると、評価プロセスはトリッキーになります。 我々は,レキシコンに基づく評価が,レキシコンに基づく手法と競合することを示す。
  論文  参考訳（メタデータ） (2022-01-17T01:26:09Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。