論文の概要: Semantic Alignment of AI Models: Concept Collapse, Checkpoint Dynamics, and Cross-Lingual Transfer

• arxiv url: http://arxiv.org/abs/2608.01585v1
• Date: Mon, 03 Aug 2026 01:41:04 GMT
• ステータス: 翻訳完了
• システム内更新日: 2026-08-04 15:07:25.292296
• Title: Semantic Alignment of AI Models: Concept Collapse, Checkpoint Dynamics, and Cross-Lingual Transfer
• Title（参考訳）: AIモデルのセマンティックアライメント:概念崩壊、チェックポイントダイナミクス、言語間移動
• Authors: Tyler Ashoff, Jordan Rodu,
• Abstract要約: この研究は、これらの空間を低次元および解釈可能な基底線と厳密に比較するためにメソッドをどのように使用できるかを示す。 これらのマルチモーダルモデルアライメントテストは、複数の言語にわたるモデル適応テストフレーズ理解の追跡を可能にする。
• 参考スコア（独自算出の注目度）: 0.0
• License: http://arxiv.org/licenses/nonexclusive-distrib/1.0/
• Abstract: Language model benchmarking is a difficult task. Outcome reasoning alone does not test the model's conceptualization of language and popular open-source benchmarks are quickly saturated or ingested as training data. It is important to test the model's output, but augmenting these tests by characterizing semantic structure gives more insight to how models relate abstract concepts. However, the high dimensional embedding spaces are not easy to interpret. This work demonstrates how topological methods can be used to rigorously compare these spaces to low dimensional and interpretable baselines like ontologies and curated knowledge graphs. These multi-modal alignment tests make it possible to track model adaptations and test phrase understanding across multiple languages.
• Abstract（参考訳）: 言語モデルのベンチマークは難しい作業です。 アウトカム推論だけでは、モデルの言語概念化をテストせず、人気のあるオープンソースベンチマークは、トレーニングデータとして急速に飽和または摂取される。 モデルのアウトプットをテストすることは重要であるが、セマンティック構造を特徴付けることによってこれらのテストを強化することは、モデルが抽象的な概念とどのように関連しているかについての洞察を与える。 しかし、高次元埋め込み空間は容易に解釈できない。 この研究は、トポロジ的手法を用いてこれらの空間を、オントロジーやキュレートされた知識グラフのような低次元かつ解釈可能なベースラインと厳密に比較する方法を示す。 これらのマルチモーダルアライメントテストは、複数の言語にわたるモデル適応とテストフレーズ理解を追跡することができる。

関連論文リスト

• Persistent Convolution: A Topological Framework for AI Alignment Testing and Semantic Space Characterization [0.0]
  この研究は、トポロジに基づくマルチモーダルアライメントテストを開発し、不透明モデルの展開、選択、比較をより解釈可能にする。 これらの手法はまた、可能性理論への直感的な接続と、データからデプロイメントへの統合された決定論フレームワークを提供する。
  論文  参考訳（メタデータ） (2026-07-31T04:12:21Z)
• From Text to Graph: Leveraging Graph Neural Networks for Enhanced Explainability in NLP [3.864700176441583]
  本研究では,自然言語処理タスクにおける説明可能性を実現するための新しい手法を提案する。 自動的に文をグラフに変換し、ノードや関係を通じて意味を維持する。 実験は、与えられた分類のためのテキスト構造の中で最も重要なコンポーネントを決定するための有望な結果をもたらした。
  論文  参考訳（メタデータ） (2025-04-02T18:55:58Z)
• Closed-Form Training Dynamics Reveal Learned Features and Linear Structure in Word2Vec-like Models [5.015875080287129]
  word2vecのような自己教師付き単語埋め込みアルゴリズムは、言語モデリングにおける表現学習を研究するための最小限の設定を提供する。 ダウンストリームタスクにおけるトレーニングダイナミクスと最終性能は、経験的に word2vec と非常によく似ていることを示す。
  論文  参考訳（メタデータ） (2025-02-14T02:16:48Z)
• Language Models for Text Classification: Is In-Context Learning Enough? [54.869097980761595]
  最近の基礎言語モデルでは、ゼロショットや少数ショットの設定で多くのNLPタスクで最先端のパフォーマンスが示されている。 より標準的なアプローチよりもこれらのモデルの利点は、自然言語(prompts)で書かれた命令を理解する能力である。 これにより、アノテーション付きインスタンスが限られているドメインのテキスト分類問題に対処するのに適している。
  論文  参考訳（メタデータ） (2024-03-26T12:47:39Z)
• Opening the Black Box: Analyzing Attention Weights and Hidden States in Pre-trained Language Models for Non-language Tasks [0.8889304968879164]
  階層構造を持つ制約付き算術問題に対して,事前学習した言語モデルを適用し,その注意重みと隠れ状態を分析する。 この調査は、人間の問題解決戦略と同様に、階層的な問題を適度に構造化した方法で解決するモデルによって、有望な結果を明らかにしている。 注意分析により、モデルがListOpsデータセットの長いシーケンスに一般化できると仮定できる。
  論文  参考訳（メタデータ） (2023-06-21T11:48:07Z)
• BenchCLAMP: A Benchmark for Evaluating Language Models on Syntactic and Semantic Parsing [55.058258437125524]
  本稿では,制約付きLanguage Model Parsingを評価するベンチマークであるBenchCLAMPを紹介する。 APIを通じてのみ利用可能な2つのGPT-3変種を含む8つの言語モデルをベンチマークする。 実験により,エンコーダ-デコーダ事前学習言語モデルでは,モデル出力が有効であると制約された場合に,構文解析や意味解析の最先端手法を超えることができることがわかった。
  論文  参考訳（メタデータ） (2022-06-21T18:34:11Z)
• Interpreting Language Models with Contrastive Explanations [99.7035899290924]
  言語モデルは、音声、数字、時制、意味論など、トークンを予測するための様々な特徴を考慮しなければならない。 既存の説明手法は、これらの特徴の証拠を1つの説明に分割するが、人間の理解には理解できない。 比較的な説明は、主要な文法現象の検証において、非対照的な説明よりも定量的に優れていることを示す。
  論文  参考訳（メタデータ） (2022-02-21T18:32:24Z)
• Unnatural Language Inference [48.45003475966808]
  我々は、RoBERTaやBARTのような最先端のNLIモデルは、ランダムに並べ替えられた単語の例に不変であり、時にはよりよく機能することさえあります。 我々の発見は、自然言語理解モデルと、その進捗を測定するために使われるタスクが、本当に人間のような構文理解を必要とするという考えに疑問を投げかけている。
  論文  参考訳（メタデータ） (2020-12-30T20:40:48Z)
• Grounded Compositional Outputs for Adaptive Language Modeling [59.02706635250856]
  言語モデルの語彙$-$典型的にはトレーニング前に選択され、後で永久に固定される$-$は、そのサイズに影響します。 言語モデルのための完全合成出力埋め込み層を提案する。 我々の知る限り、この結果はトレーニング語彙に依存しないサイズを持つ最初の単語レベル言語モデルである。
  論文  参考訳（メタデータ） (2020-09-24T07:21:14Z)

関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。

指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。