論文の概要: Beyond Single Character: Evaluating MLLMs for Sentence-Level Oracle Bone Inscription Understanding
- arxiv url: http://arxiv.org/abs/2606.31169v1
- Date: Tue, 30 Jun 2026 05:59:44 GMT
- ステータス: 翻訳完了
- システム内更新日: 2026-07-01 18:27:19.090631
- Title: Beyond Single Character: Evaluating MLLMs for Sentence-Level Oracle Bone Inscription Understanding
- Title（参考訳）: 単一文字を超える: 文レベルOracleの骨碑文理解のためのMLLMの評価
- Abstract要約: 文レベルOBI理解におけるMLLMの評価のための新しいベンチマークであるS-OBIを紹介する。
S-OBIはグリフ置換と合成により、明瞭で標準化された文レベルのOBIインスタンスを合成する。
実験により, 文レベルOBI理解における現代MLLMの劣性を明らかにする。
- 参考スコア（独自算出の注目度）: 52.79561716745463
- License: http://creativecommons.org/licenses/by/4.0/
- Abstract: Existing AI-assisted oracle bone inscription (OBI) visual recognition and understanding studies mainly focus on character-level, ignoring the long-form textual coherence and contextual dependencies embedded in complete divination charges. Recently, the powerful visual perception capabilities of multimodal large language models (MLLMs) have opened new possibilities for OBI information processing. In this work, we introduce S-OBI, a novel benchmark for evaluating MLLMs in Sentence-level OBI understanding. Instead of using noisy and incomplete rubbings as the visual input, S-OBI synthesizes clear and standardized sentence-level OBI instances through glyph substitution and composition. According to 95 original rubbings with translations that have been identified, corrected, and verified by experts, we replace characters in the original rubbings with corresponding clean glyph samples sourced from existing OBI datasets while preserving the overall inscriptional structure and semantic organization. This mitigates the influence of low-level distortions and enables a more focused evaluation of sentence-level OBI understanding. Based on this, we design semantic matching, semantic slot extraction, and contextual reasoning tasks and obtain 695 question-answer pairs. Experiments reveal the inferiority of contemporary MLLMs on sentence-level OBI understanding. In particular, visual perception errors in unmasked regions propagate through the reasoning chain, leading to erroneous predictions for masked characters, which indicates that sentence-level OBI understanding in current models remains strongly dependent on character-level recognition. Overall, S-OBI provides a diagnostic benchmark for evaluating whether MLLMs can move beyond isolated character recognition toward structured inscription-level understanding.
- Abstract（参考訳）: 既存のAI支援オラクル骨碑文(OBI)の視覚的認識と理解の研究は、主に文字レベルに焦点を当てており、長い形式のテキストコヒーレンスと完全な占拠電荷に埋め込まれたコンテキスト依存を無視している。
近年,マルチモーダル大規模言語モデル(MLLM)の強力な視覚認識能力により,OBI情報処理の新たな可能性が高まっている。
本研究では,文レベルのOBI理解においてMLLMを評価するための新しいベンチマークであるS-OBIを紹介する。
視覚入力としてノイズや不完全なラビングを使う代わりに、S-OBIはグリフ置換と合成によって明確で標準化された文レベルのOBIインスタンスを合成する。
専門家によって特定され、修正され、検証された翻訳を含む95の原語ラビングによると、我々は、原語のラビングの文字を既存のOBIデータセットから得られたクリーンなグリフのサンプルに置き換え、全体の碑文構造とセマンティックな組織を保存する。
これは低レベルの歪みの影響を緩和し、文レベルのOBI理解をより集中的に評価することを可能にする。
そこで本研究では,セマンティックマッチング,セマンティックスロット抽出,コンテキスト推論タスクを設計し,質問応答対を695個取得する。
実験により, 文レベルOBI理解における現代MLLMの劣性を明らかにする。
特に、未成熟領域における視覚的認識誤差は推論連鎖を通じて伝播し、現在のモデルにおける文レベルのOBI理解が文字レベルの認識に強く依存していることを示すマスク付き文字の誤予測につながる。
全体として、S-OBIはMLLMが孤立した文字認識を超えて構造化された入力レベル理解へ移行できるかどうかを評価するための診断ベンチマークを提供する。
関連論文リスト
- AlphaOracle: Oracle bone script decipherment via human-workflow-inspired deep learning [74.08626949007903]
4,500文字の骨文字(OBS)の約3,000文字は、断片的な碑文とまばらな証拠のために解読されていない。
我々は、これまでで最大のデジタルコーパスを使用してOBS解読を体系化する、ヒューマンワークフローにインスパイアされたAlphaOracleを紹介した。
論文 参考訳（メタデータ） (2026-07-20T11:46:00Z) - Enhancing Oracle Bone Inscription Recognition via Multi-Scale Layer Attention [15.00246240540568]
Oracle Bone Inscriptions (OBI) は、古代中国の文化を理解する上で重要な役割を担っている。
従来の手法は専門家の知識と手作業による分析に頼っている。
マルチスケール・レイヤ・アテンション(MSLA)は,マルチスケール・レイヤ間の相互作用をモデル化する新しいパラダイムである。
論文 参考訳（メタデータ） (2026-06-30T07:48:05Z) - Think in Sentences: Explicit Sentence Boundaries Enhance Language Model's Capabilities [3.0508522904185438]
大規模言語モデル(LLM)は、人間の生成したテキストに曝露することで言語能力を得る。
そこで本研究では,LLM入力の文境界に挿入する手法を提案する。
その結果, GSM8kでは7.7%, DROPでは12.5%, 様々なタスクで一貫した改善が見られた。
論文 参考訳（メタデータ） (2026-04-11T10:00:52Z) - Farther the Shift, Sparser the Representation: Analyzing OOD Mechanisms in LLMs [100.02824137397464]
難易度が増大する入力に遭遇した場合,大規模言語モデルが内部表現をどのように適応するかを検討する。
タスクの難易度が増大するにつれて、LLMの最後の隠れ状態は実質的にスペーサーとなる。
この空間性-微分的関係は、様々なモデルや領域で観測可能である。
論文 参考訳（メタデータ） (2026-03-03T18:48:15Z) - Framework for Machine Evaluation of Reasoning Completeness in Large Language Models For Classification Tasks [0.0]
本稿では、説明の完全性のためのRAS-Reasoning Alignmentを紹介する。
我々は,広く使用されている4つのテキスト分類データセット,WIKI ONTOLOGY, AG NEWS, IMDB, GOEMOTIONSを分析した。
正解予測はサポート特徴のカバレッジが高く,正解予測は矛盾する特徴のカバレッジの増大と関連していることを示す。
論文 参考訳（メタデータ） (2025-10-23T20:22:22Z) - Beyond Isolated Dots: Benchmarking Structured Table Construction as Deep Knowledge Extraction [80.88654868264645]
Arranged and Organized extract Benchmarkは、断片化された文書を理解するための大規模言語モデルの能力を評価するために設計された。
AOEには3つの異なるドメインにまたがる11のタスクが含まれており、さまざまな入力クエリに適したコンテキスト固有のスキーマを生成するモデルが必要である。
結果は、最も先進的なモデルでさえ、かなり苦労したことを示している。
論文 参考訳（メタデータ） (2025-07-22T06:37:51Z) - Rethinking the Understanding Ability across LLMs through Mutual Information [22.16559695572131]
入力文とその潜在表現(文レベルMI)の間のMIとしての理解を形式化する。
文レベルMIをトークンと文埋め込みの間でトークンレベルMIに分解し、これらの測度を接続する理論的境界を確立する。
我々は、この回復可能性タスクを実装し、異なる言語モデル間でMIを相対的に測定する。
論文 参考訳（メタデータ） (2025-05-25T22:31:24Z) - How do Large Language Models Understand Relevance? A Mechanistic Interpretability Perspective [64.00022624183781]
大規模言語モデル(LLM)は、関連性を評価し、情報検索(IR)タスクをサポートする。
メカニスティック・インタプリタビリティのレンズを用いて,異なるLLMモジュールが関係判断にどのように寄与するかを検討する。
論文 参考訳（メタデータ） (2025-04-10T16:14:55Z) - Do LLMs Understand Your Translations? Evaluating Paragraph-level MT with Question Answering [68.3400058037817]
本稿では,TREQA(Translation Evaluation via Question-Answering)について紹介する。
我々は,TREQAが最先端のニューラルネットワークとLLMベースのメトリクスより優れていることを示し,代用段落レベルの翻訳をランク付けする。
論文 参考訳（メタデータ） (2025-04-10T09:24:54Z) - Oracle Bone Inscriptions Multi-modal Dataset [58.20314888996118]
オラクルの骨碑文(Oracle bone inscriptions, OBI)は中国最古の書記体系であり、初期の上海の歴史や古史の貴重な実例を記している。
本稿では,10,077個のオラクル骨の注釈情報を含むOracle Bone Inscriptions Multi-modalデータセットを提案する。
このデータセットは、OBIの文字検出と認識、ラビングDenoising、キャラクタマッチング、キャラクタ生成、読み込みシーケンス予測、ミスキャラクタ補完タスクなど、OBIの分野に関連するさまざまなAI関連研究タスクに使用することができる。
論文 参考訳（メタデータ） (2024-07-04T12:47:32Z) - IERL: Interpretable Ensemble Representation Learning -- Combining
CrowdSourced Knowledge and Distributed Semantic Representations [11.008412414253662]
大言語モデル(LLM)は、単語の意味を分散意味論の形でエンコードする。
近年の研究では、LLMは意図しない、一貫性のない、あるいは間違ったテキストを出力として生成する傾向があることが示されている。
本稿では,LLMとクラウドソースの知識表現を体系的に組み合わせた新しいアンサンブル学習手法であるInterpretable Ensemble Representation Learning (IERL)を提案する。
論文 参考訳（メタデータ） (2023-06-24T05:02:34Z)
関連論文リストは本サイト内にある論文のタイトル・アブストラクトから自動的に作成しています。
指定された論文の情報です。
本サイトの運営者は本サイト（すべての情報・翻訳含む）の品質を保証せず、本サイト（すべての情報・翻訳含む）を使用して発生したあらゆる結果について一切の責任を負いません。