Enhancing Relational Knowledge Inference via Pruning of Knowledge-Obstructive Parameters
Kim, Hwichan Kaneko, Masahiro Hiraoka, Tatsuya Komachi, Mamoru Inui, Kentaro Baldwin, Timothy
Kim, Hwichan
Kaneko, Masahiro
Hiraoka, Tatsuya
Komachi, Mamoru
Inui, Kentaro
Baldwin, Timothy
Supervisor
Department
Natural Language Processing
Embargo End Date
Type
Conference proceeding
Date
2025
License
Language
Japanese
Collections
Research Projects
Organizational Units
Journal Issue
Abstract
事前学習済み言語モデルを構成する重みパラメータは，膨大なテキストデータで事前学習されており，実世界における
多様な関係知識を捉えている．関係知識の獲得状況の評価では，クエリ (e.g., The capital of France is) から正答 (e.g.,
Paris) を生成できるかを計測する．モデルは正答を生成できる場合がある一方で，当該知識に関連するテキストが学習
データに含まれていても，誤答を生成することがあるため，信頼性において課題がある．誤答の要因としては，生成時
に当該知識の情報を保有しているパラメータではなく，無関係なパラメータに基づいた生成が行われている可能性があ
る．本研究では，こうした誤答の要因となるパラメータを知識汚染パラメータと呼称する．また，これらを分析・対処
することで回答の信頼性向上を図る．具体的には，モデル内の各パラメータに対して回答生成への貢献度を示すスコア
（帰属スコア）を付与し，この帰属スコアが低いパラメータを知識汚染パラメータと定義する．実験では，知識汚染パラ
メータを枝刈りすることで，当該知識に関連するクエリに対する回答精度が向上することがわかった．
Citation
H. Kim et al., “Enhancing Relational Knowledge Inference via Pruning of Knowledge-Obstructive Parameters,” pp. 3Win587-3Win587, 2025, doi: 10.11517/PJSAI.JSAI2025.0_3WIN587
Source
Proceedings of the Annual Conference of JSAI, 2025
Conference
The 39th Annual Conference of the Japanese Society for Artificial Intelligence
Keywords
Pre-trained Language Model, Interpretability, Relational Knowledge
Subjects
Source
The 39th Annual Conference of the Japanese Society for Artificial Intelligence
Publisher
Japanese Society for Artificial Intelligence