基于BERT-Bi-LSTM-CRF模型的自主式交通系统参与主体识别方法

唐进君; 庹昊南; 刘佑; 付强

doi:10.3963/j.jssn.1674-4861.2022.05.009

基于BERT-Bi-LSTM-CRF模型的自主式交通系统参与主体识别方法

doi: 10.3963/j.jssn.1674-4861.2022.05.009

中南大学交通运输工程学院长沙 410075

基金项目:

国家重点研发计划项目 2020YFB1600400

详细信息

通讯作者:
唐进君(1983—)，博士，副教授.研究方向: 智能交通. E-mail：jinjuntang@csu.edu.cn

中图分类号: U495
计量
- 文章访问数: 940
- HTML全文浏览量: 556
- PDF下载量: 38
- 被引次数: 0
出版历程
- 收稿日期: 2022-01-02
- 网络出版日期: 2022-12-05

A Method for Identifying the Participants of Autonomous Transportation System Based on a BERT-Bi-LSTM-CRF Model

School of Traffic and Transportation Engineering, Central South University, Changsha 410075, China

摘要

摘要: 自主式交通系统(ATS)的重要组成部分是参与主体，参与主体的信息通常依靠文本进行描述。为构建自主式交通知识图谱，需要从文本中准确地识别出大量参与主体。为此，研究了基于BERT-Bi-LSTM-CRF模型的实体识别方法，对自主式交通系统参与主体进行抽取。词嵌入模型BERT为预训练语言模型，用以捕获丰富的语义特征，将捕获的语义特征输入到双向长短时记忆神经网络(Bi-LSTM)模型中提取上下文双向序列信息，经条件随机场(CRF)处理得到最优序列预测结果。收集交通专业相关的原始语料，经过数据预处理与文本标注，形成了可用于自主式交通系统参与主体识别的语料库，基于此数据开展实体识别对比实验。结果证明：BERT模型显著提升了自主式交通系统参与主体识别任务的性能。相较于传统方法CNN-LSTM或Bi-LSTM等，所提方法可以得到最佳综合识别效果，各实体的综合F1值为86.81%，表明通过BERT模型提取参与主体的语义特征，可以增强识别方法的泛化能力。“使用者”“运营者”“提供者”“规划者”“维护者”类实体的F1值分别为90.35%，92.31%，90.48%，93.33%，95.00%。验证了所提方法识别自主式交通系统参与主体的有效性。
- 智能交通 /
- 命名实体识别 /
- 知识图谱 /
- BERT-Bi-LSTM-CRF /
- 知识建模
Abstract: Autonomous Transportation System (ATS) consists of participants whose information is generally described by texts. In order to develop a knowledge graph of the participants of the ATS, it is necessary to accurately identify the participants from the texts. Therefore, an entity recognition method based on a BERT-Bi-LSTM-CRF model is developed to extract the participants of ATS. Specifically, a Bi-LSTM (bidirectional long short-term memory) model is used to bi-directionally extract contextual sequence information from the semantic characteristics, which are captured by a word embedding model—BERT (bidirectional encoder representation from transformers). The optimal results of sequence prediction are obtained through the CRF(conditional random fields). After the original text source related to transportation engineering is collected, preprocessed and annotated, a new dataset is developed for identifying the participants of the ATS. Moreover, a comparative experiment of the entity recognition is carried out based on the same dataset. The results indicate that the BERT model significantly improves the performance of identifying the participants. Compared with other methods such as CNN-LSTM and Bi-LSTM, the proposed method achieves the best performance. The overall F1-score of participants is 86.81%, which shows that the proposed BERT model can enhance the generalized capability of the detection methods by extracting the semantic features of participants. The for identifying each type of including "user" "operator" "supplier" "planner" and "maintainer" reaches 90.35%, 92.31%, 90.48%, 93.33%, and 95.00%, respectively. Therefore, it can be concluded from the study results that the proposed method is effective and accurate.
- intelligent transportation /
- named entity recognition /
- knowledge graph /
- BERT-Bi-LSTM-CRF /
- knowledge modeling

HTML全文

图 1 ATS本体结构

Figure 1. Ontology structure of ATS

下载: 全尺寸图片幻灯片

图 2 ATS领域实体类型

Figure 2. Entity type in ATS

下载: 全尺寸图片幻灯片

图 3 ATS知识模式层

Figure 3. The pattern layer of knowledge inATS

下载: 全尺寸图片幻灯片

图 4 BERT遮盖词模型

Figure 4. BERT masked language model

下载: 全尺寸图片幻灯片

图 5 LSTM单元

Figure 5. LSTM cell

下载: 全尺寸图片幻灯片

图 6 Bi-LSTM-CRF模型结构

Figure 6. The model structure of Bi-LSTM-CRF

下载: 全尺寸图片幻灯片

图 7 F1值结果对比

Figure 7. The comparison of models with updated F1 value

下载: 全尺寸图片幻灯片

表 1 语料内容

Table 1. Corpus content

数据源	类型	领域或内容	实体
《中国智能交通系统体系框架》	科技文献	ITS系统框架	交通管理者、货运部门、交通信息服务提供商、急救中心、道路使用者等
《智能交通系统体系框架原理与应用》	科技文献	ITS框架解读	政府部门、基础设施管理部门、清算中心、客户服务中心、城市交通管理中心等
《道路交通安全法》	法律法规	交通安全	驾驶人、机动车所有人、公安机关、机动车安全技术检验机构、行人等
《机动车交通事故责任强制保险条例》	规章制度	载运工具	保险公司、保监会、投保人、道路交通事故社会救助基金、机动车管理部门等
《国家车联网产业标准体系(系列文件)》	标准文件	车联网产业标准概要	工业和信息化部、交通运输部、国际标准化组织、数据平台、国家标准化管理委员会等
《国家车联网产业标准体系建设指南(车辆智能管理)》	指导意见	智能网联汽车管理	道路交通管理运行监管平台、服务平台、全国汽车标准化技术委员会等

下载: 导出CSV

表 2 语料标注示例

Table 2. An example of corpus tagging

文本	标注样式
文本	IO	IBO	BIO	BIOES
服	I-SUP	I-SUP	B-SUP	B-SUP
务	I-SUP	I-SUP	I-SUP	I-SUP
提	I-SUP	I-SUP	I-SUP	I-SUP
供	I-SUP	I-SUP	I-SUP	I-SUP
商	I-SUP	I-SUP	I-SUP	E-SUP
提	O	O	O	O
供	O	O	O	O
场	O	O	O	O
地	O	O	O	O

下载: 导出CSV

表 3 ATS实体类型标注情况

Table 3. Tagging of entity type in ATS

实体类型	标注样式	定义	实体
人物(PER)	B-PER、I-PER	常识集下个体的人名或者组合而成的群体	工程人员、科技人员等
组织(ORG)	B-ORG、I-ORG	常识集下按一定结构形式组成的集会群体	研究中心、社会团体等
地名(LOC)	B-LOC、I-LOC	常识集下的地点名称	中国、欧洲等
使用者(USE)	B-USE、I-USE	ATS中使用交通服务、基础设施以及载运工具的用户主体	交通参与者、驾驶人等
管理者(MAN)	B-MAN、I-MAN	ATS中通过管理各组分使得交通系统高效有序运行的用户主体	交通管理中心、紧急事件处理人员等
运营者(OPE)	B-OPE、I-OPE	ATS中为产品系统提供服务活动的用户主体	公共交通运营商、货运公司等
提供者(SUP)	B-SUP、I-SUP	ATS中为交通服务提供信息资源的用户主体	交通信息提供商、气象部门等
规划者(PLA)	B-PLA、I-PLA	ATS中为服务规则、标准做出规划的用户主体	交通运输规划部门等
建造者(CON)	B-CON、I-CON	ATS中安装、建造组分实体的用户主体	汽车厂商、道路建设者等
维护者(MAI)	B-MAI、I-MAI	ATS中维护、检测、保养组分实体的用户主体	汽车维修商、道路养护部门等

下载: 导出CSV

表 4 实体识别模型测试结果

Table 4. The test results of entity recognition model 单位: %

预训练模型	模型	P	R	F1
无	CNN-LSTM	72.00	81.61	76.50
	Bi-LSTM	74.41	81.61	77.84
	Bi-LSTM-CRF	79.89	82.83	81.34
BERT	CNN-LSTM	81.55	87.33	84.34
	Bi-LSTM	81.23	86.65	83.85
	Bi-LSTM-CRF	84.52	89.24	86.81
注：粗体为最优模型结果。

下载: 导出CSV

表 5 各实体类型F1值

Table 5. F1 value of entity type 单位: %

模型	USE	MAN	OPE	SUP	PLA	CON	MAI
CNN-LSTM	84.80	81.21	82.47	78.65	63.41	0	87.80
Bi-LSTM	85.71	79.86	86.87	80.90	64.86	66.67	95.00
Bi-LSTM-CRF	86.87	83.57	89.13	86.05	74.29	66.67	95.00
BERT-CNN-LSTM	89.64	88.03	92.13	89.41	78.79	66.67	95.00
BERT-Bi-LSTM	89.31	87.50	86.32	89.66	86.67	33.33	95.00
BERT-Bi-LSTM-CRF	90.35	88.42	92.31	90.48	93.33	66.67	95.00

下载: 导出CSV

表 6 实体识别实例

Table 6. Entity recognition example

模型	预测正确实体及标签	预测错误实体及标签
CNN-LSTM	PLA: 国际标准化组织、技术委员会、科技部、智能交通协会; LOC: 中国	PLA: 智能交通系统设置了专门；MAN: 民; ORG: 政部
Bi-LSTM	PLA: 国际标准化组织; MAN: 民政部	PLA: 能、专门、技术委员、科技、中、智、交通；LOC: 国; ORG: 能
Bi-LSTM-CRF	PLA: 国际标准化组织、科技部、智能交通协会; LOC: 中国	PLA: 专门、技术委员; ORG: 民政部
BERT-CNN-LSTM	PLA: 国际标准化组织、技术委员会、科技部; MAN: 民政部; LOC: 中国	ORG智能交；LA: 通协会
BERT-Bi-LSTM	PLA: 技术委员会、科技部、智能交通协会; LOC: 中国	PLA: 标准化组; MAN: 民、部; ORG: 政
BERT-Bi-LSTM-CRF	PLA: 国际标准化组织、技术委员会、科技部、智能交通协会; MAN: 民政部; LOC: 中国

下载: 导出CSV

参考文献(26)

[1]	KHALID M, AWAIS M, SINGH N, et al. Autonomous transportation in emergency healthcare services: Framework, challenges, and future work[J]. IEEE Internet of Things Magazine, 2021, 4(1): 28-33. doi: 10.1109/IOTM.0011.2000076
[2]	魏伟, 郑来, 蔡铭. 面向自主式交通的智能交通系统用户需求研究[J]. 交通科技与经济, 2022, 24(2): 1-7. https://www.cnki.com.cn/Article/CJFDTOTAL-KJJJ202202001.htm WEI W, ZHENG L, CAI M. Research on user needs of Intelligent transportation system for autonomous transportation[J]. Technology & Economy in Areas of Communications, 2022, 24(2): 1-7. (in Chinese) https://www.cnki.com.cn/Article/CJFDTOTAL-KJJJ202202001.htm
[3]	李瑞敏, 王长君. 智能交通管理系统发展趋势[J]. 清华大学学报(自然科学版), 2022, 62(3): 509-515. https://www.cnki.com.cn/Article/CJFDTOTAL-QHXB202203013.htm LI R M, WANG C J. Development of advanced traffic management systems[J]. Journal of Tsinghua University(Science and Technology), 2022, 62(3): 509-515. (in Chinese) https://www.cnki.com.cn/Article/CJFDTOTAL-QHXB202203013.htm
[4]	程宇航, 张健钦, 李江川, 等. 交通行业事故文本数据的可视化挖掘分析方法[J]. 计算机工程与应用, 2021, 57(21): 116-122. doi: 10.3778/j.issn.1002-8331.2010-0269 CHENG Y H, ZHANG J Q, LI J C, et al. Visual mining and analysis method of text data in traffic accident[J]. Computer Engineering and Applications, 2021, 57(21): 116-122. (in Chinese) doi: 10.3778/j.issn.1002-8331.2010-0269
[5]	刘峤, 李杨, 段宏, 等. 知识图谱构建技术综述[J]. 计算机研究与发展, 2016, 53(3): 582-600. https://www.cnki.com.cn/Article/CJFDTOTAL-JFYZ201603009.htm LIU Q, LI Y, DUAN H, et al. Knowledge graph construction techniques[J]. Journal of Computer Research and Development, 2016, 53(3): 582-600. (in Chinese) https://www.cnki.com.cn/Article/CJFDTOTAL-JFYZ201603009.htm
[6]	王莉. 基于知识图谱的城市轨道交通建设安全管理智能知识支持研究[D]. 徐州: 中国矿业大学, 2019. WANG L. Research on intelligent knowledge support for urban rail transit construction safety management[D]. Xuzhou: China University of Mining and Technology, 2019. (in Chinese)
[7]	ZHANG Q, WEN Y Q, HAN D, et al. Construction of knowledge graph of maritime dangerous goods based on IMDG code[J]. The Journal of Engineering, 2020, 2020(13): 361-365. doi: 10.1049/joe.2019.1147
[8]	刘斐, 贺向阳, 邹志云. 基于全文索引知识图谱的危化品运输地址匹配研究[J]. 计算机应用研究, 2022, 39(2): 407-410+431. doi: 10.19734/j.issn.1001-3695.2021.07.0299 LIU F, HE X Y, ZOU Z Y. Address matching based on full-text indexed knowledge graph for hazardous materials transportation[J]. Application Research of Computers, 2022, 39(2): 407-410+431. (in Chinese) doi: 10.19734/j.issn.1001-3695.2021.07.0299
[9]	LIU J, SCHMID F, LI K, et al. A knowledge graph-based approach for exploring railway operational accidents[J]. Reliability Engineering & System Safety, 2021, (207): 107352.
[10]	奚雪峰, 周国栋. 面向自然语言处理的深度学习研究[J]. 自动化学报, 2016, 42(10): 1445-1465. https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO201610001.htm XI X F, ZHOU G D. A survey on deep learning for natural language processing[J]. Acta Automatica Sinica, 2016, 42 (10): 1445-1465. (in Chinese) https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO201610001.htm
[11]	焦凯楠, 李欣, 朱容辰. 中文领域命名实体识别综述[J]. 计算机工程与应用, 2021, 57(16): 1-15. doi: 10.3778/j.issn.1002-8331.2103-0127 JIAO K N, LI X, ZHU R C. Overview of Chinese domain named entity recognition[J]. Computer Engineering and Applications, 2021, 57(16): 1-15. (in Chinese) doi: 10.3778/j.issn.1002-8331.2103-0127
[12]	ZULKARNAIN, PUTRI T D. Intelligent Transportation Systems(ITS): A systematic review using a Natural Language Processing(NLP)approach[J]. Heliyon, 2021, 7(12): e08615. doi: 10.1016/j.heliyon.2021.e08615
[13]	孙鑫瑞, 孟雨, 王文乐. 基于知识图谱与目标检测的微博交通事件识别[J]. 数据分析与知识发现, 2020, 4(12): 136-147. https://www.cnki.com.cn/Article/CJFDTOTAL-XDTQ202012018.htm SUN X R, MENG Y, WANG W L. Identifying traffic events from Weibo with knowledge graph and target detection[J]. Data Analysis and Knowledge Discovery, 2020, 4(12): 136-147. (in Chinese) https://www.cnki.com.cn/Article/CJFDTOTAL-XDTQ202012018.htm
[14]	郑治豪, 吴文兵, 陈鑫, 等. 基于社交媒体大数据的交通感知分析系统[J]. 自动化学报, 2018, 44(4): 656-666. https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO201804007.htm ZHENG Z H, WU W B, CHEN X, et al. A traffic sensing and analyzing system using social media data[J]. Acta Automatica Sinica, 2018, 44(4): 656-666. (in Chinese) https://www.cnki.com.cn/Article/CJFDTOTAL-MOTO201804007.htm
[15]	孙欢. 基于BERT+BiLSTM+CRF模型和改进Apriori算法的交通事故文本分析[D]. 西安: 长安大学, 2021. SUN H. Traffic accident text analysis based on BERT+BiLSTM + CRF model and improved Apriori algorithm[D]. Xi'an: Chang'an University, 2021. (in Chinese)
[16]	李韧, 李童, 杨建喜, 等. 基于Transformer-BiLSTM-CRF的桥梁检测领域命名实体识别[J]. 中文信息学报, 2021, 35 (4): 83-91. https://www.cnki.com.cn/Article/CJFDTOTAL-MESS202104012.htm LI R, LI T, YANG J X, et al. Bridge inspection named entity recognition based on Transformer-BiLSTM-CRF[J]. Journal of Chinese Information Processing, 2021, 35(4): 83-91. (in Chinese) https://www.cnki.com.cn/Article/CJFDTOTAL-MESS202104012.htm
[17]	XU Q, LI K Q, WANG J Q, et al. The status, challenges, and trends: An interpretation of technology roadmap of intelligent and connected vehicles in China(2020)[J]. Journal of Intelligent and Connected Vehicles, 2022, 5(1): 1-7.
[18]	CHEN H L, ZHU M, WEN Y Q, et al. An implementable architecture of inland autonomous waterway transportation system[J]. IFAC-PapersOnLine, 2021, 54(16): 37-42.
[19]	张雷, 沈国琛, 秦晓洁, 等. 智能网联交通系统中的信息物理映射与系统构建[J]. 同济大学学报(自然科学版), 2022, 50(1): 79-86. https://www.cnki.com.cn/Article/CJFDTOTAL-TJDZ202201009.htm ZHANG L, SHEN G C, QIN X J, et al. Information physical mapping and system construction of intelligent network transportation[J]. Journal of Tongji University(Natural Science), 2022, 50(1): 79-86. (in Chinese) https://www.cnki.com.cn/Article/CJFDTOTAL-TJDZ202201009.htm
[20]	DE OLIVEIRA K M, BACHA F, MNASSER H, et al. Transportation ontology definition and application for the content personalization of user interfaces[J]. Expert Systems with Applications, 2013, 40(8): 3145-3159.
[21]	GREGOR D, TORAL S, ARIZA T, et al. A methodology for structured ontology construction applied to intelligent transportation systems[J]. Computer Standards & Interfaces, 2016 (47): 108-119.
[22]	田玲, 张谨川, 张晋豪, 等. 知识图谱综述: 表示、构建、推理与知识超图理论[J]. 计算机应用, 2021, 41(8): 2161-2186. https://www.cnki.com.cn/Article/CJFDTOTAL-JSJY202108002.htm TIAN L, ZHANG J C, ZHANG J H, et al. Knowledge graph survey: Representation, construction, reasoning and knowledge hypergraph theory[J]. Journal of Computer Applications, 2021, 41(8): 2161-2186. (in Chinese) https://www.cnki.com.cn/Article/CJFDTOTAL-JSJY202108002.htm
[23]	MAHMOOD T, MUJTABA G, SHUIB L, et al. Public bus commuter assistance through the named entity recognition of twitter feeds and intelligent route finding[J]. IET Intelligent Transport Systems, 2017, 11(8): 521-529.
[24]	SUAT-ROJAS N, GUTIERREZ-OSORIO C, PEDRAZA C. Extraction and analysis of social networks data to detect traffic accidents[J]. Information, 2022, 13(1): 26.
[25]	刘昭, 何赏璐, 刘英舜. 基于社交网络数据的交通突发事件识别方法[J]. 交通信息与安全, 2021, 39(2): 53-60. doi: 10.3963/j.jssn.1674-4861.2021.02.007 LIU Z, HE S L, LIU Y S. A method to identify traffic incidents based on social network data[J]. Journal of Transport Information and Safety, 2021, 39(2): 53-60. (in Chinese) doi: 10.3963/j.jssn.1674-4861.2021.02.007
[26]	VIJAYAKUMAR V, VAIRAVASUNDARAM S, LOGESH R, et al. Effective knowledge based recommender system for tailored multiple point of interest recommendation[J]. International Journal of Web Portals, 2019, 11(1): 1-18.