华农在线 助显语义搜索智能化

• http://www.aweb.com.cn 2008年11月07日11:00 农博网

　　语义搜索，早已不是新兴名词，当关键词搜索带给大家越来越多信息的尴尬时，人们就开始期待着下一个搜索技术，将会具备人脑的智能，能够理解人类语言的表达方式，搜索结果与用户需求实现更精准的匹配。

　　我国地域辽阔，农业生产分布差异化明显，加之汉语中大量的同义异形、多字同义等特点，让机器既能理解各地方言指称、诸多别名，检索出的信息还要是用户最想要的，听起来像是天方夜谭，由中国科学院声学研究所研究员黄曾阳先生潜心研究多年建立的HNC（Hierarchical Network of Concepts概念层次网络）理论，在深入挖掘汉语特点的基础上，以意义表达和语言理解为主线，已经实现了模拟大脑语言感知过程的自然语言表述模式和计算机理解处理模式。

　　华农在线依托自主产权的智能语义理解技术（HNC），在一定程度上做到了基于语义的智能化垂直搜索，无论对于单一字词或多词语串的搜索请求，都可以达到关键词搜索技术所无法比拟的优势。华农在线如何智能？

　　知识库是实现智能化搜索的基础。HNC农业词语知识库秉承“专”、“广”、“ 精”、“ 深”四大特点。收词范围仅限于农业行业，并覆盖农业各个领域，不涉及与农业无关的词语，做到术业有专功。强大的知识库是一个不断积累的过程，对农业新兴词语、术语等都会及时收录库中。HNC农业词语知识库对每个农业词语都进行了细致的语义描述，深入挖掘农业词语间的深层语义关联，以实现计算机能够理解人类语言，根据语义理解检索出与需求相匹配的信息结果。

　　同义概念的语义搜索

　　用户输入“西红柿”，检索结果不仅有“西红柿”的相关信息，还能检索出关于“番茄”的信息。计算机通过HNC知识库，能够知道西红柿与番茄是同一事物，虽词形不同，但所指相同，他们之间存在着直接的对应关系。同样，“土豆”、“马铃薯”、“洋山芋”、“洋芋”、“山药蛋”都能识别出他们的相关性。HNC农业词语库已经积累了上千条此类同物不同名的词语，完全实现了同义词类型的语义检索需求。

　　上下位概念关系的语义检索

　　在专业领域内，上下位关系是专业词语间最基本的深层语义关系。深入挖据并提供农业词语的上下位关系，对输入请求的下位概念进行分类标签提示，以便更精准地定位用户的搜索意图，这是华农在线智能化的重要表现。

　　如：用户输入“绿叶蔬菜”，不仅能提供有关“绿叶蔬菜”的网页，还能根据语境的权重高低，提供“菠菜”、“芹菜”、“莴笋”等信息。此外，还可以以再分类标签的形式提示出“绿叶蔬菜”的下位概念：菠菜、莴苣、莴笋、芹菜、蕨菜、茼蒿等。

　　HNC知识库中提供了大量的农业词语（包括农产品的品种、类别等）细致的上下位关系、类别关系，目前我们的词语库中记录了十万多条相关信息。

　　消解多义模糊的语义检索

　　除了同义异形词外，汉语中还有不少同形异义词，在农业词语中也存在这种一词多义情况。如：“鸡毛菜”既是上海地区小白菜的商品名，也是一种亚热带性海藻，属石花菜科。这种词语本身的多义模糊更加模糊了用户搜索的意图，一定程度上干扰了搜索结果，需要对这种多义模糊进行消解、做出排歧处理。

　　当用户提交“鸡毛菜”这样的搜索请求后，可提供给用户“小白菜”和“石花菜科”（或者“海藻类”）这样两个提示标签，由用户作二次选择，从而消解模糊，明确其搜索意图。

　　对此，HNC知识库内对一词多义的农业词语给予了特殊标记，并通过华农在线已达到技术上的实现。

　　针对多词串搜索请求的语义检索

　　目前，多数搜索引擎对多词语串的搜索请求的处理都不甚理想，这是关键词检索技术所面临的难题，而这一难题语义检索可轻松解决。

　　对于多词语串的搜索请求，我们可以利用HNC概念层次网络和句类分析技术，解析各词语的语义角色和语义关系，进一步推知、明确用户的搜索意图，从而更加准确地返回用户所需信息。

　　如：输入“西红柿品种”，不但能够提供关于“西红柿品种”的信息，还可以检索出“西红柿”相关下位概念的信息。因此，搜索结果就可以出现有关“粉红西红柿”“黄西红柿”“梨形蕃茄”“秘鲁蕃茄”等网页。

　　再如：输入“西红柿加工”，通过语义分析，明确“加工”的对象是“西红柿”，从而检索出西红柿的加工技术、西红柿的加工产品（如西红柿酱、西红柿干）等相关信息。

　　支持问询式查询

　　农业信息搜索有其特殊性，部分用户因缺乏计算机操作经验，农业专业知识不多，在面临信息检索时，可能更习惯于以“问询”的方式提出搜索请求，因此，我们需要照顾到他们的查询方式，使他们不必为“怎么输入”而发愁，轻松使用华农在线平台搜索需要的农业信息。

　　如：农业技术中，关于农产品的品种和病虫害知识，大部分用户并不知道具体技术名称，但想了解相关类型、功能等，就可能输入类似“棉花长虫如何防治”等搜索请求。使用关键词技术搜索引擎很难查询出需要的结果，而通过语义检索则会根据用户提出的问题，提供用于棉虫害的农药、防治棉花病虫害的技术等信息。

　　不良信息过滤

　　华农在线农业搜索可以集成信息过滤系统，有效防范邪教、色情等不良信息的传播，保证信息的安全性。过滤器是大正研究院得到较广泛应用的较成熟的产品之一，其对邪教、色情等信息过滤功能得到公认。集成该项技术产品技术是华农在线的一大特色，以后华农在线发展社区论坛的话，过滤器将会起到极其重要作用，成为维护信息和系统安全的忠诚卫士。

　　十七届三中全会刚刚结束，国家又一次把农业问题提高到了前所未有的高度，相信在大力扶持农业政策的作用下，我国的三农问题将取得更大的突破，农村经济将迎来新的飞跃式发展。华农在线秉承自己的目标与责任，将会打造出一个超级农业信息航母，引领辉煌的语义智能化信息检索时代。（刘秋明）