“城市计算夏令营”精华课程：面向智慧城市的智能感知技术

admin 2024-12-27 189

“对人和环境泛在、智能感知”是重要的科学前沿研究课题，也是满足智慧城市、公共安全等国家重大需求的关键支撑。为此，《国家创新驱动发展战略纲要》、《国家“十三五”科技创新规划》等将智能感知列为战略任务和重点方向。

针对城市感知需求和上述科学问题，西北工业大学人机物融合智能计算团队在国家自然科学基金、国家“973计划”等科研项目的支持下，在国际上较早开展并持续深入开拓移动群智感知、智能无线感知相关理论与方法研究，取得系列创新成果。

一、移动群智感知

结合移动群智感知关键科学问题，重点在感知任务分配、感知数据汇聚、群智融合计算等方面开展研究工作。

1.感知任务分配

移动群智感知任务分配涉及两类重要实体，即感知任务和任务参与者，关键在于如何利用优化模型和算法，在候选者集合中选择优质的参与者执行任务，以保证低成本地获取足量的优质数据。任务分配通用模型如图1所示。

图1任务分配模型

1.1面向单任务的参与者选择

针对如何为城市空间中的单个感知任务（如城市某重点区域交通动态）选择合适感知节点这一问题，提出了基于信用分布的影响力最大化算法，预测感知参与度。将基于事件的社交网络（EBSN,Event-BasedSocialNetwork）的活动视为感知任务，综合考虑任务的内容特征、时空情境特征和社会影响特征，提高预测用户参与任务的准确率，即提高感知能力发现和任务分配的命中率。如图2所示，将感知节点挑选的问题形式化为偏好-影响力集合选择问题，即寻找对当前感兴趣且具有影响力的用户集。方法框架包括用户-任务偏好建模和影响力最大化两个部分。相关工作发表在ACMUbiComp2015[5]。

图2基于信用分布的感知任务参与影响力最大化算法

1.2面向多任务的参与者选择

1.2.1同构多任务分配

移动群智感知任务往往并发出现，其中感知节点数量与任务数量的比例影响了感知能力优化组合的方式，主要存在两种情况：感知节点资源充足和感知节点资源匮乏。

针对感知节点资源充足的情况，要求每个工作者完成一个任务以保证任务完成的质量，优化目标是最小化移动距离和激励成本。针对该问题，利用多目标优化模型求解，分别通过线性加权法和妥协约束法将双目标转化为单目标，采用整数线性规划方法（如分支定界法）求解。

（1）感知节点资源充足（2）感知节点资源匮乏

图3面向多任务的感知能力优化组合

针对感知节点资源匮乏情况，需要每个工作者完成多个任务以增加任务被完成的总比例（即任务完成率）。此时，优化的目标是最大化个体任务分配个数以提高任务完成率和最小化群体移动距离以缩短任务完成时间。针对该问题，利用最小费用最大流模型，提出基于增广链（AugmentPath）的优化算法，其中费用代表移动距离，流代表完成的任务个数；根据优化目标，为工作者分配最短移动距离的任务集且保证每个任务得到尽可能充足的工作者。相关研究成果发表于顶级国际会议ACMUbiComp2016[6]。

图4基于最小费用最大流的多任务分配模型

1.2.2异构多任务分配

针对异构多任务的感知能力发现与分配问题，需要综合考虑感知节点和任务之间的时空相关性。在城市环境中，鉴于越来越多的感知任务需要利用多源感知信息，提出一种支持多并发的感知节点发现和任务分配机制至关重要。然而，现有方法大多侧重于同构任务。由于不同的时空任务需求和感知情境，需要综合考虑感知节点的时空属性，挖掘时空相关的感知节点能力。为此，提出并形式化定义跨空间异构多任务分配问题，将数据质量最大化和总激励预算最小化（如图5所示）作为约束条件。利用异构任务间的隐式时空相关性，提出一种两阶段求解方法，有效地处理共享资源池中的多个并发任务。基于异质任务的时空分布条件与群体用户的时空移动行为模式，从感知质量与感知成本两个维度出发，提出基于多轮线性加权和粒子群优化的任务分配算法。相关研究成果发表于IEEETransactionsonMobileComputing[7]。

图5基于时空相关性的异构多任务分配方法

2感知数据汇聚优选

源于不同参与者的群智感知数据具有低质、冗余、碎片化等特性，对其进行高效汇聚和优选是提升数据质量的重要途径。

2.1群智感知数据跨空间增强理解

针对如何利用群智感知数据实现语义增强理解的问题，提出基于物理空间的群物交互信息增强理解视觉感知数据语义的方法，利用物理空间与信息空间在感知和收集能力方面的差异性和互补性提高信息理解能力。以城市公共信息快速传播与共享为应用背景，通过关联物理空间与信息空间进行跨空间转发，挖掘和利用多维物理空间群物交互特征对信息空间语义进行增强感知和理解。如图6所示，在信息空间利用OCR识别技术、图像特征提取方法和数理统计方法，可以获得数据和数据集的一部分特征；在物理空间根据群物交互信息，进一步提取群体、物体以及群物交互特征（包括人-感知对象-地点之间的交互信息熵、偏好等），得到人对地点和对内容的偏好以及不同感知对象、地点之间的关联，进一步结合人的社交信息，提出基于多标签分类与启发式规则融合的方法，解决视觉感知数据的语义分类与语义标注问题。相关研究成果发表于IEEETransactionsonMobileComputing[8]。

图6基于群物交互特征的信息空间语义增强感知和理解

2.2群体协作式可视事件感知

图7基于群体协作的视觉感知数据优质萃取

2.3基于时空关联的群智数据增强理解

城市空间存在大量感知数据，然而针对不同的研究问题，不同类型或属性的感知数据往往具有不同的意义和重要性。为此，研究如何利用其他类型的感知数据对指定属性信息进行估算或补偿至关重要，成为群智数据协作增强的主要研究难点。对于物理事件全方位感知而言，用户的位置信息尤为重要。然而，出于隐私保护以及其他因素，用户位置信息往往不能直接获取。

为此，提出基于用户-事件多维时空感知数据的物理位置信息预测模型，通过挖掘时空属性数据之间的关联关系，实现对缺失/稀有属性信息（地理位置）的估算和预测，实现不同类型数据的协作增强。具体地，从话题偏好、历史轨迹、社交信息三个层面对用户个体和物理事件构建特征表达模型，并通过高斯过程回归对用户到物理事件的距离进行拟合与估计，从而估算出用户的相对物理位置信息。相关成果发表于IEEETMC[10]。

3群智融合计算

在移动互联网、物联网不断发展的背景下，用户可以通过线上/线下多种方式贡献数据。群智融合计算旨在研究如何挖掘或融合群体智能（群体态度、认知偏好、行为模式、交互规律等），以实现对低质冗余、内容丰富、多维互补群体贡献数据的高效处理和语义理解。

3.1基于多模态群体数据关联的事件感知

在线社交网络中群体所贡献的数据往往能够反映感知事件的不同侧面，如何关联同一事件的多模态群体数据，实现事件演化的智能感知与脉络呈现具有现实意义。针对此，提出分层图模型融合多维关系，利用图挖掘等方法实现多模态数据的关联表达，进而生成事件演化脉络。

图9基于多模态群体数据关联的事件感知

模型如图9所示，其中多模态数据包括时间、文本、图像以及用户交互信息，文本信息用于发现线索，时间信息用于事件分割，图像及用户交互信息用于关联线索。通过跨模态语义关联，将不同模态的数据映射到同一个空间，实现对跨模态数据的关联与优选。基于来自新浪微博中关于两个社会事件(“天津爆炸”,“巴黎恐袭”)的微博数据进行实验。结果表明，所提出方法发现的线索代表性较高，生成的事件脉络可有效关联多模态数据用于刻画事件进展，并且通过关联跨模态数据能够提升所选择数据的相关性与多样性。相关研究成果发表于ACMUbiComp2017[11]。

3.2跨城市跨企业群体知识迁移与商业推荐

智慧城市背景下，随着社交媒体和位置服务的普及，城市数据日益增多，为连锁企业的选址研究提供了丰富的信息。现有工作多是在目标城市已有标签数据的情况下，进行候选地的评分预测，完成连锁企业的选址推荐。然而，当目标企业进军新城市，会遇到无标签数据的冷启动问题。针对此，提出一种基于跨城市跨企业群智知识迁移的选址推荐方法，解决连锁企业进军新城市时所面临的历史数据缺失问题。在协同过滤的基础上，引入迁移学习思想，构造包含城市内部特征语义提取、城市间知识关联和迁移评分预测的迁移模型，有效融合城市和企业两方面的知识，解决了冷启动条件下的连锁企业选址推荐问题。相关研究成果发表于国际会议ACMUbiComp2018[12]。

图10基于多维感知数据的知识迁移模型

3.4基于图神经网络的跨场景多任务群智知识迁移

图11用户-移动APP关系网络图嵌入表示与知识迁移模型

3.5基于深度-条件随机场模型的城市行为预测

城市犯罪事件的发生受到多种因素的影响，其中包含一些未知的隐含变量。传统条件随机场模型往往构建显式因素与预测目标之间的关系，无法对隐含变量进行建模。同时，城市区域之间的关系稠密，传统条件随机场在应对稠密图结构时运算复杂度较高。针对此，提出一种基于神经网络的条件随机场模型(NN-CCRF)，使用长短记忆网络(LSTM)和去噪自编码器(SDAE)分别对影响犯罪事件的时间和空间隐含变量进行建模。基于变分推断理论，将这一模型改造为可以端到端训练的深度神经网络，简化了模型的求解过程，提升了预测性能。相关工作发表在国际会议IJCAI2019[13]。

图12基于神经网络的条件随机场预测模型

4移动群智感知平台CrowdOS

为解决通过众包或群智感知等形式进行大规模数据汇集和优选的通用和个性化问题，设计并实现了开源移动群智感知系统平台CrowdOS[14]，系统架构如图13所示。系统集成了感知能力建模、复杂任务分配、多粒度隐私保护与激励机制等关键技术，解决了现有群智系统多面向特定任务设计、任务分配模式单一等问题。

图13移动群智感知系统平台CrowdOS

CrowdOS运行在原生操作系统和上层应用之间，包含了感知端和服务器端。感知端（Sensing-）的软件载体由两类设备组成，第一类是具备人机交互功能的便携式智能感知设备；第二类是部署在物理世界中的固定传感器。服务端(Server-)软件提供综合管理服务，通常部署在服务器集群，云服务器或者边缘服务器之上。Sensing-内部分为两层，底层是系统支持层，主要负责获取感知节点状态，统一封装接口以及保证网络通讯；上层是功能层，主要实现人机交互，任务确定与数据传输。Server-主要负责任务调度和分配，系统资源管理及核心机制运行等。Sensing-和Server-通过一系列通信和交互协议进行数据传输和行为控制。

CrowdOS系统自2019年9月开源上线以来已经有包括美、英、日、法、加、澳等在内的20余国家科研人员访问和一万余次下载，相关成果得到包括新华社、人民网、新浪网、凤凰网、文汇报、中国青年报等知名媒体的广泛报道，并已在城市管理、公共安全等领域开展了示范应用。

二、无线感知

结合无线感知关键科学问题，重点在感知覆盖模型、行为识别关键技术等方面开展研究工作。无线感知的基本原理是当无线信号在传播过程中遇到人体，会发生反射、折射、衍射、散射等现象，导致信号的正常传播发生变化，通过分析接收信号的变化模式，便可感知人的行为。当前，无线感知领域主要有两种研究思路，其一是基于接收信号的变化模式，通过机器学习方法训练模型，实现行为识别或分类，即基于信号模式的感知；其二是基于物理模型或原理，探索无线感知的一般机理，推导特定物理量（如位置、速度、角度等）与接收信号特征间的量化关系，进而基于物理量和信号特征识别人的行为，即基于理论模型的感知。

1.无线感知覆盖模型

当前关于无线感知机理最具代表性的研究进展是基于菲涅尔区[注1]的无线感知模型[19]。该模型由北京大学张大庆教授团队于2016年提出，揭示了无线感知场景下，当被感知对象位于不同菲涅尔区时，其反射的信号与视距路径信号叠加后，会由于两路信号的相位关系不同形成不同的叠加效果。当被感知对象位于奇数/偶数菲涅尔区边界时，叠加信号分别出现加强/减弱的效果。当被感知对象移动时，由于视距路径信号不变而反射信号的相位连续变化，接收信号的振幅会出现类似正弦波的波动，其波峰和波谷刚好对应着奇数和偶数菲涅尔区边界。

菲涅尔区模型不仅揭示了感知目标微小移动与信号波动模式间的量化关系，也揭示了目标在不同位置和朝向活动时信号变化的差异。然而，对不同粒度的行为而言，同一系统具有不同的感知能力，例如覆盖范围的差异。换言之，由于无线信号存在衰减问题，无线感知系统具有有限的感知范围，当目标超出一定范围后，则无法有效感知。针对此，构建基于目标反射面积和相对距离的无线感知覆盖模型（如图14所示），评估系统的感知范围和感知粒度，提出感知范围量化估计方法，可指导无线感知设备的部署[18,20]。

具体而言，由于传播路径越长，反射路径信号到达接收端时强度越弱，具有相同反射传播距离的反射点会形成一个椭球。因此，结合菲涅尔区模型，将感知范围边界建模为一个椭球。同时，目标反射面积越大，产生的回波信号越强，使得总信号中的动态成分更多，相应的感知范围增大。基于此，将人体活动按照反射面的大小划分为三种粒度：细粒度、中粒度、粗粒度。系统对于细粒度动作的感知范围较小，目标只有在距离设备比较近的位置才能被检测到。特别地，这种情况下，目标距离设备（发射器与接收器）越近，其可能从发射端反射越多的信号至接收端。因此，细粒度动作的可感知范围具有一个出现在收发设备中间位置处的内凹。

图14无线感知覆盖模型

另一方面，在空旷处全部接收信号的静态成分主要是由经视距路径传播的信号以及经地面反射的信号组成。此时，静态路径信号的强度主要由发射器和接收器之间的距离决定，即当设备间的距离越大，静态路径信号的强度就越弱。由于静态信号变弱会提升系统对动态信号变化的捕捉能力，因此系统的感知范围会随之增大。综上，在空旷环境中，Wi-Fi无线感知系统的覆盖范围可被建模为一系列的椭球，其中细粒度动作的感知范围会在设备中间位置出现一个内凹。椭球的大小会随着动作发射面的增大而增大，同时也会随着发射器和接收器之间距离的增大而增大。

2.基于无线信号的行为识别

在研究无线感知理论模型的基础上，结合应用需求，进一步研究动静检测、身份识别、呼吸检测等关键技术。

2.1基于无线感知的动静检测

图15基于Wi-Fi信号的动静检测

2.2基于无线感知的身份识别

图16基于超声波身份识别的方法框架

2.2基于无线感知的呼吸检测

利用人体呼吸会引发胸脯起伏这一事实，提出了一种基于普通音频设备的高精度声波测距方法C-FMCW，利用发送波形与回收波形的互相关性实现信号飞行时间的精确估算，利用扬声器和麦克风之间的“自干扰”现象消除因采样率不一致和开机时间不一致引入的测距误差，利用呼吸所引发胸脯起伏的周期性排除胸腹以外的反射源，有效克服了现有方法测距精度受限于扫频带宽（分辨率不足）以及真实环境中存在干扰反射等问题，实现了微小胸脯起伏的精准测量，当设备距离被测者1米之内时。相关成果发表于国际学术会议UbiComp2018[22]。

图17基于精准测距的呼吸检测

进一步地，鉴于基于胸脯起伏感知而实现的呼吸检测方法存在一个共性假设，即胸脯起伏是呼吸的可靠表征。然而，当发生类似阻塞性睡眠呼吸暂停等呼吸事件时，胸脯起伏仍然存在甚至可能更加明显，但是呼吸已经停止（气流消失）；当身体覆盖物交厚实胸脯起伏被完全遮挡。上述两种情况下，直接测量胸脯起伏的呼吸检测方法失效。针对此，提出了一种高灵敏度呼吸气流感知方法，通过建立呼吸气流散射声波信号所产生多普勒效应的理论模型，准确刻画呼吸气流大小及方向变化与所观测到多普勒效应之间的对应关系，提出了鲁棒可靠的实时多普勒效应提取方法，实现了呼吸气流的有效检测。相关成果发表于国际期刊IEEEInternetofThings[23]。

图18基于高灵敏度气流感知的呼吸检测

三、未来发展趋势

智能物联网AIoT智能物联网通过各种传感器联网实时采集各类数据，进而在终端、边缘或云端通过机器学习和数据挖掘方法进行智能化处理和理解；强调云边端协同感知（边缘智能）与分布式认知计算等能力；目前已逐步融入国家重大需求和民生的各个领域，例如智慧城市、智能制造、无人驾驶、军事国防、智能家居等。

人工智能2.0-群体智能群体智能是《新一代人工智能发展规划》的六个重点发展方向之一，是一种通过聚集群体的智慧解决问题的新模式。群体智能源于生物学和生态学等领域，其基本思想是：一群相同的自然生物或人造生物，如蚂蚁、蜜蜂、白蚁、鱼和鸟等，每一个体拥有的智慧有限，但通过群体合作能够实现超越个体行为的集体智慧。

人-机-物异构群智融合计算上述技术发展趋势背景下，计算系统正从信息空间拓展到包含人类社会、信息空间和物理世界的三元世界，人机物三元融合计算成为重要形态。有效协同与融合人机物异质要素，进而构建新型智能感知与计算系统，是解决智能制造、智慧城市、社会治理等国家重大需求的有力支撑。相对于已开展研究，从单纯“以人为中心”的群智感知拓展深化为“人-机-物异构群智融合计算”，构建具有自组织、分布式学习等能力的智能感知计算空间，实现智能体个体技能和群体认知能力的提升，将成为未来的研究热点。

注1：菲涅尔区模型源于光的干涉和衍射研究，揭示了光从光源到观察点传播的物理规律，其中菲涅尔区是指以收发设备两点为焦点的一系列同心椭圆。由于光的传播通路长度不同，传播到第一菲涅尔区的光波与视距路径（Line-of-Sight,LoS）具有相同相位，导致在观察点得到叠加增强的信号；传播到第二菲涅尔区的光波因与LoS相位相反，导致观察点得到叠加减弱的信号。随着菲涅尔区的奇偶交替，导致在观察点得到增强和减弱的干涉叠加结果。