From： arxiv；编译：T．R
三维形状的结构分析一直是计算机图像学和几何处理中的基础性关键问题，人们在形状分割、形状抽象和关键点提取和检测等方面进行了大量的研究。这些形状分析任务需要有效学习不同形状间的语义一致性特征或和一致性的结构表示，从而提升几何与形状分析任务的性能。
为了有效表示点云的结构信息，保证结构间逐点的语义对应关系，得到有效的形状结构表达，来自香港大学、马普研究所、Adobe和山东大学的研究人员们提出了一种以3D结构点形式来表示形状结构的新方法。这种无监督的学习方法不仅简单还具有可解释性，对于多种点云采样和真实扫描数据都十分鲁棒，在点云语义形状对应和语义分割标签迁移任务上都取得了优异的结果。此外在一致性结构点上基于PCA构建的形状嵌入对于形状重建和补全等三维任务都具有广泛的潜在应用。
三维形状结构分析
三维结构分析指三维形状理解的关键所在，近年来研究人员针对三维形状提出了中轴、曲率骨架和关键点等一系列结构表示方法，但先前基于手工特征的工作只能针对特定任务进行参数调优，缺乏泛化性和适应性。而近年来深度学习的出现为三维形状表示学习提供了新的思路和有力手段，这篇文章将基于深度学习构建一种新的结构表示学习方法，用于建立三维点云间的语义对应关系。
在PointNet之后，三维点云领域涌现出了一系列开创性的工作，但绝大多数工作集中于点云的分类、分割和三维形状的重建。重建的点云往往缺乏结构性的信息，虽然有工作提出了生成结构性点云的方法，但却没有保证逐点的对应关系。
为了研究这些问题，研究人员提出新型的无监督方法来学习同一类三维形状中语义一致性的结构点，在给定点云的情况下本文的方法能够生成具有形状代表性的、很好地抽象和近似输入点云的结构点序列。虽然这种方法结构简单但是具有很强的可解释性，针对不同的点云采样和真实的点云都具有很强的鲁棒性。
实验表明，这种方法在语义形状对应和分割标签迁移任务上都具有良好的表现，利用高度一致性的结构点与PCA方法结合还构建起了可以较完整地保存形状结构信息的嵌入空间，将为形状重建等三维任务提供强有力的支撑。
结构点生成新方法
本文所聚焦的问题是从点云中学习出内蕴的结构点表示。下图显示了模型的主要结构，其输入为目标的点云集合、输出为一系列抽取出的可以表示点云输入的结构点。网络通过非监督的方法来对同一类的目标进行形状分析学习，它建立在PointNet＋＋基础上，添加了点云整合模块，针对每一类形状得到的结构点具有非常好的语义连续性。
图中显示了模型的处理流程，在给定点云的情况下PointNet＋＋首先用于抽取局域的上下文特征F，随后与抽取的采样点一起送入到共享的多层感知机中，得到针对l个点的m幅结构点概率图，最终模型将输入可以有效表示点云形状的m个结构点。
在抽取局域点和特征的过程中使用的PointNet＋＋编码器，利用多层次的抽取层在多尺度上自适应地融合特征。每一个级别由三个关键的层构成，包括了采样层、多尺度聚类层和PointNet层，它们通过层级的方式对输入点云进行抽象和处理。
随后l个采样点Q和对应的局域特征F被组合送入到点集成模块中。在给定特征和对应点输入后，利用共享的多层感知机模块获取每个点是第m个结构点的概率图，最终m个结构点可以由每个采样点与其对应mi结构点的概率加权而成：
下图显示了对应不同结构点学习到概率图，第一列的灰色表示输入点云，及其十六个彩色表示的结构点；第二和第三列则表示了框中的结构点对应的概率图（颜色越深的概率越大）。值得注意的是，学习到的概率图在没有显式的约束下能具有显著的聚集效应。
两个结构点对应的概率图（第一列方框内），颜色越深概率越大（二三列）
在此基础上，研究人员利用了生成的结构点集与输入点云间的Chamfer距离作为模型的重建约束，使得生成的结构点在空间上尽可能地靠近输入点云结构：
值得注意的是，在模型的训练过程中并没有显式地对结构点的语义连续性进行约束，但模型却依然能够针对每一类形状生成具有语义连续性的概率图，得到了具有语义连续性的结构点，下图显示了这种针对同一类形状所具备的语义连续性：
不同目标形状间的语义连续性。同一类别的不同点云形状得到了语义一致的结构点，其中一三行是16个结构点，二四行是1024个结构点，所表达的结构都具有表示颜色较为一致的语义特征，图中也显示了模型可以连续生成稀疏或稠密结构点的能力。
实验结果
为了验证模型的有效性，研究人员在ShapeNet和BHCP数据集上进行了训练和验证，并采用了最远点采样的方法从三维形状中进行点云采样。研究人员使用PointNet＋＋从两个不同层次抽取了512和128个聚类中心，并最终得到128个采样点、每个点包含640维的局域上下文特征。在点云集成模块中，多层感知机层次的数量由输出的结构点数量决定。例如一个生成512个结构点的3层多层感知机包含了（640，512，512）神经元，针对每个类别在单个1080TiGPU上训练需要耗时一小时左右。
为了测评结构点在不同目标间的连续性，研究人员在BHCP数据集上测试了三维形状语义对应任务，并与其他方法进行了比较。下图显示了本方法与其他方法在语义对应任务上针对不同类别的精度，其中红色线代表了本文提出的方法显著超过了先前方法的精度：
此外研究人员还在语义标签迁移任务上对模型产生结构点的质量进行测评，值得注意的是本文的方法在训练时没有采用任何标注。在使用时，利用与测试点最近的结构点序列来进行语义标注迁移，下图显示了模型在三个样本上进行迁移的结果，其中绿色代表了八个随机样本的平均IOU，均值和中值用红色和蓝色显示。
下图还显示了语义标签迁移任务的结果，其中蓝色框中是样本形状，其他则表示迁移的结果：
此外研究人员还利用PCA的方法结合结构点构建了嵌入空间，下图显示了形状随两个主成分变化3σ的情况，右侧显示了仅仅由50个主成分构建的结果，很好地还原了点云所代表的形状：
下图还显示了抽取的特征与概率图的加权结果，下图显示了二维情况下的t－SNE结果，可以看到四类不同目标点云的嵌入空间在16个结构点下对应的语义分类结果，学习到的特征具有显著的聚类特性，同时还具有对成分布的特征，这主要是由于PointNet＋＋不具有对称不变性，添加对成不变性损失也是未来改进的方向之一：
为了验证模型对于不同密度输入点云的鲁棒性，研究人员分别输入了256，1024，2048，4096数量的点云，下图中第一行的彩色点表示了16个结构点，第二行是1024个稠密结构点，显示了模型对于不同输入密度的鲁棒性：
此外对于非均匀分布的点云（上）和真实情况下包含很多噪声的扫描点（下）都具有良好的性能：
