3.3-用户分群分析
| 导语在产品的增长分析当中，想关注符合某些条件的一部分用户，不仅想知道这些人的整体行为（访问次数，访问时长等），还希望知道其中差异较大的细分群体。 用户分群方法，能帮助我们对差异较大的群体分别进行深入分析，从而探究指标数字背后的原因，探索实现用户增长的途径。 一、用户分群的应用场景 在日常的数据工作中，我们经常接到这样的需求：想关注符合某些条件的一部分用户，不仅想知道这些人的整体行为（访问次数，访问时长等），还希望知道具体是哪些人符合这些条件。 后查看这些人的数据导出用户名单，针对性的发送tips消息。 有时还想进一步查看某些人在使用某功能上的具体操作行为。 用户分群，就是用来满足这类需求的工具方法，它能帮助我们对差异较大的群体分别进行深入分析，从而探究指标数字背后的原因，探索实现用户增长的途径。 如用户画像分群，核心价值在于精细化的定位人群特征，挖掘潜在的用户群体。 使网站、广告主、企业及广告公司充分认知群体用户的差异化特征，根据群体的差异化特征，帮助客户找到营销机会、运营方向，全面提高客户的核心影响力。 二、用户分群 类型 一 ：不分群 ，如全量活跃用户投放，群发短信等，缺点是没有针对性，容易引起用户反感。 类型 二 ：用户基本信息分群 ，如根据用户注册的信息分群。 相比不分群，这种方法已具备一定的针对性， 但是由于对用户不是真正了解，产生不了很好的结果预期。 类型三：用户画像分群 ，如年龄、性别、地域、用户偏好等，画像建设的焦点是为用户群打“标签”，一个标签通常是人为规定的高度精炼的特征标识，最后将用户分群的标签综合，即可勾勒出该用户群的立体“画像”。 画像分群让我们真正了解了用户的某些特征，对业务推广帮助很大。 类型四：根据用户行为进行分群 ，此阶段会在画像分群的基础上关注用户的行为特征,如根据用户的注册渠道和活跃习惯，制定不同的营销推广策略。 类型五：聚类和预测建模分群 ，聚类建模可以根据用户的综合特征指标，将用户分为不同的群体，如将用户划分为娱乐型、挂机型、社交型、办公型等；预测建模即尝试去猜测用户下一步的态度与行为（例如想知道什么，想做什么）。 正因如此，它对将复杂的行为过程变为营销自动化，是十分有帮助的。 三、常见的用户分群维度 1. 统计指标：年龄，性别，地域 2.付费状态：免费，试用，付费用户 3.购买历史：未付费用户，一次付费用户，多次付费用户 4.访问位置：用户使用产品的区域位置 5.使用频率：用户使用产品的频率 6.使用深度：轻度，中度，重度用户 7.广告点击：用户点击了广告 vs 未点击广告四、常用的聚类分群方法介绍 上面介绍了一些关于分群的方法和思路， 接下来重点讲解一下用户聚类分群，聚类分群可分为层次聚类（合并法，分解法，树状图）和非层次聚类（划分聚类，谱聚类等），而较常用的互联网用户聚类方法为K-means聚类方法和两步聚类法（均为划分聚类） 。 聚类分析的特征 ：简单、直观； 主要应用于探索性的研究，其分析的结果可以提供多个可能的解，选择最终的解需要研究者 的主观判断和后续的分析； 不管实际数据中是否真正存在不同的类别，利用聚类分析都能得到若干类别的解； 聚类分析的解依赖于研究者所选择的聚类变量，增加或删除一些变量对最终的解都可能产生实质性的影响。 研究者在使用聚类分析时应特别注意可能影响结果的各个因素。 异常值和特殊的变量对聚类有较大影响 当分类变量的测量尺度不一致时，需要事先做标准化处理。 聚类分析的弱点： 聚类是一种无监督类分析方法，无法自动发现应该分成多少个类； 期望能很清楚的找到大致相等的类或细分市场是不现实的； 样本聚类，变量之间的关系需要研究者决定； 不会自动给出一个最佳聚类结果。 聚类分析的应用过程： （1）选择聚类变量 在选取特征的时候，我们会根据一定的假设，尽可能选取对产品使用行为有影响的变量，这些变量一般包含与产品密切相关的用户态度、观点、行为。 但是，聚类分析过程对用于聚类的变量还有一定的要求：1.这些变量在不同研究对象上的值具有明显差异；2.这些变量之间不能存在高度相关。 首先，用于聚类的变量数目不是越多越好，没有明显差异的变量对聚类没有起到实质意义，而且可能使结果产生偏差；其次，高度相关的变量相当于给这些变量进行了加权，等于放大了某方面因素对用户分类的作用。 识别合适的聚类变量的方法：1.对变量做聚类分析，从聚得的各类中挑选出一个有代表性的变量；2.做主成份分析或因子分析，产生新的变量作为聚类变量。 （2）聚类分析 相对于聚类前的准备工作，真正的执行过程显得异常简单。 数据准备好后，导入到统计工具中跑一下，结果就出来了。 这里面遇到的一个问题是，把用户分成多少类合适？通常，可以结合几个标准综合判断：1.看拐点（层次聚类会出来聚合系数图，一般选择拐点附近的几个类别）；2.凭经验或产品特性判断（不同产品的用户差异性也不同）；3.在逻辑上能够清楚地解释。 （3）找出各类用户的重要特征 确定一种分类方案之后，接下来，我们需要返回观察各类别用户在各个变量上的表现。 根据差异检验的结果，我们以颜色区分出不同类用户在这项指标上的水平高低。 如下图，红色代表“远远高于平均水平”，黄色代表“平均水平”，蓝色代表“远远低于平均水平”。 其他变量以此类推。 最后，我们会发现不同类别用户有别于其他类别用户的重要特征。 五、K-means聚类在QQ用户分群中的应用案例 在本案例中，我们首先来看最常用的K-Means聚类法（也叫快速聚类法），这是非层次聚类法当中最常用的一种。 因其简单直观的计算方法和比较快的速度（相对层次聚类法而言），进行探索性分析时，K-Means往往是第一个采用的算法。 并且，由于其广泛被采用，在协作沟通时也节省了不少用于解释的时间成本。 1. K-means的算法原理： 1. 随机取k个元素，作为k个簇各自的中心。 2. 计算剩下的元素到k个簇中心的相似度，将这些元素分别划归到相似度最高的簇。 3. 根据聚类结果，重新计算k个簇各自的中心，计算方法是取簇中所有元素各自维度的算术平均数。 4. 将全部元素按照新的中心重新聚类。 5. 重复第4步，直到聚类结果不再变化，然后结果输出。 假设我们提取到原始数据的集合为(X1, X2, …, Xn)，并且每个Xi为d维的向量， K-means聚类的目的就是，在给定分类组数k（k ≤ n）值的条件下，将原始数据分成k类，S = {S1, S2, …, Sk}，在数值模型上，即对以下表达式求最小值（μi表示分类Si的平均值）用户分群背景和目标: QQ日登录用户超过5亿，覆盖社会各种群体（不同年龄、不同行业、不同兴趣等），需要将大盘用户进行一定细分，然后针对性的开展运营活动。 3.聚类变量选取: 用户画像特征、用户状态特征、用户活跃特征4.聚类分析和结果： 通过 相关性分析和变量重要性分析 ，剔除部分效果差的变量，然后对剩余11个变量进行多次训练（目标聚类个数，参与的变量，组内个体差异容忍度），最终得出聚类结果5.结果解读和命名 聚类1特征：年龄未知或低龄，好友少，活跃度和使用粘性都极低 【低端低龄群体】 聚类2特征：年龄偏小，前台在线和消息活跃均比较高 【学生活跃群体】 聚类3特征：平均27岁左右，PC端和手机端活跃度均非常高 【职场高粘性群体】 聚类4特征：平均28岁左右，前台在线和消息活跃都极低 【职场低粘性群体】 聚类5特征：年龄较高，手机在线时长高，但消息沟通极少 【高龄低活跃群体】六、两步聚类和k-means聚类的效果对比 前面谈到的K-Means聚类法有简单、直观和快速的优点。 但是其缺点是只能采用数值型变量，不能包含类别变量，并且对 异常值非常敏感，离群值很容易严重影响聚类结果 。 并且，当数据集比较大（在腾讯，这种情况很常见），不能把所有数据点都装进内存的时候，K-Means就无法在单机上运行。 而两步聚类法则克服了以上缺点，可以包含类别变量和数值型变量，并且当硬件条件不足或数据集非常大时，都能顺利运行。 这种两步聚类法可以看成是改进版BIRCH聚类算法和层次聚类法的结合，先用BIRCH算法中的“聚类特征树”做预聚类，形成子类，然后把子类作为输入，做层次聚类。 1.两步聚类的原理： 第一步：预聚类过程： 构建聚类特征树（CFT），分成很多子类。 开始时，把某个观测量放在树的根节点处，它记录有该观测量的变量信息，然后根据指定的距离测度作为相似性依据，使每个后续观测量根据它与已有节点的相似性，放到最相似的节点中，如果没有找到某个相似性的节点，就为它形成一个新的节点。 在这一步当中，离群点将会被识别并剔除，不会像在K-Means当中那么容易地影响结果。 第二步：正式聚类： 将第一步完成的预聚类作为输入，对之使用分层聚类的方法进行再聚类（以对数似然函数作为距离的度量）。 每一个阶段，利用施瓦兹贝叶斯信息准则（BIC）评价现有分类是否适合现有数据， 并在最后给出符合准则的分类方案。 可自动确定或者根据业务需要人工指定分类数目；3.两步聚类的效果对比： 对第六点同样的数据进行两步聚类，得到模型最优结果如下6. 两步聚类结果解读 聚类1特征：年龄未知或低龄，好友少，活跃度和使用粘性都极低 【低端低龄群体】 聚类2特征：年龄偏小，前台在线和消息活跃均比较高【学生或新入职场高活跃群体】 聚类3特征：平均24岁左右，在线和消息活跃均较低 【青年低活跃群体】 聚类4特征：平均25岁左右，在线超高但活跃很低 【青年挂机群体】 聚类5特征：平均28岁左右，手机使用较少但PC活跃很高 【职场办公群体】 聚类6特征：年龄较高，手机在线时长高，但消息沟通极少 【高龄低活跃群体】七、业务案例–通过K-Means聚类，挖掘特殊行为模式的手机QQ客户群 1.业务需求 在本案中，产品经理希望了解登录不活跃手机QQ用户的行为模式，并且能针对不同的行为组合，对庞大的用户群体进行细分，从而关注不同群体的不同需求，甚至挖掘垂直领域需求，从而在产品或运营侧采取措施，拉活沉默用户，提高DAU。 2.分析目标 1. 发现手Q使用行为模式异于大盘典型用户的细分群体 2. 粗估每个细分群体的用户数量 3. 了解每个细分群体的行为特征和用户画像 4. 基于上述结果，在拉活方面，提出产品或运营建议或明确进一步探索的方向3.分析过程 a)特征提取 分析聚焦于用户在手机QQ的点击行为，例如删除消息，查看好友资料页面，点击好友动态按钮等，于是我们从用户的点击上报信息着手，对每个用户的点击次数进行加总。 在本例中，考虑到用户行为的典型性，选取了4个完整的周，共28天的数据，并且时间窗当中无任何节日。 另外，考虑到计算性能和探索性分析需要反复迭代的场景，只从QQ大盘当中随机抽取千份之一的用户作为代表。 b)特征筛选 在特征提取阶段一共提取了接近200个 功能点的点击数据 。 但是这些特征当中，有些覆盖面非常低，只有百份之一的用户在28天当中曾经使用，这些低覆盖的特征会首先被去除。 另外，前面谈到高度相关的变量也会干扰聚类过程，这里对所有特征对两两进行计算 皮尔逊相关系数 ，对高相关特征（相关系数大于0.5）则只保留其中保留覆盖面最广的特征，以便最大限度地体现用户差异。 c)特征改造-探索 经过上面两步后，笔者曾进行过多次聚类探索，但无一例外，聚类结果都呈现出一个超级大类搭配数十个非常小的小类（几个或十几个用户）。 这样的结果，显然与我们的分析目标是想违背的。 其一，这里挖掘出的小群体体积太小，从业务角度来说没有价值；其二，超级大类基本等同与大盘用户，没有能找出其中的用户差异。 为什么会有这样的结果呢，主要是因为点击行为基本上遵循的是 幂分布 ，大量用户集中在低频次区间，而极少量用户却会有极高的频次，这样在典型的聚类算法中，高频次用户都会被聚集成人数极少的小类，而大量的低频词用户就会被聚集成一个超级大类。 对于这种情况，典型的解决方法是 对频次取对数 ， 使幂分布转化为近似的正态分布再进行聚类 ，在本次研究中，取自然对数后，聚类效果仅有少量改善，但仍然停留在一个超级大类加上若干人数极少的小类的情况。 背后原因，是点击行为数据的特点之一：核心功能和热门项目，例如聊天框、好友动态按钮等点击人数极多，而 相对冷门的功能则有大量的0值 。 这样的情况下，取对数是没有改善的。 回到本次分析的目标当中，我们需要“发现手Q使用行为模式异于大盘典型用户的细分群体”，如果丢弃这些冷门功能只看热门选项，则无法找出一些相对小众的行为模式达成分析目标。 而这种数值稀疏的情况则让笔者想起了文本分类。 在文本分类的词袋模型当中，每个“文档“的词向量同样存在大量的0值，词袋模型的解决方法是对词向量用TF-IDF方法进行加权。 下面简单介绍这种方法d)特征改造-TF-IDF 在文本分类的词袋模型当中，需要将一篇篇“文档”（Document）（例如一篇新闻，一条微博，一条说说）按照其讨论的主题聚合在一起，而一篇文档里面有很多词（Term）。 TF（Term-Frequency词频率）就是指一个词在一篇文档里的出现次数在整篇文档总词数当中的占比，这样简单的计算就知道一篇文档中什么词更多，而不会受到文档本身长度的影响。 另一方面，有些词是是什么文章都会用的“大众”词，这些词对于文章主题的分辨是没什么帮助的（例如新闻当中的“报道”“记者”等等）。 对于这样的“大众”词，就要降低他的权重，所以可以通过（文档总数/含有某个词的文档数）这样的计算达到目的，每篇文章都有的词权重会取0，包含的文档数越少，数值越大。 这计算就是IDF（Inverse Document Frequency逆文档频率）。 按照上面的讨论，读者可能已经想到了，如果把“文档”的概念变为“用户”，把“词的出现次数”替换为“功能的点击次数“，就正好可以用来把用户行为的类型进行分类。 首先是低频率用户的功能偏好会通过TF的计算得到反映，不会因为总体上用得少在与高频用户的对比当中被笼统归为一个低频用户的类。 同时IDF也让一些小众功能有更大的权重，更容易在聚类中突出小众偏好。 e)聚类结果 通过这样的特征改造，再用K-Means算法进行聚类，得出的结果就比较符合分析目标了，从大盘数据中，我们找到了在QQ上经常删除消息的中学生，狂刷附近的人而又很少聊天的寂寞男，把QQ当成新闻客户端的大城市青年，很少聊天却常常访问好友页面的默默关注者，并且初略估计出了各个群体的大小，行为特征和背景特征。 并在此基础上结合用户研究数据去探索产品改进的建议。 总结 用户分群对于用户数据研究领域最大的改变，在于打破数据孤岛并真实了解用户。 分析某个指标数字背后的用户具备哪些特征（他们的人群属性、行为特点等），进而发现产品问题背后的原因，并从中发现产品有效改进提升的机会或方向。 在进行聚类分析时，特征的选择和准备非常重要： 1.合适的变量在各个样本之类需要有明显差异；2.变量之间不能有强相关关系，否则需要用PCA等方法先进行降维；3.需要根据数据本身的特点和业务特性对数据进行变换（如标准化，取对数等） 而聚类算法的选择则需要结合数据特点（是否有变量，离群值，数据量，是否成簇状），以及计算速度（探索性分析往往需要较快的计算速度），精确度（能否精确识别出群落）等方面去选择合适的算法。 对算法中的参数，例如K-Means当中的类别数K，则需要结合技术指标和业务背景，选取逻辑上说得通的分类方案。
年龄属于静态还是动态标签
静态标签。 静态标签，比如注册账号后的年龄，性别，地域等，描述一个人基本的特征。 静态的标签通常不会变，动态的标签会随着时间改变。 动态标签，他近期的收藏，加购，买过的东西，浏览的商品类别，浏览不同商品的时间长短，这些行为特征背后都蕴藏了客户的购物意向。
关于现代汉语的一些问题~语文考试的题目~大家帮下忙~~
1.答：英语句子按其结构可分为简单句、并列句和复合句。 只存在一个主谓关系的句子叫简单句，即一个主语部分和一个谓语部分组成。 当我们需要把几个意思连在一起时，可用标点符号或等立连词或连接副词把几个简单句连接成一个并列句。 它们之间的关系是同等的。 当一个句子由一个逐句和一个或从句构成时，这就是复合句。 复合句的主语往往可以独立存在，从句则只作一个句子成分。 本单元重点掌握疑问句，弄清楚各种疑问句的结构及用法，能正确完成附加疑问句部分，能回答各种疑问句。 掌握简单句、并列句及复合句的句型结构；学会简单句与并列句、简单句与复合句、并列句与复合句的转换；学会将直接引语变为间接引语；掌握名词从句的用法。 汉语语法特点： 1.名词的小称:普通话名词用附加成分儿表小称,方言用其他手段,如重叠,音变. 2.人称代词的数:复数,大多数用附加法,如加们,有些方言用音变方式. 3.形容词的形容程度:普通话和多数方言用重叠方式改变形容词的形容程度.有些方言则有变调,附加成分,三叠,衬字,复合的后附成分等. 4动词的动态和动量:普通话和多数方言用助词,有些方言用变调,重叠,动词前缀等 5.指示代词:普通话和多数方言分近指和远指,有些方言则有三个基本语素. 6.双宾语的次序:普通话和多数方言先是指人宾语,后是指物宾语.有的方言则相反. 7.比较句的句型:闽粤方言的差比式句型与古汉语相似. 8.疑问句:反复问句普通话是VP不VP,有些方言用另一种副VP式. 2、答：词义反映现实，不是像我们照镜子那样直接反映客观事物，而是经过对同类事物的特征的分析、综合、归纳把形形色色的客观事物的本质特点和事物与事物之间的区别特征抽象概括出来，进行归类，形成概念，再结合一定的语音形式反映出来，形成词义。 词义是对客观现实现象的概括反映，它不是反映个别的具体的事物的特征，而是反映同一类事物现象的共同特征。 概括性是词义的一个十分突出的特点，也可以说是词义最重要的特点。 每个词，无论它所指称的范围有多大，它都是具有概括性的，“任何词都已经是在概括”，都反映的是客观现实的共同特征而舍弃了个别特征。 词义的概括性具体表现为一般性、模糊性、全民性。 词义的一般性就是指词义是从特殊的具体的对象事物中抽象出来的，舍弃了个别的具体事物的特点，反映的是同类事物的共同特征，一般性的特点。 比如我们说“灯”，它指的是照明用具，没有具体指明什么灯，这里反映的是就是事物的共性。 词义的模糊性指人们认识中产生的关于客观事物的边界、状态的不确定性。 词义的模糊性特征尤其突出地反映在形容词和副词上，很多词，我们可以描述它的词义，可是我们无法给它和另外一个相对立的词划定一个分明的界限，例如“大－小、高－低、多－少、轻－重、咸－淡、好－坏、早－晚、快－慢、冷－温－热、老－中－青”等词的意义，它们的义界是模糊的，不清晰的，没有一个可以遵循的客观标准，这些词的外延是不确定的，因而反映这些概念的词也就具有了模糊性。 词义的全民性指词义反映的现实现象是一个社会集团的全体成员共同认知的，没有阶级、阶层之分，没有阶级性，全民共同理解，都可以使用来表达思想。 词义具有全民性特点，这是由语言作为人类最重要的交际工具这一社会职能本身决定的。 3、答：2.图表标示法，又叫“图解法”或者“层次分析法”。 要点有二：（1）用数字标出各可以成为小句的单位的顺序。 （2）用层次切分的方法逐层加以图解，并标明每一个层次上的语义关系。 划分结构层次 分句间关系确定后，结构层次也就基本清楚了。 具体步骤可以先定第一层次，然后逐层确定，也可以先从最低层次组合开始，最后确定最高层次。 如： [因为]青年时代，是人们精力充沛、才华焕发的时代，|所以对每一个有志气的青年来说，因果 只要他方向对头，|||只要他肯钻肯干，||是可以干出惊天动地的事情来的。 并列条件 〔因为〕革命精神是非常宝贵的，||[所以][如果〕没有革命精神，|[那么]就没有革命因果 条件行动，|但是[因为]革命又是在物质利益的基础上产生的，||[所以]如果只讲革命精神，|||[如转折因果 并列果]不讲物质利益，|||那就是唯心论。 条件4．确定层次的辅助方法分析多重复句的难点在于确定分句之间的层次，确定层次的重点又是在第一层次。 如果第一层次错了，势必影响下面各层次的划定。 为了保证层次切分准确无误，可以利用两种帮助鉴定层次划分对错的辅助方法：（1）语义上相对完整 因为我们是为人民服务的，所以我们有缺点，就不怕别人批评指出。 上例可以有两种划分法：（1）a，||b，|c。 （2）a，|b，||C。 按（l）划分，a与b先结合成一个语言单位，因而ab的语义理应相对完整，因为我们是为人民服务的，所以我们有缺点显然不符原意。 按（2）划分，b与C先结合成一个语言单位，因而bC的语义理应相对完整，所以我们有缺点，就不怕别人批评指出显然符合原意。 通过比较，可见（2）种划分是正确的。 （2）形式上可以换位 封锁虽严，冒险偷渡者依然不绝，而且十之八九是偷渡成功的。 上例也可以有两种划分法：（l）a，||b，|c。 （2）a，|b，||C。 用第（1）种方法检验，发现ab的语义与bc的语义都相对完整，这时就必须采用第（2）种换位法了，即先按第（1）种划分法，换位成为c,| a，||b。 ，再按第（2）种划分法，换位成为b，||c，|a。 两两比较，马上可以发现第（2）种换位后句子仍然成立，而第（1）种换位后句子很难成立，可见，第（2）种划分是正确的。 有的多重复句，这样划分正确，那样划分也正确，叫多切分结构。 比较特殊。 如：倘是咬人的狗，我觉得都在可打之列，无论它在岸上或在水中。 上例可以有两种划分法：（l）a，||b，|c。 （2）a，|b，||C。 基本词汇具有三个特点：第一，全民常用，所谓全民常用，就是指基本词汇在使用上具有普遍性，这种普遍性体现在不分阶级、阶层、行业、地域、年龄、性别，各行各业的人都懂得其含义，都要使用，而且经常使用。 第二，稳固性。 所谓稳固就是指基本词汇很少发生变化，长期地为使用这种语言的民族。 一方面，词汇系统中的基本词汇只有保持相对稳定性，才能便于人们学习和使用，不至于影响交际，如果基本词汇时时刻刻处于变化之中，人们时时要学习新的词语，那么这种交际工具使用起来就不方便了，所以可以说稳固性是语言作为交际工具对词汇提出的基本要求；另一方面，基本词汇所记录的客观对象或观念，本身就是比较稳固，很少变化的。 当然，基本词汇的稳固性是相对而言的，其实仍然有变化，有新旧词语的替换，只是这种变化很小。 第三，有构词能力，所谓有构词能力，就是指基本词汇是构成新词的基础，由于基本词汇具有使用上的普遍性，加之使用时间又很长，非常稳固，影响很大，所以人们在创造新词语时，往往使用基本词汇作为构词要素。 基本词汇的三个特点是互相联系、互相影响、互为因果的。 由于基本词汇具有全民常用性特点，在使用上涉及到方方面面，涉及到不同阶层、不同的地域的人们运用语言，牵一发而动全身，所以客观上就要求基本词汇保持相对稳定性，不能经常变动，以利于运用；当新的事物现象出现，需要新词记录时，人们又首选现成的基本词汇作为构词材料，使得基本词汇又具有了很强的构词能力，这又反过来强化了基本词汇的全民常用性特点和稳固性特点。
