数据使用:超越 Excel:为什么应该将软件开发工具和原则集成到研究中
位好友曾分享过他对电子表格的看法:Excel 是任何工具中第二好的工具。“最好的工具”取决于您要实现的具体目标。在很久以前,我们在日常市场研究活动中广泛使用 Excel(和 SPSS),Excel 是个很棒的工具的说法似乎是合理的。我不再同意这种说法。比喻是,我们当时使用基本的分析工具,感觉很棒,却不知道我们是在搬起石头砸自己的脚。这些基本工具存在重大缺陷,本文将介绍我们现在如何通过将软件开发工具和原则集成到我们的日常市场研究工作中来避免这些缺陷。
以下并非完整列表,但包含些强大的概念和工具,它们可以指导我们,如果使用得当,可以彻底改变任何市场研究业务。有些易于实施,有些则很高级,但即使实施小部分也可以产生很大的不同。另外,请注意,本文的观点高度偏向定量研究,这是我主要参与和活跃的领域。我的些原则可能也适用于定性研究,但这不是本文的重点。
在市场研究中建立可重复性
我是名数据科学家,我的大多数团队成员也是。我们的分析主要使用 R(和些 Python)通过编码进行。R 是种面向统计的编程语言,而 Python 是种通用编程语言(具有数据科学扩展)。在我们收集或接收数据(例如,从测量工具或其他来源)后,我们会编写个管道,将数据加载到 R 中,并在 R 中进行所有分析。 以这种方式编码通常称为“编写脚本”。它创建了个简单的配方,其中包括生成结果的步骤。与软件运行其代码时的工作方式类似,我们正在构建运行统计分析的软件。
这种方法的显著优势是可重复性。任何获得访问权限的人都可以运行相同的脚本并获得相同的结果。测试更容易;可以查看代码和结果并查找计算中的错误(如果有)。R 中可用的软件包可以生成演示文稿(例如 PowerPoint)、报告(HTML、PDF)甚至交互式仪表板。
另个优点是
您可以在数据完全收集之前开始构建分析,因为刷新结果只是重新运行已编写的脚本。这种方法有助于缩短完成项目的时间。较旧的软件支持脚本或编码,但程度较弱。例如,SPSS 有脚本语言,但“鼓励”使用图形用户界面进行分析。Excel(虽然支持 VBA 编程)被广泛用作具有公式和用户界面操作的电子表格。文档很差,很难测试和验证结果,Excel 用户往往会破坏数据文件(即合并单元格、日期、使用“单元格着色”编码含义和其他有害做法)。
感谢您提供有关 WhatsApp 号码数据的详细信息!如果能从这 whatsapp 号码数据 里的每个人那里收集到更多观点,那就太好了。您认为我们可以如何在保持透明度的同时使用这些信息?我很好奇我们如何合作以确保我们合乎道德和负责任地使用这些信息。让我们谈谈吧!
此外我不止
次遇到无法解释几个月前刚创建的复杂 Excel 文件的用户(更不用说有人试图理解别人创建的文件了)。总结下,用 R(或 Python)替换旧工具(例如 Excel 和 SPSS)。这项工作需要付出巨大努力,但好处也很大。本非常适合入门的书是《R for Data Science》,可在线免费获取
根据上点,当您使用代码创建分析时,您还可以开始使用版本控制实践(即使用 GitHub 等服务)。版本控制是大多数开发人员熟悉的术语,它意味着脚本(在分析中)中的每个更改都“提交”到代码存储库。存储库跟踪所有更改,并允许我们回到过去撤消任何更改或比较版本。我们可以比较两个版本的分析(称为“分支”)并将它们合并(合并)从而更容易进行协作而不会干扰。此外,所有项目都在组织内的存储库中进行管理,因此可以轻松保留、搜索和共享组织的所有知识。
编码的个好处是
您可以轻松地自动化交付成果。具体来说,我们 在线教育平台最好的免费学习服务 在与活动分布在多个地区或分支机构的客户合作时经常看到的个用例是需要生成分段报告,例如,为不同地区或部门的众多利益相关者制作演示文稿。当交付成果是脚本生成时,这种自动化变得相对简单。您所要做的就是遍历各个区域并运行相同的脚本来生成交付成果。如果交付需要人工干预才能获得见解,则可能需要手动工作(尽管这也可以通过 AI 集成实现自动化)。
类似地
需要持续(例如每周或每月)提交的报告可 商店 9177 以轻松以最小的努力实现自动化。当我说“云”时,你会想到雨吗?大多数人会想到降水。那些撰写文档或制作演示文稿的人也会想到 Google Workspace(以前称为 G Suite)或 Microsoft 365。然而,在软件开发行业,云是个术语,描述了亚马逊 (AWS)、微软 (Azure) 和谷歌 (GCP) 等公司提供的广泛服务。这些服务包括服务器或其他集成,如 AI 解决方案、自定义自动化等。我们的大多数分析都是在云基础设施上完成的(而不是在本地计算机上)。使用云基础设施的好处包括提高安全性和稳健性(即从业务连续性的角度来看)。
云基础设施实现了无需用户干预的自动化(例如每日报告或在线仪表板)。在更高级的层面上,云基础设施使我们能够为客户提供基于其数据开发的定制预测模型(通常称为机器学习模型)或推送与正在进行的调查相关的处理后的数据文件。
使用云基础设施有很多好处
但需要大量的专业知识。假设您真的想迁移到云。在这种情况下,您可能会考虑聘请或咨询提供 DevOps(开发人员运营)或 MLOps(机器学习运营)服务的公司。软件开发的个基本支柱是文档。它允许透明度并改善组织记忆。当您像软件开发人员样进行市场研究分析时,您会记录您执行的过程和获得的结果,无论是通过脚本中的注释还是通过“笔记本”,它们都是文本、代码和该代码的结果(例如图表和表格)的组合。
这些笔记本有多种形式,具体取决于您的编程语言(例如,R 的 RMarkdown、Python 的 Jupyter 或用于更多样化语言方法的 Quarto)。使用笔记本还可以带来许多其他选择,例如快速构建网站、博客或记录您工作的统计仪表盘。我甚至使用笔记本为学习统计学的本科生创建了交互式教程。
俗话说当你发现自己重复
段代码超过三次时,就该编写个函数了。”如前所述,我们的分析是通过运行脚本进行的。当你使用脚本时,你会发现自己重复了许多操作,比如以相同的方式重构变量或重复创建相同类型的图表(但针对不同的变量甚至不同的项目)。使用代码时,应遵循的做法是将代码分解为函数,即执行特定任务的较小单元。然后,您可以将这些函数组合成个库(“包”)。
这可以通过多种方式改善工作:
- 您变得更有效率运行函数而不是重写脚本。
- 您会变得更加致和准确该函数的正确性只需验证次,重复使用它会让您处于安全的位置。
- 您可以在内部(专有包)甚至与全世界(开源包)共享您的功能,从而让其他人使用您的功能并享受这些好处。
- 从组织角度来看,它缩短了新员工的学习曲线,同时也引导组织收敛到统的分析和研究标准。
需要构建和维护软件包从开发角度来看,这需要更高水平的专业知识。但是,这样做的好处是全面的。与以前主要侧重技术性的概念相比,这更像是与管理市场研究团队和项目相关的“软”概念。 几年前,我开始每天早上为整个团队开 15-30 分钟的会议。这可能微不足道,但我从未考虑过,直到位朋友建议我这样做,认为这是种掌控全局的好方法(就是本文开头的那个朋友)。
每日会议是软件开发团队的常见做法,它有助于协调团队、分享挑战并确保每个人都知道自己在做什么。它还能让我知道什么时候有人即将完成并需要下个任务从而改善计划并减少意外。软件开发管理的许多元素都可以用于市场研究项目管理。此外,许多工具支持项目管理,并借鉴了看板、敏捷、scrum、sprint 等有价值的元素。本文的重点不是项目管理,而是浏览软件开发过程中使用的不同项目管理方法和工具,并考虑哪种方法最适合您。这需要些反复试验。
作为般的入门书
我推荐帕特里克·兰奇奥尼 (Patrick Lencioni) 的《会议之死》;这本书读起来很有趣,并且在会议设置方面为优秀的组织文化定下了基调。通过将编码作为分析的基本方面,市场研究人员可以实现无与伦比的可重复性和效率,从而获得更可靠、更有洞察力的结果。采用版本控制实践可确保准确性并促进无缝协作,而自动化可简化流程并增强可扩展性。
利用云基础设施可增强安全性和稳健性,并实现预测建模和自动数据处理等高级功能。此外,优先考虑文档可提高透明度并保存组织知识,促进持续改进和创新。开发和使用专有软件包可进步提高效率和致性,而有效的团队管理策略可确保同步并最大程度地提高生产力。
通过采用这些原则和工具,市场研究人员可以摆脱传统方法的限制,为不断变化的环境中获得无与伦比的洞察力和成功铺平道路。简而言之,要像软件开发人员样思考。为了支持这种转变,您可能需要考虑聘请几位高级数据科学家(如果您的组织中还没有他们的话)。