市场定义/描述
Gartner将AI代码助手定义为协助生成和分析软件代码和配置的工具。这类助手使用基础模型,例如大型语言模型(LLM),这些模型可以选择性地对代码或程序理解技术进行微调,或者两者的组合。软件开发者提示代码助手生成、分析、调试、修复和重构代码,创建文档,并在语言之间翻译代码。代码助手集成到开发者工具(例如代码编辑器、命令行终端和聊天界面)中。有些可以根据组织的特定代码库和文档进行定制。
AI代码助手可以通过提高效率、加速应用程序开发、减少认知过载、增强解决问题的能力、加快学习速度、培养创造力和保持心流状态来提高软件开发者的体验。
必备功能
此市场的必备功能包括:
常见功能
此市场的常见功能包括:
-
本地或私有云实例。
-
跟踪用户采用率、代码接受率和其他衡量影响的指标的分析仪表板。
-
支持多种自然语言(如英语、西班牙语、印地语、中文等)。
-
在终端实现代码完成(命令行界面)。
-
接受过多种编程语言的训练,至少有Java、JavaScript、Python和C#。
-
根据企业代码库进行定制。
-
过滤器有偏见的代码、露骨的语言和图像。
-
能够引用与训练数据相匹配的生成代码片段的公共源代码项目。
入选和排除标准
要获得入选这个魔力象限的资格,提供商需要:
Gartner将“全面上市”(GA)定义为向所有客户发布产品。与主要用于测试和用户反馈的限量发行版或测试版不同,当产品达到 GA 版本时,就可以通过公司的一般销售渠道进行销售。
评估标准
执行力
产品/服务:该标准评估在特定市场中竞争或服务的核心商品和服务,其中包括当前的产品/服务能力、质量、功能集、技能等,无论是原生提供,还是通过OEM协议/合作伙伴提供。它试图了解供应商的集成能力、对各种编程语言、框架和IDE的适应性,以及提供给用户的定制程度和灵活性。此外,它还评估AI模型的性能和有效性及其自动化、跟踪和分析能力,以及供应商对安全性和合规性的承诺,包括IP管理和数据保护。最后,它还探讨供应商的市场产品、合作伙伴关系,以及与其他企业应用程序提供集成解决方案的能力,以及他们对AI代码助手的未来愿景,和为客户提供有价值指标的承诺。
整体可行性:该标准评估组织的生存能力,包括其总体财务状况、业务部门的财务和实际成功,以及对产品继续投资的可能性。它寻求有关供应商财务状况的全面信息,包括风险投资资金、盈利能力、经济衰退战略、未来12个月的投资计划、2023财年的年收入和2024财年的预计收入。此外,它还评估客户和市场参与度,重点关注2023日历年的客户保留率、按并发用户数量计算的最大安装数量,以及过去12个月内的任何相关业务收购。最后,它还检查组织架构和员工队伍,包括致力于产品的全职员工数量,以及高级管理层在过去一年中发生的任何变化。
销售执行/定价:该标准评估组织在所有售前活动和支持结构方面的能力,包括交易管理、定价和谈判、售前支持以及销售渠道的整体有效性。它寻求对客户群的详细洞察,例如使用该产品的大型企业中排名前五的决策者、当前的客户数量、跨不同行业的细分以及与大型企业客户的关系的持续时间。
此外,它还评估定价模型,包括不同部署方法(如公共云、私有云、虚拟私有云和本地部署)的变化,以及不同版本所需的最小席位数量。最后,它会检查与产品相关的任何免费或试用产品,提供客户获取策略的理解,以及潜在客户在做出购买决定之前如何评估产品。
市场响应速度和跟踪记录:该标准旨在评估组织能否在机会不断发展、竞争对手采取行动、客户需求不断演变以及市场动态持续变化之际,做出响应、改变方向、保持灵活性并取得竞争成功,包括供应商对不断变化的市场需求做出响应的历史记录。它寻求有关公司积极参与开源社区的详细信息、为市场做出贡献的客户和合作伙伴的百分比,以及合作伙伴市场的年增长率。此外,它还评估用于倾听和响应客户需求的机制,并提供有效使用这些机制的具体示例。最后,它还考察针对不同市场的产品定制程度,以及公司的创新能力,即在市场早期就拥有竞争对手现在才赶上的平台能力。
营销执行:该标准旨在评估计划的清晰度、质量、创造性和有效性,这些计划旨在传递组织的信息以影响市场、推广品牌、提高产品知名度,并在客户心中树立正面形象。它寻求清晰描述对于开发团队产品是如何定位的、开发者使用该产品的主要原因,以及使其在市场中脱颖而出的关键差异化因素。此外,它还评估2024年的预计营销预算、过去一年的主要营销举措、在搜索引擎和直播电视上的可见性策略,以及在各种在线和社交媒体渠道上与粉丝/订阅者的互动。最后,它将分析2023年赞助或举办的实体会议,确定顶级竞争对手,并强调使该组织与这些竞争对手区分开来的独特差异化因素。
客户体验:该标准评估使客户达到预期的结果产品、服务和程序,包括质量互动、技术支持和客户支持。它寻求关于开发者培训计划、引入时间表、成功度量、实施资源和用户培训需求的详细信息。此外,它还评估客户支持结构、专门用于支持的FTE、支持可用性、SLA、响应时间、最近的中断和合作伙伴参与情况,包括客户门户URL。最后,它将检查组织的客户成功计划、保留策略、用户社区支持、ROI度量以及用于衡量客户成功计划有效性的指标和基准。
运营:该标准将评估组织实现目标和承诺的能力,重点关注其结构、技能、经验、程序和系统的质量。它寻求关于SLA的详细信息,包括系统正常运行时间、升级策略、发布时间和用于企业技术支持的FTE的增长率,以及用户对更新时间的选择。此外,它还评估员工在风险管理、劳动力减少、全球运营和支持中心、支持的最大并发用户数量、引入速度以及与客户的正式沟通过程方面的培训。最后,它将审查过去12个月实施的环境可持续性倡议、托管策略的差异以及产品中包含的认证。
表1:执行力评估标准
| 评估标准 |
权重 |
|
产品或服务
|
高
|
|
整体可行性
|
高
|
|
销售执行/定价
|
高
|
|
市场响应/记录
|
高
|
|
营销执行
|
中
|
|
客户体验
|
高
|
|
运营
|
高
|
|
|
资料来源:Gartner(2024年8月)
前瞻性
对市场的了解:该标准评估供应商理解并将客户需求转化为创新产品和服务的能力,特别是在软件工程领域。它侧重于产品开发、关键产品的识别,以及适应不断变化的客户需求,以增强产品的生存能力。此外,它还评估供应商在监控市场趋势、应对AI代码助理市场挑战以及预测技术中断方面的熟练程度,以制定前瞻性的战略愿景。最后,它将考虑对企业责任的承诺,包括碳中和计划和通过客户委员会计划等举措积极参与客户。
营销战略:该标准旨在评估组织能否在内部持续传达清晰的差异化信息,并通过社交媒体、广告、客户计划和定位声明向外部传达这些信息。它关注组织如何很好地定义其产品的消息传递、定位和进入市场策略,以及如何巧妙地规划其顶级营销活动以使行业理解和采用。它还衡量组织如何确定其目标市场垂直领域和客户规模。此外,它还评估组织对产品营销的特定角色的目标,对CTO、CIO和软件工程领导者的扩展,以及人物/采购人员对产品价值主张的区分。最后,它将考虑2024年新合作伙伴的识别和目标选择,以及公司在过去12个月中以多元化、公平和包容(DEI)奖的形式获得的认可。
销售战略:该标准旨在评估组织能否运用恰当的网络(包括直接和间接销售、营销、服务和通信网络)实施合理的销售战略。它侧重于组织对其2024年销售增长战略的理解,以及影响销售渠道的因素、销售团队的预计增长、产品采用的计划举措,以及市场变化对销售战略的影响。此外,它还评估未来12个月的潜在市场扩张、确定目标国家/地区和行业,以及间接销售渠道合作伙伴对收入的贡献。最后,它将考虑定价策略的详细信息,包括许可模型、SaaS和本地成本、折扣优惠以及组织的基于消费的收费方法。
产品战略:该标准评估用于产品开发和交付的方法,强调市场差异化、功能性、方法和功能集,以符合当前和未来需求。它专注于理解AI代码助理产品,包括它的名称、技术架构、专业服务、训练有素的咨询和系统集成商合作伙伴。此外,它还评估用户群,详细说明了使用免费和付费版本的开发者的数量,并概述供应商支持和贡献开源软件使用和开发的策略。最后,它将考虑供应商对产品开发和市场定位的战略方法,包括投资领域、成功指标、避免商品化的方法、产品增强策略,以及将客户反馈集成到产品路线图中的过程。
业务模式:该标准评估用于实现持续成功的组织业务主张的设计、逻辑和执行。它将深入研究供应商在AI代码助理产品方面的商业模式变化、该模式在未来12个月的计划演变,以及该产品对公司整体收入的贡献。此外,它还评估供应商的合作伙伴战略,重点关注在过去12个月内通过合作伙伴或合作伙伴推荐获得的新客户的百分比。最后,它将检查供应商的用于支持产品的人员配置结构,以及不同产品版本对AI代码助手性能施加的任何潜在限制,例如特定时间段内的速率限制和对话数量。
垂直/行业战略:该标准评估组织的这项战略:引导资源、技能和产品来满足个别细分市场的特定需求,包括垂直行业。它寻求对特定行业进入市场或技术合作伙伴关系的全面理解,提供对战略联盟和潜在协同效益的见解。此外,它还需要对不同垂直领域的客户分布进行详细概述,包括关键客户名称和顶级行业垂直领域,以及预构建的模型、组件或资产,以评估市场存在和行业焦点。最后,它将评估在未来12个月内计划增加垂直行业细分市场份额的主要举措,评估前瞻性战略、增长潜力和对创新的承诺。
创新:该标准评估用于投资、合并、防御性或先发制人这些目的的资源、专业知识或资本的直接、相关、互补和协同性分配。它寻求对供应商创新战略的全面洞察,包括流程和方法、未来创新计划、顶级差异化创新、投入研发的收入比例以及创新的战略合作伙伴关系。此外,它还需要详细的信息,说明供应商如何通过创新的产品功能和战略合作伙伴关系在市场上脱颖而出,从而提供一幅关于他们竞争优势的清晰图景。最后,它通过对与其产品相关的开源或开放标准的贡献来评估供应商对更广泛的技术社区的承诺。
地区战略:该标准旨在评估供应商引导资源、技能和产品的战略,该战略旨在满足其本地区域以外地区的特定需求,可以直接实现,也可以通过合作伙伴、渠道和子公司来实现。它需要全面概述供应商在不同地区的差异化交付、销售和营销策略,以及其旨在扩大其核心地区以外的市场份额的三大举措。此外,它还评估供应商如何确保遵守数据主权需求、其产品的国际化/本地化功能以及所支持的自然语言的数量。最后,它将考虑供应商当前和未来的地理市场,详细说明了其实体存在、员工数量、客户、渠道合作伙伴以及过去一年在每个地区获得的新客户数量。
.
表2:前瞻性评估标准
| 评估标准 |
权重 |
|
对市场的了解
|
高
|
|
营销战略
|
中
|
|
销售战略
|
中
|
|
产品战略
|
高
|
|
业务模式
|
高
|
|
垂直/行业战略
|
中
|
|
创新
|
高
|
|
地区战略
|
高
|
|
|
资料来源:Gartner(2024年8月)
象限描述
领导者
AI代码助理魔力象限中的领导者擅长于提供全面的AI驱动功能,这些功能最有可能提高整个SDLC的开发者生产力、代码质量和安全性。他们展示了对市场需求的深刻理解,并通过集成先进的AI模型和扩展其功能集来不断创新,以保持领先于行业趋势。这些供应商还擅长通过与第三方开发工具的无缝集成来构建强大的生态系统,并维护强大的安全性和合规性措施,以防止漏洞和知识产权风险。此外,他们在地理上的多元化运营使他们能够为不同行业的广泛客户提供服务,确保广泛的可及性和支持。
挑战者
AI代码助手魔力象限中的挑战者在执行方面表现出色,他们通过强大的销售执行和定价、有效的产品和运营效率来推动用户采用和商业成功。他们利用积极的市场品牌推广、战略合作伙伴关系和广泛的销售网络来提高产品销售效率。然而,这些供应商缺乏全面的愿景,这可以从有限的产品路线图、对实时协作工具的关注不足以及对市场挑战的狭隘理解中得到证明。虽然他们提供了可靠和有效的解决方案,但他们的战略重点和市场远见并不完善,这限制了他们全面预测和满足未来市场需求的能力。
前瞻者
AI代码助理魔力象限中的前瞻者在他们的前瞻性愿景方面表现出色,开创了先进的AI驱动代码建议和无缝工具集成等创新功能。他们对市场需求有深刻的理解,专注于提高开发者的生产力、代码质量,并解决诸如安全漏洞和遵从性等新出现的挑战。然而,这些供应商在执行方面表现出弱点,例如有限的运营效率和较弱的销售网络。虽然他们的战略远见很强,但他们的执行能力落后,这使他们无法获得与领导者相同的市场影响力。
利基企业
AI代码助手魔力象限中的利基企业通常提供专门的解决方案,以满足市场中的特定细分市场或独特用例。在某些情况下,这些产品可以很好地与组织的用例保持一致,并且可能最适合组织的开发者。然而,这些供应商往往在执行和愿景方面都落后,表现出有限的运营效率、较弱的销售和营销策略,以及无法满足市场更广泛需求的狭隘焦点。与更多才多艺、更有远见的竞争对手相比,他们的整体影响和市场覆盖率受到限制。
背景
为您的组织选择一个AI代码助手应该以协作方式完成。投资AI隐私工具的组织看到了有影响力的业务成果。在Gartner的《2023年企业AI调查》中,超过70%的受访者表示,他们认为他们在AI隐私、安全和风险方面的投资对监管合规、收入增长和成本优化产生了影响。1 因此,IT领导者应该建立一个由工程、架构、安全和法律专家组成的跨职能工作组。工作组应该使用这个魔力象限中的分析来创建AI代码助手供应商的候选名单。
基于这个候选名单,工作组应该在组织中试用AI代码助理。目标应该是建立POC,衡量可能的用例,并选择短期内使用的供应商(因为供应商正在快速发展他们的产品并添加新功能)。
在试点AI代码助手时,工作组应该:
-
在使用AI代码助手之前设置基准关键指标。使用常见的开发者生产力和经验框架,例如DevOps研究和评估(DORA)指标和SPACE框架,它们考虑了满意度和福祉、性能、活动、沟通和协作,以及效率和流程(参见如何度量和改进开发者生产力)。
-
使用定量指标和定性调查数据评估AI代码助手的影响。评估风险,例如生成的安全漏洞和受版权保护的代码和文档,并监控生成的输出是否存在偏见、露骨的材料和其他道德挑战。通过结合使用基于活动的输出指标和基于价值的影响指标,避免依赖任何单一类别的指标。开发者调查是评估影响的常用方法。软件工程智能平台也可以帮助衡量AI代码助手的影响(参见软件工程智能平台市场指南)。
-
根据POC结果和用户反馈选择性能最好的工具。在接下来几周内,将试点扩大到越来越多样化的用户群,以验证风险缓解措施的影响和功效。建立机制,让用户相互学习。一个简单的内部聊天可以演变成一个实践社区,并允许教练开发和传播最佳实践。每季度对试点进行细化和迭代,以解决关键痛点,扩展到新的用例并取得成功(参见如何试点生成式AI)。
市场概况
AI代码助理已经引起了全球开发者的注意,是软件开发历史上最被炒作的技术之一。
虽然由于风险,组织最初对采用AI编码助手犹豫不决,但由于给开发者带来的好处,大多数大型企业加快了采用这项技术的速度。根据Gartner的2023年大型企业技术采用路线图调查,软件工程领导者表示,他们的组织正在试用AI代码助手。2
随着越来越多的组织寻求提高软件开发者的效率、最小化认知负荷、增强问题解决能力、加快学习速度、培养创造力并保持他们的心流状态,我们预计AI代码助手的采用率将继续迅速增加。
为了响应客户的高需求,数十家供应商纷纷创建自己的商业化AI代码助手。随着AI代码助手开始被主流采用,供应商正在迅速扩展和改进其产品的功能。
AI代码助手现在可以在广泛的用例中支持开发者,包括:
-
代码生成:开发者使用AI代码助手中的代码编辑器来自动完成代码并生成功能,这有助于他们更快地完成编程任务。
-
代码调试除错:开发者使用AI代码助手来检测和修复代码中的错误,这有助于他们解决错误,而无需向同行询问或在互联网上搜索解决方案。
-
代码现代化:开发者使用AI代码助手来理解许多程序之间复杂的依赖关系,这有助于他们减少技术债务并使代码现代化。
-
工件构建和测试:开发者使用AI代码助手从用户故事(例如,以Gherkin格式)生成验收测试,并生成单元测试。
-
代码解释:开发者使用AI代码助手来获取代码的自然语言解释,这有助于他们理解复杂、不熟悉的代码。
然而,AI代码助手供应商的能力和整体性能差异很大。例如,只有少数供应商专注于特定于领域的模型。
为了应对这种变化,软件工程领导者和其他IT领导者应该使用这个魔力象限来比较AI代码助手市场上的12家供应商。这种分析将帮助领导者们在这个被高度炒作的市场中消除噪音,从而他们可以选择与他们组织的AI野心和开发者的用例相一致的供应商。
为了满足日益增长的客户对这个市场进行更全面评估的需求,我们为AI代码助手创建了这个魔力象限,以取代AI代码助手的创新洞察力。
主要术语和缩写词汇
| 自动推理模型 |
自动推理模型侧重于使用逻辑和数学技术来自动化各种形式的推理和问题解决,例如定理证明和模型检查。
|
| 神经编译器 |
神经或神经元编译器是专门用于优化深度学习模型的工具,因此它们可以在特定的模型推理架构上更有效。
|
| 检索增强生成(RAG) |
该模式由Meta在2020年的一篇研究论文中引入,已成为GenAI应用程序架构的基础,包括内容存储、一个搜索和检索机制以及一个大型语言模型(LLM)。该过程包括将用户的提示重写为查询,检索相关内容,并使用LLM生成响应。
|
| 监督微调(SFT) |
监督微调是使用标记数据集改进预训练机器学习模型以提高其在特定任务上的性能的过程。
|
依据
1 1 2023 Gartner企业AI调查:该研究旨在了解成功实施AI的关键及其对生成式AI带来的更广泛的AI的影响。该研究于2023年10月19日至12月21日在网上进行,共有703名来自美国、德国和英国的组织的受访者,主要样本包括703名中的645名。所调查的组织必须是会在未来三年内开发或打算部署至少两个AI计划。受访者必须是该组织的企业领导层的一员或担当企业领导角色。703个样本中有58个是商业智能(BI)样本。所调查的组织必须是会在未来三年内开发或打算部署至少一个AI计划。受访者需要是该组织企业领导层的一员,或向企业领导层或以下的角色(高级经理或以上)报告,并主要负责其组织中的BI。主要样本和BI样本受访者都被要求高度参与至少一项AI计划,并且在其组织中与AI相关时,他们被要求担任以下角色之一:确定AI业务目标,衡量AI计划产生的价值或管理AI计划的制定和实施。主要样本的配额是根据公司规模和行业确定的,以确保整个样本具有良好的代表性。没有为BI样本设定配额。免责声明:本次调查的结果并不代表全球或整个市场的调查结果,而是反映了受访者和受访企业的观点。
2 2023年Gartner大型企业技术采用路线图调查:这项调查是通过在线小组调查进行的,共有600多名受访者来自北美、欧洲、中东和亚太地区,涉及行业和年收入超过10亿美元的企业。这项研究总结了来自120多名被认定为软件工程领导者的受访者的发现。这些结果将允许软件工程领导者通过供应商的炒作来决定投资哪些技术以及何时投资,以便在同行中保持竞争力。
评估标准定义
执行力
产品/服务:由供应商为既定市场提供的核心产品和服务。其中包括当前的产品/服务能力、质量、功能集、技能等,可能是原生提供,或通过按照市场定义和子标准中详细定义确定的OEM协议/合作伙伴提供。
整体可行性:可行性包括对组织整体财务状况的评估,以及对业务部门的财务和实际成功情况的评估,还有单个业务部门持续对产品进行投资、持续提供产品以及在组织的产品组合中提高工艺水平的可能性。
销售执行/定价:供应商在所有售前活动中的能力以及支持这些活动的结构。其中包括交易管理、定价和谈判、售前支持以及销售渠道的整体有效性。
市场响应/记录:在机会不断发展、竞争对手采取行动、客户需求不断演变以及市场动态持续变化之际,做出响应、改变方向、保持灵活性并取得竞争成功的能力。该标准还考虑了供应商响应的历史记录。
营销执行:计划的清晰度、质量、创造性和有效性,这些计划旨在传递组织的信息以影响市场、推广品牌和业务、提高产品知名度,以及在买家心中树立产品/品牌和组织的正面形象。这种“品牌影响力”可以通过产品宣传、推广方案、思想领导、口碑相传和销售活动来推动。
客户体验:能够让客户通过所评估产品获得成功的关系、产品和服务/计划。具体来说,这当中包括客户获得技术支持或客户支持的方式。此外,可能还包括辅助工具、客户支持计划(及其质量)、用户组的可用性和服务级别协议等。
运营:组织达成目标和承诺的能力。影响因素包括组织结构的质量,其中包含技能、经验、计划、系统,以及使组织能够持续有效且高效地开展运营的其他工具。
前瞻性
对市场的了解:供应商能了解买家的愿望和需求并将其转化为产品和服务。供应商对其市场表现出清晰的愿景,愿意倾听并了解客户的愿望和需求,以及用自己日臻完善的愿景来塑造或增强市场变化。
营销战略:在组织内部或通过网站、广告、客户计划和定位声明向外部持续传达的清晰、与众不同的宣传信息。
销售战略:产品销售战略,运用恰当的直接和间接销售网络、营销、服务和通信附属机构来延伸所涉市场、技能、专业知识、技术、服务和客户群的广度及深度。
产品战略:供应商用于产品开发和交付的方法,强调市场优势、功能性、方法和功能集,因为它们反映了当前和未来的需求。
业务模式:供应商内在业务主张的合理性和逻辑性。
垂直/行业战略:供应商的战略,用于引导资源、技能和产品来满足个别细分市场的特定需求,包括垂直市场。
创新:用于投资、合并、防御性或先发制人等目的的资源、专业知识或资本的直接、相关、互补和协同性布局。
地区战略:供应商的战略,用于引导资源、技能和产品来满足“本土”或本地区域以外地区的特定需求,可以直接实现,也可以通过合作伙伴、渠道和子公司来实现,视当地情况和市场情况而定。