13594780243 ravenous@mac.com

经典案例

  • 首页
  • 经典案例
  • Foresight Ventures:去中心化AI Marketplace是什么?

Foresight Ventures:去中心化AI Marketplace是什么?


2024-11-07 15:41:54

成功的去中心化 AI marketplace 结合了 AI 和 Web3 的优势,以降低 AI 应用门槛、保护隐私、激励模型提供者、积累资源、解决资料隐私挑战,同时平衡各方利益,并通过网路效应为使用者带来超越市场之外价值的平台。前情提要:付费内容看光光!OpenAI 紧急暂停 Browse with Bing 翻墙功能背景补充:全网路最实用的 Web3 AI 的十个外挂

本文目录

TLDR一、Web3 的 AI Marketplace11 web3 领域的 AI 赛道回顾12 什么是 AI Marketplace?13 为什么关注 Web3 的 AI Marketplace?二、基于模型 vs 基于资料21 模型市场22 资料市场23 资料市场的价值和挑战三、关于去中心化 AI Marketplace 的反思31 使用者对资产有支配权,使用者撤出会不会导致平台崩塌?32 先有鸡还是先有蛋

TLDR

一个成功的去中心化 AI marketplace 需要将 AI 和 Web3 的优势紧密结合,利用分散式、资产确权、收益分配和去中心化算力的附加值,降低 AI 应用的门槛,鼓励开发者上传和分享模型,同时保护使用者的资料私有权,构建一个开发者友好,且满足使用者需求的 AI 资源交易、共享平台。

基于资料的 AI marketplace 有更大的潜力。死磕模型的 marketplace 需要大量高质量模型的支撑,但早期平台缺乏使用者基数和优质资源,使得优秀模型提供者的激励不足,难以吸引优质模型;而基于资料的 marketplace 通过去中心化,分散式地采集、激励层设计和资料所有权的保证,可以积累大量有价值的资料和资源,尤其是私域资料。然而,资料市场也需要解决资料隐私保护的挑战,解决方案包括设计更灵活的策略,允许使用者自定义隐私级别的设定。

去中心化 AI marketplace 的成功依赖于使用者资源的累积和强大的网路效应,使用者和开发者可以从市场中获得的价值超过他们在市场之外能够得到的价值。在市场的早期,重点在于积累优质模型以吸引并保留使用者,然后在建立起优质模型库和资料壁垒后,转向吸引和留住更多的终端使用者。并且,优秀的 AI marketplace 需要找到各方利益的平衡点,并妥善处理资料所有权、模型质量、使用者隐私、算力、激励演算法等因素。

一、Web3 的 AI Marketplace

11 web3 领域的 AI 赛道回顾

首先回顾一下之前我提到的 AI 和 crypto 结合的两种大方向,ZKML 和去中心化算力网路

ZKML

ZKML 让 AI 模型 transparent verifiable,也就是说保证模型架构、模型引数和权重、模型输入这三个因素在全网可以被验证。ZKML 的意义在于不牺牲去中心化和 trustless 的基础上,为 web3 世界创造下一阶段的价值,提供承接更广泛应用和创造更大可能性的能力。

Foresight Ventures AI Web3 = ?

算力网路

算力资源会是下一个十年的大战场,未来对于高效能运算基础设施的投资将会指数级上升。去中心化算力的应用场景分为模型推理和模型训练两个方向,在 AI 大模型训练上的需求是最大的,但是也面临最大的挑战和技术瓶颈。包括需要复杂的资料同步和网路优化问题等。在模型推理上更有机会落地,可以预测未来的增量空间也足够大。

12 什么是 AI Marketplace?

AI marketplace 并不是一个很新的概念,Hugging Face 可以说是最成功的 AI marketplace除了没有交易和定价机制。在 NLP 领域,Hugging Face 提供了一个极为重要且活跃的社群平台,开发者和使用者可以共享和使用各种预训练模型。

a 模型资源

Hugging Face 提供了大量的预训练模型,这些模型涵盖了各种 NLP 任务。这种资源丰富性吸引了大量的使用者,因此,这是形成一个活跃的社群、积累使用者的基础。

b 开源精神 传播分享

Hugging Face 鼓励开发者上传并分享自己的模型。这种开放分享的精神增强了社群的活力,并使得最新的研究成果能够快速地被广大使用者所利用。这就是在积累优秀开发者和模型的基础上,加快了研究成果被验证并推广的效率。

c 开发者友好 易用

Hugging Face 提供易用的 API 和文件,使得开发者可以快速地理解和使用其提供的模型。这降低了使用门槛,提升使用者体验,吸引了更多开发者。

虽然 Hugging Face 并没有交易机制,但它仍然为 AI 模型的分享和使用提供了一个重要的平台。因此也可以看出,AI marketplace 有机会成为整个行业的宝贵资源。

去中心化的 AI marketplace in short:

基于以上要素,去中心化的 AI marketplace 基于区块链技术的基础,让使用者对自己的资料、模型资产拥有所有权。Web3 所带来的价值也体现在激励和交易机制,使用者可以自由地挑选或者通过系统 match 到合适的模型,同时也可以上架自己训练的模型获取收益。

使用者对自己的 AI 资产拥有所有权,并且 AI marketplace 本身并没有对资料和模型的掌控权。相反,市场的发展是依赖于使用者基数以及随之而来的模型和资料的积累。这种积累是一个长期的过程,但是也是逐渐建立产品壁垒的过程,支撑市场发展的是使用者数以及使用者上传的模型和资料的数量 / 质量。

13 为什么关注 Web3 的 AI Marketplace?

131 和算力应用的大方向契合

由于通讯压力等原因,去中心化算力在训练 base 模型上落地可能比较困难,但是在 finetune 上的压力会小很多,因此有机会成为中心化算力网路落地的最佳场景之一。

一点背景知识:为什么微调阶段更容易落地

Foresight Ventures 理性看待去中心化算力网路

AI 模型的训练分为 pretraining 和 finetuning。预训练涉及大量的资料和大量的计算,具体可以参考我上面一篇文章的分析。微调基于 base 模型,使用特定任务的资料,来调整模型引数,使模型对特定任务有更好的效能,模型微调阶段需要的计算资源比预训练阶段小很多,主要有以下两个原因:

资料量:在预训练阶段,模型需要在大规模的资料集上进行训练以学习通用的语言表示。例如,BERT 模型的预训练就是在包含数十亿个词汇的 Wikipedia 和 BookCorpus 上进行的。而在微调阶段,模型通常只需要在特定任务的小规模资料集上进行训练。例如,用于情感分析任务的微调资料集可能只有几千到几万条评论。训练步数:预训练阶段通常需要数百万甚至数十亿的训练步骤,而微调阶段通常只需要几千到几万步。这是因为预训练阶段需要学习语言的基本结构和语义,而微调阶段仅需要调整模型的一部分引数来适应特定任务。

举个例子,以 GPT3 为例,预训练阶段使用了 45TB 的文字资料进行训练,而微调阶段则只需要5GB 的资料。预训练阶段的训练时间需要几周到几个月,而微调阶段则只需要几个小时到几天。

132 AI 和 crypto 交叉的起点

判断一个 web3 专案是否合理,其中很重要的一点是,是不是为了 crypto 而 crypto,专案是否最大化利用了 web3 的带来的价值,web3 的加成是不是带来了差异化。很显然,web3 为这种 AI marketplace 带来的无法替代确权、收益分配和算力的附加值

我认为一个优秀的 Web3 AI marketplace 可以把 AI 和 crypto 紧密结合。最完美的结合不是 AI 市场能给 web3 带去什么应用或是 infra,而是 web3 能为 AI 市场提供什么。那么很显然,例如每个使用者都可以拥有自己的 AI 模型和资料的所有权比如把 AI 模型和资料都封装为 NFT,也可以把它们当作商品进行交易,这很好地利用了 web3 可以发挥的价值。不仅激励了 AI 开发者和资料提供者,也使得 AI 的应用变得更加广泛。如果一个模型足够好用,所有者有更强的动力上传给别人分享。

同时,去中心化 AI marketplace 可能引入一些全新的商业模式,比如模型、资料的售卖和租赁,任务众包等。

133 降低 AI 应用门槛

每个人应该并且会有能力训练自己的人工智慧模型,这就需要一个门槛足够低的平台提供资源的支援,包括 base 模型、工具、资料、算力等。

134 需求和供给

大模型虽然推理能力强大,但并非万能的。往往针对特定任务和场景进行微调会达到更好的效果,并且具备更强的实用性。因此,从需求端看,使用者需要有一个 AI 模型市场来获取不同场景下好用的模型;对于开发者,需要一个能提供极大资源便利的平台来开发模型,并且通过自己的专业知识获得收益。

二、基于模型 vs 基于资料

21 模型市场

模式

以 tooling 为卖点,作为链路的第一环,专案需要在早期吸引足够多的模型开发者来部署优质的模型,从而为市场建立供给。

这种模式下,吸引开发者的点主要是方便好用的 infra 和 tooling,资料是看开发者自己的能力也是为什么有些在某个领域有经验的人可以创造价值的点,这个领域的资料需要开发者自己收集并且微调出 performance 更好的模型。

思考

最近看到很多关于 AI marketplace 和 web3 的结合的专案,但我想的是:创造一个去中心化 AI 模型市场是不是一个伪命题?

首先我们需要思考一个问题,web3 能提供的价值是什么?

如果仅仅是 token 的激励,或者是模型的归属权叙事,那是远远不够的。实际一点看,平台上高质量的模型是整个产品的核心,而优秀的模型通常意味着极高的经济价值。从模型提供者的角度看,他们需要足够的动力来将自己优质的模型部署到 AI marketplace,但 token 和归属权带来的激励是否能达到他们对模型价值的预期?对于一个早期缺乏使用者基数的平台来说,显然是远远达不到的。没有极其优秀的模型,整个商业模式就不会成立。所以问题就变成了如何在早期缺乏终端使用者的情况下,让模型提供者获得足够的收益。

22 资料市场

以去中心化的资料采集为基础,通过激励层的设计和资料所有权的叙事 onboard 更多资料提供者,以及为资料打标签的使用者。在 crypto 的加持下,平台是有机会在一定时间内积累大量有价值的资料的,特别是目前缺少的私域资料。

让我最兴奋的一点是,这种自下而上的发展模式更像是一种众筹的玩法。再有经验的人也不可能拥有一个领域完备的资料,而 web3 能提供的价值之一就是无许可和去中心化地资料采集。这个模式不仅能够集中各个领域的专业知识和资料,而且还能够为更大的使用者群体提供 AI 服务。相比单一使用者自己的资料,这些众筹的资料是从大量真实使用者的实际场景中采集的,因此会比单一来源收集的资料更能反应现实世界的复杂性和多样性,这可以极大地增强模型的泛化能力和鲁棒性,使 AI 模型能在多种不同的环境中发挥高效能。

举个例子,可能一个人在营养学上有很丰富的经验,也积累了很多资料,但光靠个人的资料是远远不够训练出一个优秀的模型的。在使用者分享资料的同时,也可以很好地触达并利用平台上相同领域全网其他使用者贡献的有价值的资料,以此达到更好的微调效果。

思考

从这个角度看,做一个去中心化的资料市场也可能是一个不错的尝试。资料作为一个门槛更低、生产链路更短,provider 密度更广的 商品,能更好地利用 web3 所能提供的价值。激励演算法和资料确权的机制能为使用者上传资料提供动力。在目前的模式下,资料更像是一次性的商品,即使用一次后就几乎没有价值。在去中心化的 AI 模型市场中,使用者的资料可以被反复使用并获取利益,资料的价值会得到更长期的实现。

以资料为切入点去积累使用者似乎是一个不错的选择,大模型的核心和壁垒之一就是优质和多维度的资料,在 onboard 了大量资料提供者之后,这些人有机会进一步转化成终端使用者或者模型提供者。以此为基础的 AI marketplace 确实能为优秀的模型提供底层价值,从训练模型的角度给演算法工程师在平台上贡献模型的动力。

这种动力是从 0 到 1 的改变,现在大公司由于拥有海量资料,他们可以训练出更精确的模型,这使得小型公司和个人开发者难以与之竞争。纵使使用者拥有某个领域非常有价值的资料,这一小部分资料没有更大集合上的资料的配合也是很难发挥价值的。然而在去中心化的市场中,所有人都有机会获取并使用资料,而这些专家是带着有价值的增量资料加入平台的,因此,平台的资料质量和数量也进一步得到了提升,这使得所有人都有可能训练出优秀的模型,甚至推动 AI 的创新。

资料本身确实也很适合成为这种 AI marketplace 的竞争壁垒。首先,优秀的激励层和安全的隐私保障可以让更多散户参与到整个 protocol 当中贡献资料。并且,随着使用者数量的增加,资料的质量和数量也会不断提高。这会产生社群和网路效应,使得市场能提供的价值更大,维度更广,那么对新增使用者的吸引力也会更大,这就是为市场建立壁垒的过程。

所以根本上,要做好一个资料驱动的 AI marketplace,最重要的是以下 4 点:

激励层:设计能够有效激励使用者提供高质量资料的演算法,并且需要平衡激励的强度和市场的可持续性。隐私:保护资料隐私并确保资料的使用效率。使用者:在早期将使用者快速积累并收集更多有价值的资料。资料质量:资料来自各种不同的来源,需要设计有效的质量控制机制。

为什么模型的 provider 在这个场景下没有被我列为关键因素?

主要原因还是基于以上四点,有优秀的 model provider 加入是顺理成章的。

23 资料市场的价值和挑战

私域资料

私域资料的价值在于它有特定领域内独特且难以获得的资讯,这种资讯对于 AI 模型的微调尤其重要。使用私域资料可以创建出更为精准和个性化的模型,这种模型在特定场景的表现会超过使用公共资料集训练的模型。

现在基础模型的构建过程可以获取到大量公共资料,因此,web3 资料市场的发力点不在这些资料上。训练中如何获取并加入私域资料是目前的一个瓶颈,通过将私域资料与公共资料集相结合,可以增加模型对多样化问题和使用者需求的适应能力和模型的准确度。

举例来说以医疗健康场景为例,使用私域资料的 AI 模型在预测准确度上通常能提高 1030。参考 Stanford 的 research,使用私域医疗资料的 deep learning model 在肺癌预测上的准确率超过了使用公共资料的模型 15

资料隐私

隐私会不会成为制约 AI Web3 的瓶颈?从现在的发展看,AI 在 web3 的落地方向已经逐渐明确,但是似乎每一个应用都绕不开隐私的话题,去中心化算力无论是在模型训练还是模型推理上都需要保证资料和模型的隐私;zkml 能成立的一个条件也是保证模型不会被恶意节点滥用。

AI marketplace 建立在确保使用者掌控自己的资料的基础上,因此,虽然通过一种去中心化、分散式的方式采集了使用者资料,但是所有节点在收集、处理、储存、使用等阶段都不应该直接 access 原始资料。目前的加密手段在使用上都面临瓶颈,以全同态加密为例:

计算复杂性:FHE 比传统的加密方式更复杂,这使得在全同态加密下进行 AI 模型训练的运算的计算开销大幅度增加,使得模型训练变得效率极低,甚至不可行。因此,对于需要大量计算资源的任务,如深度学习模型训练,全同态加密不是理想的选择。计算误差:在 FHE 的计算过程中,误差会随着计算的进行逐渐累积,最终对计算结果产生影,会影响 AI 模型的 performance。

隐私也分级别,不需要过分焦虑

不同型别的资料存在不同程度的隐私需求。只有例如医疗记录、金融资讯、敏感个人资讯等需要高阶别的隐私保护。

因此,在去中心化 AI marketplace 的讨论中需要考虑到资料的多样性,最重要的是平衡。为了最大化使用者的参与度和平台的资源丰富度,设计一种更灵活的策略,允许使用者自定义隐私级别的设定是很必要的,并不是所有资料都需要最高阶别的隐私。

三、关于去中心化 AI Marketplace 的反思

31 使用者对资产有支配权,使用者撤出会不会导致平台崩塌?

去中心化 AI marketplace 的优势在于使用者对资源的所有权,使用者确实可以随时撤出自己的资源,但是一旦使用者和资源模型、资料累积到一定程度,我认为平台不会被影响。当然这也意味着专案初期会耗费大量资金稳固使用者及资源,对一个初创团队会非常艰难。

社群共识

去中心化 AI marketplace 一旦形成强大的网路效应,会有更多的使用者和开发者产生黏性。并且因为使用者数量的增加会导致资料和模型的质量和数量的增加,使市场更加成熟。不同利益驱动的使用者从市场中获得的价值也就越大。尽管少量使用者可能会选择离开,但这种情况下新使用者的增速理论上并不会放缓,市场还是能继续发展并提供更大价值。

激励机制

激励层如果设计合理,随着加入人数的增加和各种资源的累积,各方获得的利益也会相应上升。去中心化 AI marketplace 不仅提供一个让使用者能够交易资料和模型的平台,还可能提供一种让使用者能够从自己的资料和模型中获利的机制。比如使用者通过出售自己的资料或者通过让其他人使用自己的模型来获得报酬。

对于模型开发者来说:在其他平台部署可能没有足够多的资料支撑 finetune 一个 performance 更好的模型;

对于资料提供者来说:另一个平台可能没有这么完善的资料基础,使用者单独一小块资料也无法发挥价值并获得足够的使用量和收益;

Foresight Ventures:去中心化AI Marketplace是什么?

小结

虽然在去中心化的 AI marketplace 中,专案方只扮演一个撮合和提供平台的角色,但是真正的壁垒在于使用者数量的累积所带来的资料和模型的累积。使用者确实有撤出市场的自由,但是一个成熟的 AI Marketplace 往往会使他们从市场中得到的价值超过他们在市场之外能够得到的价值,那其实使用者就没有动力撤出市场。

不过如果大部分使用者或者一部分高质量模型 / 资料提供者选择撤出,那么市场可能会受到影响。这也符合在各种经济系统中存在使用者进入和退出的动态变化和调节。

32 先有鸡还是先有蛋

从以上两种路径看,很难说最终会有那一条跑出来,但显然基于资料的 AI marketplace 更加 make sense,并且天花板远高于第一种。最大的区别就在于,基于资料的市场是在不断充实壁垒,积累使用者的过程也是积累资料的过程,最终 web3 赋予的价值就是让一个巨大的去中心化资料库更加充实,这是一个正向的回圈。同时,从本质上看这种平台不需要留存资料,而是提供一个贡献资料的市场更加轻量。最终来看,这就是一个大型的资料集市,这种壁垒是很难替代的。

从供给和需求的角度上看,一个 AI marketplace 需要同时具备两点:

大量的优秀的模型终端使用者

从某种角度看,这两个条件似乎是互相依赖的,一方面,平台需要有足够多的使用者为模型和资料的提供者提供使用的动力,只有积累的足够多的使用者,激励层才能发挥最大的价值,资料的飞轮也才能转起来,这样才会有更多的 model provider 来部署模型。另一方面看,足够多的终端使用者一定是奔着好用的模型来的,使用者对于平台的选择极大程度上是对平台模型质量和能力的选择。因此,在没有积累一定数量优秀模型的前提下,这种需求是不存在的,路由演算法做的再先进,没有好的模型路由也是空谈。这就好比 apple store 的前提是 apple

因此,一种比较好的发展思路是:

初期策略

binance数字货币

积累优质模型,在初始阶段最值得关注的是建立一个优质的模型库。原因在于,无论终端使用者有多少,没有高质量的模型供他们选择和使用,平台就没有吸引力,使用者也不会有粘性和留存。通过聚焦于建立优质的模型库,平台可以确保早期的使用者能够找到他们需要的模型,从而建立品牌声誉和使用者信任,逐步建立起社群和网路效应。

扩展策略

吸引终端使用者,在建立了优质模型库之后转向吸引和留住更多的终端使用者。大量的使用者将为模型开发者提供足够的动力和利益,使他们持续提供和改进模型。此外,大量的使用者也将生成大量的资料,进一步提升模型的训练和优化。

小结

什么才是 AI marketplace 的最佳尝试?一句话说就是平台能提供足够多的优质模型,并且能高效地为使用者匹配合适的模型解决问题。这句话解决两个矛盾,首先,平台能为开发者包括模型开发者和使用者提供足够的价值,让平台上拥有足够多的优质模型;其次,这些 商品 能为使用者提供高效地解决方案,从而积累更多使用者,为各方利益提供保障。

去中心化的 AI Marketplace,是一个 AI web3 容易落地的方向,但是一个专案必须想清楚这种平台能提供的真正的价值是什么,以及如何在早期 onboard 大量使用者。其中,关键在于找到一个各方利益的平衡点,同时处理好资料所有权、模型质量、使用者隐私、算力、激励演算法等多个要素,最终成为一个资料、模型和算力的共享和交易平台。

相关报导

Google AI 聊天机器人Bard是什么?相比 ChatGPT 优缺点、谁更好用

FTX索赔网站延后开放!时间改为数周内,会以Email通知受害用户

观点》AI会如何影响未来工作?生产力矛盾的深度解读

Tags AIAI MarketplacecryptoZKML
Defi 里程碑!Uniswap 成首个交易量突破 1000亿镁的去中心化交易所

Defi 里程碑!Uniswap 成首个交易量突破 1000亿镁的去中心化交易所

2024-11-07 15:32:07

在加密货币界老大哥比特币BTC领涨飙破 50000 美元关卡之下,近期的加密货币市场一片欣欣向荣,DeFi 世界尤其热络。如 Uniswap 昨15日正式成为首个累计处理交易量超过 1000 亿美元的 DEX,虽然目前平台总锁仓量仅约 40 亿美元,但上个月交易量已经突破 300 亿美元。前情提要:...

Hash Global创办人KK:NFT蕴含庞大底层商业逻辑变化、区块链必须无感化

Hash Global创办人KK:NFT蕴含庞大底层商业逻辑变化、区块链必须无感化

2024-11-07 15:53:40

Web3 身处熊市些许冷清,NFT 市场短期更是缺乏燃料,Holders 的信心被严重打击。NFT 还会有未来吗?Web3 该如何打破人们的偏见?如何快速判断一个专案的好坏?熊市中又该做些什么?本文请到 Maodao 大厨 amp Hash Global 创办人 KK 来分享投资人视野中的 Web3...