这是一个对您有用的社区

一对一的交流/采访手册/简历优化/求职和回答问题,欢迎加入“”知识星球。以下是地球提供的一些信息:

雪花算法工具类型有哪些_雪花算法工具类_雪花算法workid

这是一个可能对您有用的开源项目

国内恒星具有一个10W +开源项目,包括管理后端 +微信小计划,后端支持单体和微服务体系结构。

功能涵盖RBAC权限,SaaS多租户,数据权限,购物中心,付款,工作流程,大屏幕报告,微信公共帐户和其他功能:

系统的独特ID是我们在设计系统时经常遇到的问题,我们经常为其挣扎。

本文是为您提供生成分布式独特的全球ID生成解决方案的想法,希望能帮助所有人。

请给我一些有关缺点的建议!呢

基于Spring Boot + MyBatis Plus + Vue&Element实施的后端管理系统 +用户APPLET,支持RBAC动态权限,多租户,数据权限,工作流程,工作流程,三方登录,付款,付款,SMS,购物中心和其他功能

在复杂的分布式系统中,通常有必要唯一地识别大量数据和消息,例如财务,付款,餐饮和梅图恩·丹(Meituan Dianping)

Maoyan电影等产品系统中的数据正在逐渐增加。将数据库分为数据库后,需要一个唯一的ID来识别数据或信息。

特殊的Ian的订单,骑手和优惠券都需要具有唯一的ID作为标识。

目前,可以生成全局唯一ID的系统非常必要

单调增加

信息安全

随时间戳记

低潜伏期

高QP

后端管理系统 +基于弹簧云的用户applet基于阿里巴巴 +网关 + NACOS + ROCKETMQ + VUE&Element,支持RBAC动态权限,多租户,数据权限,工作流,工作流程,三方登录,付款,付款,SMS,SMS,MALS,购物中心和其他功能

uuid.randomuuid(),UUID标准类型包含32个十六进制的数字,分为5个带有连字符的细分,形式为8-4-4-4-4-4-12,具有很高的性能,本地发电,没有网络消耗。

输入数据库的性能很差,因为UUID无序

统一,无法预测其发电顺序,无法生成增量订单数字

首先,分布式ID通常被用作逐渐使用,但是根据MySQL的官方建议,较短的主要键,越好。每个UUID都很长,因此不是很建议。

当将主键和ID用作主要密钥时,在特定环境中会出现一些问题。

例如,在制作DB主键的情况下,UUID非常不合适。 MySQL官员有明确的指示。

索引,B+树索引拆分

由于分布式ID是主键,因此主键包含索引,MySQL的索引通过B+树实现。为了进行查询优化,将修改索引底部的B+树。由于UUID数据是无序的,每次插入UUID数据时,主键的B+树就会大大修改。这不好。插入完全无序,这不仅会导致某些中间节点分裂,而且还会徒劳地产生许多不饱和的节点,从而大大降低了数据库插入的性能。

UUID只能确保全球唯一性,并且不能满足随后的趋势增加,单调增量

在分布式形式中,数据库的自我调查ID机制的主要原理是:数据库自我调查ID和替换为MySQL数据库。替换为此类似于插入功能。区别在于,首先尝试将其插入数据列表。如果您发现表中已经存在此行数据(基于主键或唯一索引),请先将其删除并插入它,否则直接插入新数据。

替换为插入记录,如果表中唯一索引的值遇到冲突,请替换旧数据。

雪花算法工具类型有哪些_雪花算法workid_雪花算法工具类

REPLACE into t_test(stub) values('b');
select LAST_INSERT_ID();

每次插入时,我们都会发现原始数据将被替换,并且ID将会增加。

这是令人满意的

在分布式案例和并发不大的情况下,该解决方案可用于解决该解决方案以获得全局唯一的ID

那么,数据库自我插入ID机制是否适用于分布式ID?答案不是很合适

系统级扩展更加困难。例如,在定义了机器的步长和数量之后,如果要添加机器,该怎么办?假设有一台机器是:1、2、3、4、5,(步骤尺寸为1),目前需要扩展一台机器。您可以做到这一点:设置第二个孩子的初始值远远超过第一台机器,这似乎更好,但是如果在线有100台机器,我当时应该做的只是一场噩梦,因此系统级的扩展解决方案很复杂且难以实现。

数据库压力仍然很高。每次获得ID时,都必须读取和编写数据库,这对性能非常有影响,并且不符合分布式ID中低延迟和高QP的规则(在高并发下,如果您都去数据库获得ID来获得ID,它将非常影响性能)

因为redis是一个线程,并且本质上保证具有原子关系,因此可以使用原子操作递增和递增来实现它以实现它

递增:设置增长步长

注意:在Redis群集的情况下,需要像MySQL一样设置不同的增长步骤,并且必须将密钥设置为有效期。您可以使用redis群集获得更高的吞吐量。

假设一个群集中有5个redis,并且每个redis的值可以初始化为1、2、3、4、5,然后将步长设置为5。

每个redis生成的ID是:

A:1 6 11 16 21
B:2 7 12 17 22
C:3 8 13 18 23
D:4 9 14 19 24
E:5 10 15 20 25

但是问题在于,Redis群集的维护和维护更加麻烦,配置很麻烦。由于需要单点故障,所以哨兵在值班

但是主要的问题是,对于ID,需要引入整个Redis群集,这使得杀死鸡的刀感觉好像是一把刀。

Twitter的分布式自我提示ID算法,雪花

最初,Twitter将存储系统从MySQL迁移到Cassandra(Facebook开发的开源分布式NOSQL数据库系统)。由于Cassandra没有顺序的ID生成机制,因此所有人都开发了如此独特的ID生成服务。

Twitter的分布式雪花算法雪花,经测试的雪花可以产生260,000个自我提示和可排序的ID

在分布式系统中,有些场景需要全球唯一的ID,以及生成ID的基本要求

雪花算法的几个核心组成部分

在Java中,64位证书是长期的,因此雪花算法生成的ID存储在长班级中

二进制中的最高位是符号位,1表示负数,而0表示正数。生成的ID通常是整数,因此最高位固定为0。

第二部分是用来记录时间戳的41位时间戳位,以毫秒为单位。

41位可以表示2^41 -1个数字

如果仅使用它来表示正整数,则可以表示的范围为:0-2^41 -1,而减1是因为可以表示可以表示的数值值范围是从0计算得出的,而不是从1计算。

也就是说,41位可以表示2^41-1毫秒的值,将它们转换为单位年度为69.73年。

第三部分是工作机ID,用于记录工作机ID。

可以在2^10 = 1024个节点部署,包括5位数据中心(数据中心,计算机室)和5位WorkerID(机器代码)

5位可以表示的最大正整数为2^5 = 31个数字,代表不同的数据中心和机器代码

可以使用12位位的正整数为2^12 = 4095,即0 1 2…4094可用于表示在同一机器的同一时间戳中生成的4095 ID号。

所有生成的ID均由时间趋势递增

整个分布式系统中不会有重复的ID,因为有数据中心和工作人员可以区分它们。

雪花算法由Scala算法编写。有人使用java,github地址实施它

/**
 * twitter的snowflake算法 -- java实现
 * 
 * @author beyond
 */

public class SnowFlake {

    /**
     * 起始的时间戳
     */

    private final static long START_STMP = 1480166465631L;

    /**
     * 每一部分占用的位数
     */

    private final static long SEQUENCE_BIT = 12//序列号占用的位数
    private final static long MACHINE_BIT = 5;   //机器标识占用的位数
    private final static long DATACENTER_BIT = 5;//数据中心占用的位数

    /**
     * 每一部分的最大值
     */

    private final static long MAX_DATACENTER_NUM = -1L ^ (-1L << DATACENTER_BIT);
    private final static long MAX_MACHINE_NUM = -1L ^ (-1L << MACHINE_BIT);
    private final static long MAX_SEQUENCE = -1L ^ (-1L << SEQUENCE_BIT);

    /**
     * 每一部分向左的位移
     */

    private final static long MACHINE_LEFT = SEQUENCE_BIT;
    private final static long DATACENTER_LEFT = SEQUENCE_BIT + MACHINE_BIT;
    private final static long TIMESTMP_LEFT = DATACENTER_LEFT + DATACENTER_BIT;

    private long datacenterId;  //数据中心
    private long machineId;     //机器标识
    private long sequence = 0L//序列号
    private long lastStmp = -1L;//上一次时间戳

    public SnowFlake(long datacenterId, long machineId) {
        if (datacenterId > MAX_DATACENTER_NUM || datacenterId < 0) {
            throw new IllegalArgumentException("datacenterId can't be greater than MAX_DATACENTER_NUM or less than 0");
        }
        if (machineId > MAX_MACHINE_NUM || machineId < 0) {
            throw new IllegalArgumentException("machineId can't be greater than MAX_MACHINE_NUM or less than 0");
        }
        this.datacenterId = datacenterId;
        this.machineId = machineId;
    }

    /**
     * 产生下一个ID
     *
     * @return
     */

    public synchronized long nextId() {
        long currStmp = getNewstmp();
        if (currStmp < lastStmp) {
            throw new RuntimeException("Clock moved backwards.  Refusing to generate id");
        }

        if (currStmp == lastStmp) {
            //相同毫秒内,序列号自增
            sequence = (sequence + 1) & MAX_SEQUENCE;
            //同一毫秒的序列数已经达到最大
            if (sequence == 0L) {
                currStmp = getNextMill();
            }
        } else {
            //不同毫秒内,序列号置为0
            sequence = 0L;
        }

        lastStmp = currStmp;

        return (currStmp - START_STMP) << TIMESTMP_LEFT //时间戳部分
                | datacenterId << DATACENTER_LEFT       //数据中心部分
                | machineId << MACHINE_LEFT             //机器标识部分
                | sequence;                             //序列号部分
    }

    private long getNextMill() {
        long mill = getNewstmp();
        while (mill <= lastStmp) {
            mill = getNewstmp();
        }
        return mill;
    }

    private long getNewstmp() {
        return System.currentTimeMillis();
    }

    public static void main(String[] args) {
        SnowFlake snowFlake = new SnowFlake(23);

        for (int i = 0; i < (1 << 12); i++) {
            System.out.println(snowFlake.nextId());
        }

    }
}

Hutools工具包

地址:

介绍hutool工具类

<dependency>
    <groupId>cn.hutool</groupId>
    <artifactId>hutool-all</artifactId>
    <version>5.3.1</version>
</dependency>

一体化

/**
 * 雪花算法
 *
 * @author: 陌溪
 */

public class SnowFlakeDemo {
    private long workerId = 0;
    private long datacenterId = 1;
    private Snowflake snowFlake = IdUtil.createSnowflake(workerId, datacenterId);

    @PostConstruct
    public void init() {
        try {
            // 将网络ip转换成long
            workerId = NetUtil.ipv4ToLong(NetUtil.getLocalhostStr());
        } catch (Exception e) {
            e.printStackTrace();
        }
    }

    /**
     * 获取雪花ID
     * @return
     */

    public synchronized long snowflakeId() {
        return this.snowFlake.nextId();
    }

    public synchronized long snowflakeId(long workerId, long datacenterId) {
        Snowflake snowflake = IdUtil.createSnowflake(workerId, datacenterId);
        return snowflake.nextId();
    }

    public static void main(String[] args) {
        SnowFlakeDemo snowFlakeDemo = new SnowFlakeDemo();
        for (int i = 0; i < 20; i++) {
            new Thread(() -> {
                System.out.println(snowFlakeDemo.snowflakeId());
            }, String.valueOf(i)).start();
        }
    }
}

获得结果

1251350711346790400
1251350711346790402
1251350711346790401
1251350711346790403
1251350711346790405
1251350711346790404
1251350711346790406
1251350711346790407
1251350711350984704
1251350711350984706
1251350711350984705
1251350711350984707
1251350711350984708
1251350711350984709
1251350711350984710
1251350711350984711
1251350711350984712
1251350711355179008
1251350711355179009
1251350711355179010

欢迎加入我的知识星球,以全面提高技术能力。

还要补充,“长按”或“扫描”以下QR码:

地球的内容包括:项目实践,面试招聘,源代码分析和学习路线。

雪花算法workid_雪花算法工具类_雪花算法工具类型有哪些

雪花算法工具类型有哪些_雪花算法工具类_雪花算法workid

雪花算法工具类_雪花算法工具类型有哪些_雪花算法workid

雪花算法workid_雪花算法工具类型有哪些_雪花算法工具类

文章有帮助的话,在看,转发吧。

谢谢支持哟 (*^__^*)

本网站每日更新互联网创业教程,一年会员只需98,全站资源免费下载点击查看会员权益

发表回复

您的电子邮箱地址不会被公开。 必填项已用 * 标注