好的，我将尽力给出关于“任务分片”的解释和相干知识。
任务分片是一种散布式计算技术，它将大范围的计算任务分解成若干个小范围的任务，并在多个节点上并行履行这些小任务。通过这类方式，可以大大提高计算效力，同时下降单个节点的压力。
任务分片通常触及到以下步骤
1、 任务分割将一个大的任务拆分成若干小任务。
2、 分片分配将这些小任务均匀地散布在各个节点上。
3、 计算履行每一个节点负责履行自己的任务。
4、 结果合并将各个节点的结果进行汇总，得到终究结果。
任务分片有多种实现方式，如基于MapReduce、Spark等大数据处理框架的任务分片。还有一些开源的任务分片系统，如Hadoop HDFS、Kubernetes、Apache Mesos等。
任务分片是一种有效的散布式计算技术，可以帮助我们提高计算效力，应对大范围数据处理的需求。
工作中如何避免多线程任务处理？
避免多线程任务处理可能是出于以下一些原因资源限制、简化代码逻辑、避免竞态条件、提高可维护性等。以下是一些方法来避免多线程任务处理
1. 优化算法和数据结构通过优化算法和数据结构，可以减少对多线程的需求。在设计阶段，可以考虑如何降低时间复杂度和空间复杂度，以减少任务处理的负担。
2. 异步编程使用异步编程模型，例如回调函数、事件驱动或者异步协程，可以避免显式地使用多线程。这样可以在单个线程中处理多个任务，而不需要创建多个线程。
3. 进程间通信如果任务需要并行处理，但是不想使用多线程，可以考虑使用多进程处理。进程间通信可以通过消息队列、管道或者共享内存来实现。
4. 使用线程池如果有必要使用多线程，可以考虑使用线程池来管理线程。线程池可以控制线程的数量，避免线程创建和销毁的开销，并提供任务调度和资源管理的功能。
5. 减少共享资源多线程处理可能会引发竞态条件和死锁等问题。为了避免这些问题，可以减少共享资源的使用。尽量使用局部变量而不是全局变量，避免多个线程同时访问共享数据。
6. 使用同步机制如果无法避免多线程处理，确保在访问共享资源时使用适当的同步机制，如互斥锁、条件变量等。这样可以避免竞态条件和数据不一致的问题。
无论是否使用多线程处理，都应该根据具体情况选择最合适的方案。在设计和实现过程中，要考虑到性能、可维护性、可扩展性以及代码的复杂性等因素。
分布式任务elasticjob框架原理了解及使用
ElasticJob是一个弹性的分布式任务调度框架，这里的分布式就是采用分片的来进行任务调度和业务执行的解耦，分片信息就是中间进行解耦的。ElasticJob任务调度框架调度触发执行的是分片，然后业务可以在框架触发对应分片信息的时候，增加自己业务的处理。分片这个思想挺不错的，把任务调度框架和实际业务解耦的相当好。
ShardingListenerManager分片管理监听器在ElasticJob启动的就是开启了监听，这里是开启了2个监听器ShardingTotalCountChangedJobListener(分片节点总数变化监听器)和ListenServersChangedJobListener(服务器改变监听器)。
获取zookeeper下发的分片个数变化事件的通知，判断新分片数和原分片数是否相等，不相等的话设置需要重新分片的标记，创建/leader/shardingeccessary持久节点。
instance和servers节点下有子节点变化会被监听到，这个时候也会去设置下需要重新分片的标记/leader/shardingeccessary节点。
上面是触发生成了需要重新分片的标记，具体分片的执行时在任务执行的过程中。在作业任务执行的时候需要获取分片信息，这个时候会完成重新分片的执行。
一、.为什么要使用elasticjob
1. 可动态修改任务执行时间, 解决quartz 修改配置需重启系统问题. 可运维.
2: 可通过调整分片的方式, 动态调整任务执行线程的数量. 动态改变任务吞吐量.
3: Lite-Job 一台机器能起一个实例, 多台机器分别起实例同时执行, 解决quartz 单机执行问题, 可扩展.
二、elasticjob原理
底层执行仍然采用quartz，执行过程中会对数据进行取膜。取膜结果与当前服务器拥有的分片做比较，相等则执行，否则不予执行。
单机多分片情形job触发时会new多个线程执行（每个线程的分片数不同）
多机多分片情形job触发时会先去zookeeper节点下的leader节点检测看是否有sharding目录下的necssary节点，有则会重新执行分片。分片策略参考如下。
三、分片策略
1.AverageAllocationJobShardingStrategy
基于平均分配算法的分片策略，也是默认的分片策略。
如果分片不能整除，则不能整除的多余分片将依次追加到序号小的服务器。如
如果有3台服务器，分成9片，则每台服务器分到的分片是1=[0,1,2], 2=[3,4,5], 3=[6,7,8]
如果有3台服务器，分成8片，则每台服务器分到的分片是1=[0,1,6], 2=[2,3,7], 3=[4,5]
如果有3台服务器，分成10片，则每台服务器分到的分片是1=[0,1,2,9], 2=[3,4,5], 3=[6,7,8]
2.OdevitySortByNameJobShardingStrategy
根据作业名的哈希值奇偶数决定IP升降序算法的分片策略。
作业名的哈希值为奇数则IP升序，作业名的哈希值为偶数则IP降序。
用于不同的作业平均分配负载至不同的服务器。
AverageAllocationJobShardingStrategy的缺点是，一旦分片数小于作业服务器数，作业将永远分配至IP地址靠前的服务器，导致IP地址靠后的服务器空闲。而OdevitySortByNameJobShardingStrategy则可以根据作业名称重新分配服务器负载。如
如果有3台服务器，分成2片，作业名称的哈希值为奇数，则每台服务器分到的分片是1=[0], 2=, 3=[]
如果有3台服务器，分成2片，作业名称的哈希值为偶数，则每台服务器分到的分片是3=[0], 2=, 1=[]
3.RotateServerByNameJobShardingStrategy
根据作业名的哈希值对服务器列表进行轮转的分片策略。
四、处理方式
1、SimpleJob类型处理方式
意为简单实现，未经任何封装的类型。需实现SimpleJob接口。该接口仅提供单一方法用于覆盖，此方法将定时执行。与Quartz原生接口相似，但提供了弹性扩缩容和分片等功能。
2、DataflowJob类型作业
流式处理类型作业
即使实现了DataflowJob接口 默认也是不开启流式作业。
何为流式？ 就是fetchData后List，调用processData时候，传整个list。执行后再去fetch，如果还有符合条件的继续processData。
非流式只有时间片到了才触发执行。
还有一点， fetch的List, 会遍历list，每条记录作为task扔到线程中，processData（List）,每次处理的都是一条数据。
评论(0)