大数据开发-1名
办公地点:远程(支持国内远程)
薪资待遇:面议
工作时间:9小时,周休1
国籍要求:中国
性别要求:不限
年龄要求:21岁以上
工作职责:
1、负责大数据平台的设计、开发和维护,包括数据采集、存储、处理和分析系统的构建。
2、参与数据仓库的设计与开发,完成ETL流程的搭建与优化。
3、使用Hadoop、Spark、Flink等大数据框架处理海量数据,确保系统的高性能和可扩展性。
4、解决数据处理中的性能瓶颈,优化系统架构,提升数据处理效率。
5、编写技术文档,记录系统设计和开发过程,确保团队知识共享。
6、关注大数据领域的最新技术动态,持续提升团队的技术能力
工作要求:
1、精通PHP和golang,熟悉Laravel、Symfony等框架。
2、熟悉Hadoop生态(HDFS、MapReduce、YARN)及Spark、Flink等大数据处理框架。
3、熟悉SQL和NoSQL数据库(如MySQL、PostgreSQL、MongoDB),具备复杂查询和优化的能力。
4、熟悉Kafka、Flume等数据采集工具,了解实时数据处理流程。
5、 熟悉Hive、HBase、Cassandra等数据存储技术,具备数据仓库设计和开发经验。
6、 熟悉消息队列系统,如RabbitMQ、Kafka。
7、熟练使用Redis、Elasticsearch、MongoDB 等数据库进行高效存储和查询。
8、了解微服务架构,能够将大数据系统拆分为独立的服务模块。
9、 具备分布式系统设计经验,能够设计高可用、可扩展的大数据平台。
10、具备良好的沟通能力,能够与跨职能团队紧密合作。
11、对新技术有强烈的兴趣,能够快速学习并应用到实际工作中。
12、具备创新思维,能够提出优化系统性能和数据处理的解决方案。
13、 具备良好的文档编写能力,能够撰写清晰的技术文档和分析报告。
14、 具备较强的责任心和保密意识,能够严格遵守数据安全规定。
15、有高并发、高可用系统开发经验者优先
TELE : @XIXI3399
|
|