Data Engineer

2020.01.01 Thailand

[Responsibilities]

• Design, build, optimize, launch and support new and existing data models and ETL processes in production

• Interface with engineers, product managers and product analysts to understand data needs

• Manage and verify data accuracy for Hadoop cluster

• Take responsibility of support for Hadoop cluster environment including Hive, Spark, HBase, Presto, etc.


[Required Qualifications]

• Bachelor’s degree or equivalent experience in Computer Science or a related field

• 4+ years of experience in custom ETL design, implementation and maintenance on Hadoop clusters

• 4+ years of experience with hand-on development coding

• Understanding of Hadoop ecosystem such as HDFS, YARN, MapReduce, Zookeeper, Kafka, HBase, Spark and Hive

• Strong SQL skills, especially in the area of data aggregation

• Good understanding of distributed system, basic mathematics such as statistics and probability

• Comfort with Git version control


[Preferred Qualifications]

• Experience building real-world data pipelines

• Automation skills such as Airflow, Python and Bash code

• Experience in Druid, GeoMesa, or GeoWave is a plus

• Experience with A/B testing environment

• Experience with analytics tools such as R, Matlab

• Strong Java or Scala skills


[Location]

LINE Head Office, Gaysorn Village, Bangkok


List