Langsung ke konten utama

Bagaimana Mengubah Data Tidak Terstruktur menjadi Data Terstruktur dengan REGEX R?

How to make structured data from unstructured data (text) using REGEX R?

Dalam dunia Data Science, kehadiran Big Data menjadi tantangan besar. Bagaimana sebuah data yang berukuran besar, berkecepatan update yang tinggi, memerlukan piranti penyimpan besar, bervariasi, dan mengandung kompleksitas di dalamnya mampu untuk diolah secara benar agar menghasilkan insight sekaligus nilai tambah (value added) bagi perencanaan pembangunan berbasis data.

Sebagaimana bahasan-bahasan sebelumnya mengenai pemanfaatan salah satu elemen Natural Language Processing (NLP), yaitu gsub(), sub(), grep(), setidaknya kita telah mempunyai bekal minimal untuk dapat menangani aspek kompleksitas dan variasi dari Big Data. Bagi sahabat yang hendak mempelajari bahasana mengenai 3 fungsi yang telah disebutkan dapat berkunjung pada tautan berikut [1], [2], [3], [4].

Pada bagian ini, kita akan mencoba mempraktikkan kombinasi dari berbagai jenis Regular Expression (REGEX) R. Adapun tujuan dari praktik kali ini adalah untuk mentransformasi atau mengkonversi data tidak terstruktur (unstructured data) menjadi data terstruktur (structured data). Kita cukup memakai fungsi gsub() namun dengan berbagai bentuk kombinasi REGEX untuk memperoleh informasi dari data teks.

Kita ambil sebuah data teks yang berasal dari Twitter. Data ini sebenarnya merupakan data update situs Pusat Informasi Harga Pangan Strategis Nasional (PIHPS Nasional). Sebuah situs besutan Bank Indonesia sebagai upaya pemerintah menyediakan data-data terkini mengenai perkembangan harga sejumlah komoditas strategis baik menurut wilayah maupun waktu. Data update PIHPS ini kemudian disebarkan oleh sebuah robot di Twitter sehingga hanya berbentuk teks. Bagaimana keseruannya? Yuk check this out!!!....

teks <- "30/01/2023: Harga Minyak Goreng Kemasan Bermerk 1 (kg) di :

⛺ Pasar Tradisional : Rp21.700,-
🏪 Pasar Modern : Rp22.850,-
🎪 Pedagang Besar : Rp19.500,-
👨🏻‍🌾 Produsen : Rp16.149,-"

teks

## [1] "30/01/2023: Harga Minyak Goreng Kemasan Bermerk 1 (kg) di :\n\n<U+26FA> Pasar Tradisional : Rp21.700,-\n<U+0001F3EA> Pasar Modern : Rp22.850,-\n<U+0001F3AA> Pedagang Besar : Rp19.500,-\n<U+0001F468><U+0001F3FB><U+200D><U+0001F33E> Produsen : Rp16.149,-"

#Mendapatkan tanggal
gsub(":.*", "",teks) -> tgl
tgl

## [1] "30/01/2023"

#Mendapatkan komoditas
gsub(".*Harga | 1 .*", "", teks) -> komoditas
komoditas

## [1] "Minyak Goreng Kemasan Bermerk"

#Mendapatkan satuan
gsub(".*1 [(]|[)].*","", teks) -> satuan
satuan

## [1] "kg"

#Mendapatkan Harga Pasar Tradisional
gsub(".*di :| : R.* |\n\n\u26fa Pasar Tradisional : Rp|,-.*", "", teks) -> HPT
HPT

## [1] "16.149"

#Mendapatkan Harga Pasar Moderen
gsub(".*di :| : R.*|.*,-\n\U0001f3ea Pasar Modern : Rp|,-.*", "", teks) -> HPM
HPM

## [1] "22.850"

#Mendapatkan Harga Pedagang Besar
gsub(".*di :| : R.*|.*,-\n\U0001f3aa Pedagang Besar : Rp|,-.*", "", teks) -> HPB
HPB

## [1] "19.500"

#Mendapatkan Harga Produsen
gsub(".* : Rp|,-.*", "", teks) -> HP
HP

## [1] "16.149"

#Merekap dalam sebuah dataframe
dataharga <- data.frame(cbind(Tanggal = tgl,Komoditas = komoditas, Satuan = satuan,  
                              PT = HPT, PM = HPM, PB = HPB, P = HP))
dataharga

data frame hasil olah dengan regex R

Dari teks tersebut, terlihat yang awalnya merupakan data tidak terstruktur, kini berubah menjadi data terstruktur dan rapih. Insight-nya pun juga lebih mudah dibaca dan dipahami. Bahwa pada tanggal 30 Januari 2023, harga komoditas minyak goreng kemasan bermerek paling murah di tingkat produsen hanya seharga Rp. 16.149,- per kgnya, lalu sampai di konsumen yang terpantau pada pasar modern mencapai Rp. 22.850,-. Terdapat selisih harga sebesar Rp. 6.701,- per kilogramnya yang tersedia untuk biaya transportasi hingga ruang keuntungan penjualan minyak goreng bermerek.

Demikian sedikit sharing kita kali ini. Semoga sedikit ini dapat bermanfaat bagi pembaca setia blog sederhana ini. Jangan lupa untuk tetap stay tune menantikan sajian artikel menarik lainnya. Selamat memahami dan mempraktikkan!

Label:

Komentar

Posting Komentar

Postingan populer dari blog ini

Mencari P - Value dan Titik Kritis Uji F, Uji t, Uji Chi Square, dan Uji Z Normal dengan R

Mencari nilai p-value dan titik kritis Bagi teman-teman yang pernah mengenal statistika, pasti familier dengan istilah p-value dan titik kritis. P-value biasanya didefinisikan sebagai probabiltas atau peluang maksimal yang diamati dari hasil uji statistik, bahasa gampangnya adalah besarnya kesalahan penelitian berdasarkan uji statistik. Sebagai contoh sederhana, dari 100 orang dengan nama masing-masing dan diklasifikasikan ke dalam gender nama perempuan dan nama laki-laki, didapatkan nilai p-value uji statistiknya sebesar 0,05 atau 5%. Itu artinya, dari 100 orang, ada kemungkinan sebanyak 5 orang yang namanya salah klasifikasi. Dari namanya terdeteksi sebagai nama perempuan, padahal aktualnya yang bersangkutan bergender laki-laki. Sedangkan titik kritis atau titik uji adalah nilai batas pengujian hipotesis statistik, apakah masuk dalam wilayah tolak hipotesis, ataukah gagal menolaknya. Titik ini berkaitan erat dengan nilai p-value . Kalau biasanya kita mendapatkan kedua nilai ini da...
Posting Komentar
Baca selengkapnya

Cara Mendowload dan Install R serta RStudio di Windows (Step by Step)

Cara Download dan Install R serta R Studio di Windows Halo teman-teman, mohon maaf karena beberapa waktu ini, blog ini sempat vakum dari unggahan. Kali ini saya akan coba berbagai mengenai bagaimana cara mengunduh ( download ) dan menginstal ( install ) program R sekaligus R Studio khususnya di Windows. Unggahan kali ini sedikit terbalik karena semestinya saya unggah terlebih dahulu pertama kali di blog ini, namun bukan masalah, mengingat kemarin ada beberapa pihak yang meminta untuk menerangkap bagaimana tahapan mengunduh dan instalasi R dan R Studio, jadinya saya dahulukan pada unggahan ini sebelum pembahasan mengenai Data Mining , Data Science , atau bahasan Big Data kita terlampau jauh. Baik, kita akan mulai dengan bagaimana mengunduh R dan R Studio melalui mesin pencari Google. R dan R Studio ini memang beberapa waktu terakhir ini booming , apalagi dengan munculnya konsep mengenai Big Data , Data Modelling, Data Mining, dan Data Science serta Data Visualization . Sebenarnya, men...
2 komentar
Baca selengkapnya

Analisis Tipologi Klassen (Klassen Typology) dan Visualisasi Spasialnya dengan R

Tipologi Klassen dan visualisasinya dengan R Halo teman-teman, sebelumnya kita telah membahas tentang analisis Shift Share dan Location Quotient (LQ) dengan menggunakan R. Kali ini, kita akan membahas mengenai satu lagi alat analisis yang sebenarnya merupakan alat analisis tiga serangkai dari SS dan LQ, yaitu analisis Tipologi Klassen. Dalam penelitian ekonomi kewilayahan, ketiga analisis ini seringkali digunakan, baik dalam rangka melihat perkembangan dan transformasi struktur ekonomi suatu wilayah maupun melihat keunggulan kompetitif dan keunggulan komparatif wilayah satu dengan wilayah lainnya dengan mengacu wilayah referensi. Terlebih dulu, sebelum melakukan visualisasi spasial menggunakan fungsi plot(), ada baiknya kita bahas terlebih dahulu mengenai Tipologi Klassen itu sendiri. Tipologi Klassen merupakan teknik pengelompokan sektor, subsektor, lapangan usaha, atau komoditas tertentu di wilayah analisis berdasarkan pertumbuhan nilai tambah wilayah analisis terhadap nasional atau...
Posting Komentar
Baca selengkapnya