Shining Meadow

Setelah membuat rancangan multilayer neural network pada post sebelumnya , kali ini akan dijabarkan mengenai implementasi menggunakan bahasa pemrograman Python dan package  numpy untuk membantu perhitungan matematika. Untuk mengingat kembali, spesifikasi  multilayer neural network yang akan diimplementasikan adalah sebagai berikut: Terdiri dari 3 layer: 1 input layer, 1 hidden layer, 1 output layer Fungsi aktivasi tanh untuk hidden layer Fungsi aktivasi softmax(x) untuk output layer Implementasi Fungsi Bantuan Fungsi bantuan yang dibutuhkan adalah fungsi softmax dan fungsi yang mengubah target dari array N*1 menjadi array N*C di mana N adalah banyaknya records dan C adalah banyaknya kelas berbeda.  Fungsi Softmax softmax(x_j) = exp(x_j)/(exp(x_1) + exp(x_2) + ... + exp(x_k)) Pertama-tama, definisikan fungsi softmax sebagai berikut. Nantinya akan dipakai untuk fungsi aktivasi layer output.  def softmax(z): z_ex...

Post ini akan membahas pemahaman mengenai multilayer feed-forward neural network sederhana.  Pemahaman Pada post kali ini, multilayer neural network yang akan diimplementasikan adalah feed-forward network  terdiri dari input layer, 1 hidden layer, dan output layer untuk permasalahan klasifikasi. Permasalahan klasfikasi merupakan sebagai berikut: Diberikan data training = {( x1 , t1), ( x2 , t2), ... ( xn , tn)} , akan dipelajari fungsi y = h(x) yang akan mempelajari pemetaan xi ke target ti . xi merupakan vektor input sedangkan target ti adalah kelas atau label yang sesuai dengan input xi . Banyaknya node pada input layer tergantung dengan panjang vektor input. Misalkan kita mempunyai vektor input terdiri dari 2 elemen, maka banyak node = 2. Selanjutnya, pada contoh kali ini, akan dibuat 5 node pada hidden layer . Banyaknya node pada hidden layer dapat divariasikan, tetapi semakin banyak node akan semakin besar cost perhitungannya. Sementara itu, banyaknya...

Artificial neural network  (jaringan saraf tiruan) merupakan salah satu algoritme Machine Learning berdasarkan cara kerja  neuron  atau saraf pada otak manusia. Sebuah  neural network  sederhana terdiri bagian-bagian yang saling terhubung. Secara garis besar, komponen  neural network  adalah sebagai berikut: Input: ai Bias: a0*w0,j atau bisa juga b Bobot input:  wi,j Fungsi input: input = ∑wi,j * ai Fungsi aktivasi: f(input) Output: hasil dari fungsi aktivasi Gambar 1. Model untuk sebuah neuron dalam neural networks (Sumber: [1]) Fungsi aktivasi g dapat berupa macam-macam fungsi, contohnya fungsi threshold,   fungsi logistik (sigmoid), atau fungsi tanh. Fungsi threshold selalu menghasilkan nilai 0 atau 1 sedangkan fungsi logistik didefinisikan sebagai f(z) = 1/(1+exp(-z)). Fungsi tanh(z) = (exp(z) - exp(-z))/(exp(z) + exp(-z)). Perhatikan bahwa exp(x) = e^x di mana e adalah bilangan Euler bernilai kira-kira 2.718...

Setelah membahas Gradient Descent, kali ini akan dibahas mengenai Stochastic Gradient Descent (SGD). SGD sering dimanfaatkan dalam Neural Networks untuk meminimalkan error dalam mempelajari parameter.  Perbedaan SGD dengan Gradient Descent Secara Penggunaan Gradient Descent dalam mencari optimum lokal dapat memboroskan waktu yang lama karena menggunakan semua data training . Sementara itu, SGD tidak menggunakan semua data training untuk menghitung gradien pada setiap iterasi. SGD hanya menggunakan satu atau beberapa bagian saja dari data training yang dipilih secara acak. Keuntungan dari SGD adalah tidak menggunakan memory sebanyak Gradient Descent sehingga bisa konvergen lebih cepat daripada Gradient Descent tradisional. Kenapa demikian? Misalkan kita memiliki data training berisi pasangan (xi, yi). Diberikan sebuah fungsi h: X -> Y untuk memprediksi xi sehingga dihasilkan h(x) sebagai berikut h( x ) = θ0 + θ1x1 + θ2x2 + ... + θnxn     ...

Dulu saat di Matematika SMA, diajarkan bahwa untuk mencari nilai maksimum atau nilai minimum dari sebuah fungsi f(x), dicari x yang membuat turunan pertama f'(x) = 0. Jika turunan kedua f''(x) < 0, kurva cekung ke bawah. Artinya titik (x, f(x)) adalah titik maksimum. Jika f''(x) > 0, kurva cekung ke atas dan titik (x, f(x)) adalah titik minimum.  Dalam kasus itu, x adalah anggota himpunan bilangan Real, sehingga dimensinya adalah 1.  Sementara itu, Gradient Descent , atau juga bisa disebut Steepest Descent , digunakan untuk mencari nilai minimum dari sebuah fungsi multi-variabel F  : Rn -> R . Artinya dimensi input untuk fungsi F(x) adalah suatu vektor x. Output dari fungsi f adalah bilangan real y. Jika yang dicari adalah nilai maksimum fungsi, maka namanya Gradient Ascent . Yah, descent dalam bahasa Inggris berarti "turun" sedangkan ascent berarti "naik." Cara kerja Gradient Descent adalah  Memberi tebakan awal θ .  T...

Halo, kali ini post bukan tentang pemrosesan teks, tetapi lebih mengenai pengalaman saya membuat SIM Internasional. Jadi hari ini saya baru saja membuat SIM Internasional di Korlantas Polri. Berdasarkan informasi yang saya dapatkan, yang perlu dibawa adalah: 1. KTP asli dan 1 lembar fotokopi KTP 2. SIM asli yang masih berlaku dan 1 lembar fotokopi SIM 3. Paspor asli dan 1 lembar fotokopi Paspor 4. 4 lembar foto 4x6 dengan latar belakang biru (perempuan memakai jas dan laki-laki memakai dasi) 5. Materai Rp 6000 Setelah menyiapkan persyaratan tersebut, saya pergi ke Korlantas Polri di Jl. Letnan Jendral MT Haryono No 37-38 Jakarta yang katanya buka Senin-Jumat jam 8:00 - 15:00. Pelayanan pembuatan SIM Internasional benar-benar mengesankan. Saya datang hari Jumat jam 14:20 karena pagi-pagi ada urusan, kemudian terjebak kemacetan dan agak bingung menemukan gedung Korlantas Polri. Ternyata lama proses pengerjaan SIM Internasional hanya memakan waktu 10 menit. Bahkan hanya butuh 3 ...

MALLET  (Machine Learning Language Toolkit) is a useful Java-based tool for natural language processing developed by the University of Massachusetts, Amherst. By using MALLET, we can do document classification, sequence tagging, or topic modeling. This tutorial shows how to install MALLET on Windows. 1. Download zip file of Mallet from  http://mallet.cs.umass.edu/download.php . In this tutorial, I download  mallet-2.0.8RC3.zip  version.  2. Extract files to any directory as you wish. This time, I extract files to drive E:\ and rename the directory as "mallet". 3. Open Control Panel. Edit system environment variables. 4. Click "Environment Variables". 5. Create new user variable "MALLET_HOME" and set path to mallet directory. 6. Test whether MALLET is working by opening Command Prompt. Go to path where you have put MALLET files. In this example, it is"E:\mallet\". Type bin\mallet on command prompt. If you see the ...