Category Archives: Machine Learning

Switch to Conjugate Gradient

Since I posted about autoencoder neural network on my blog (2 years ago), there are many people visit my Github for that code, Hooray !! Thank you very much everyone. And again I have a new update for that code. I switch to use Conjugate Gradient instead of generative back-propagation. Someone may think is that take 2 years to update it, NO but i’m too lazy.

While I posting autoencoder article, I realize that we need better than normal backpropagation. So I try to explore “What is the easy way to change and what algorithm to swiched to?”. Then I found that in scipy library, it contains optimization algorithm in scipy.optimize module. So you can change the optimization algorithm whatever you want that build within scipy.optimize module. This link is refer to Github page of old autoencoder but the Conjugate Gradient is on conjugate branch.

Why do I switch to Conjugate Gradient? After I study UFLDL lesson within advance optimization part. There is a phrase say that Conjugate Gradient is better than Gradient Descent (Classic Back-propagation). So I started to study about Conjugate Descent and other advance optimization, but I don’t understand them. Finally, I found out the workaround to improve my implementation by using scipy library. If anyone have any suggestion, please comment. Thanks.

Object detection using OpenCV

หลังจากที่ห่างหายไปนานมากเป็นปีเลยทีเดียว วันนี้ก็ได้กลับมาเขียนอีกครั้ง ก็ไม่มีอะไรจะแก้ตัวครับขี้เกียจเป็นหลัก ในวันนี้จะนำเสนอเรื่อง Object detection โดยใช้ HOG และ SVM ผ่านไลบรารี่ OpenCV ซึ่งจริงๆ ใน GitHub ของ OpenCV มีโค้ดส่วนนี้อยู่แล้ว อยู่ใน samples/cpp/train_HOG.cpp ในบทความนี้แค่มาใช้ให้ดูเท่านั้นครับ สำหรับผมใช้ Ubuntu 14.04 และ OpenCV เวอร์ชัน 3 ในการพัฒนาโปรเจคนี้ครับ

ภาพรวมของโปรเจคนี้มีสองขั้นตอนครับ คือเตรียมข้อมูลและ Train model ซึ่งเป็นหน้าที่ของโค้ด train_HOG ของ OpenCV การทำงานของ train_HOG.cpp คือการนำข้อมูลนำเข้าทั้ง Positive และ Negative ไป train โมเดล linear SVM ซึ่งมีการปรับแก้ไขโค้ดเล็กน้อยเพื่อให้เข้ากับโปรเจคที่เราจะทำ นั่นคือการทำ iPhone detection สามารถเข้าไปดูได้ที่ link นี้

ขั้นตอนแรก การเตรียมข้อมูล ข้อมูลประกอบด้วยข้อมูลสองชนิด (Positive, Negative) เริ่มต้นจาก Negative มันคือภาพที่ไม่ใช่วัตถุที่เราจะตรวจจับ ซึ่งเอามาจาก link นี้ ส่วนภาพวัตถุที่จะตรวจจับเราสามารถสร้างเองก็ได้แต่ในที่นี้จะใช้วิธี populate ขึ้นมาจากตัวอย่างที่มีอยู่หนึ่งภาพโดยใช้ opencv_creasamples หลักการคือโปรแกรมจะเอาภาพตัวอย่างไปหมุนและแปะลงบนภาพ Negative เช่นตัวอย่างด้านล่าง

Generated Data

โดยใช้คำสั่งตามข้างล่างนี้

# opencv_createsamples -img images/iphone.jpg -bg negatives/negatives.txt -info positives/positives.txt -num 3000 -bgcolor 255 -bgthresh 8 -w 40 -h 80 -maxxangle 0.5 -maxyangle 0.5

ซึ่งการจะใช้โปรแกรม opencv_createsamples จำเป็นต้องมีไฟล์ negatives.txt ซึ่งคือไฟล์ที่มีรายชื่อของภาพที่จะใช้ ซึ่งเราสามารถสร้างได้โดยใช้คำสั่งข้างล่างนี้

# ls -1 negatives/ > negatives/negatives.txt

และขั้นตอนต่อไปคือการ Train model โดยใช้ train_HOG.cpp ซึ่งสิ่งที่ต้องมีเพื่อใช้กับโปรแกรม train_HOG คือภาพ negative 1 โฟลเดอร์ และภาพ positive 1 โฟลเดอร์ พร้อมด้วยไฟล์ .txt ที่มีรายชื่อของไฟล์ภาพทั้งหมด เพียงเท่านี้เราก็สามารถ train HOG SVM ได้แล้ว แต่สำหรับโค้ดผมจะมีการโหลดภาพทดสอบ เพื่อทดสอบโมเดลที่เรา train มาด้วย โดยคำสั่งที่ใช้ train ตามนี้ครับ

# ./train_HOG --pd=positives/ -p=positives.txt -nd=negatives/ -n=negatives.txt

ภาพผลลัพธ์ทางนี้เลยยังไม่สมบูรณ์มากแต่ก็พอเป็นแนวทางในการริเริ่มทำ object detection ของวัตถุอื่นๆ ได้ครับ ขอบอกว่า ณ ตอนนี้ OpenCV รองรับเพียง linear model ถ้าว่างๆ ผมจะลองพัฒนาโค้ดให้สามารถรับ rbf model ได้ละกัน แล้วก็ใครรู็สึกว่า model ไม่ค่อยดีเท่าไหร่ ลองดู reference ข้างล่างมีวิธีการ train แบบ Haar Cascade อยู่ ซึ่งหลายคนบอกว่าให้ผลดีกว่า HOG SVM แต่ใช้เวลาในการ train นานมาก กอไก่หลายตัว ก็ลองทำตามกันดูครับ ถ้าใครมีผลลัพธ์อย่างไรเอามาแนะนำและแบ่งปันกันก็ได้ครับ (ขอขอบคุณภาพจาก http://kooc.market/)

Uber Dynamic Pricing Model

คราวนี้มาเป็นเรื่องแปลเหมือนกันหลายคนคงเบื่อ อย่าพึ่งเบื่อลองอ่านดูก่อน ปกติผู้เขียนเป็นคนที่ใช้บริการ Uber ระดับหนึ่งคือเปิด Uber ดูก่อนว่ามีรถใกล้ๆ มั้ย ถ้าใกล้ก็เรียกถ้าไกลก็ออกไปโบกแท๊กซี่แทน และแล้วก็ได้มีโอกาสคุยกับคนขับ ถามว่าได้เงินดีมั้ย คนขับบอกว่า ดีนะตอนแรกก็รู้สึกว่าไม่คุ้มตอนที่รับผู้โดยสาร แต่ตอนที่บิลจ่ายเงินมานั้น Uber จะมีการประกันรายได้อยู่ว่าถ้าช่วงนี้ทำไม่ได้ตามเป้าจะมีการจ่ายให้ตามเป้าด้วย เมื่อได้ฟังดังนั้นจึงเกิดการสงสัยขึ้นทันทีว่า ห๊ะ ประกันรายได้ แล้วบริษัทเอาเงินจากไหนมาจ่ายหล่ะ จึงลองไปหาดู

ปรากฎว่า ไม่ได้มีการประกันรายได้ทุกคน (ไม่รู้จริงเปล่า) ต้องเป็นคนที่ทำเควสของ Uber ได้ เท่านั้นก็เก็ทเลย จึงทำให้สงสัยขึ้นมาทันทีว่าแล้วใครคิดเควสหล่ะ แล้วรู้ได้ไงว่าจะต้องมอบเควสให้กับใคร พอลองศึกษาเพิ่มก็พบกับคำๆหนึ่งคือ Gamification เป็นเรื่องของการที่เอาองค์ประกอบของเกม มาใช้กับชีวิตประจำวันให้สนุกและท้าทายขึ้น เช่น มีระบบ Point ระบบ Level เพื่อเพิ่มความสนุกและสร้างฐานผู้ใช้ที่ดีเลยทีเดียว เพราะงั้น Uber ใช้ระบบจัดการแบบออโต้เพื่อจัดการทุกอย่างเลย อย่างโหด

Uber ยังไม่มีการเปิดเผยใดๆ เรื่องของเควส (จริงๆ แล้วหาไม่เจอแหละแฮะๆ) เนื่องจากเป็นคนชื่นชอบเรื่องอัลกอริทึม เลยลองหาดูว่าแล้วมีอย่างอื่นที่ Uber ทำหรือไม่ ปรากฎเจอเรื่อง Dynamic Pricing Model คือการปรับราคาตามความต้องการของตลาด ถ้าพูดให้ถูกภาษาเศรฐศาสตร์ คือ Supply & Demand เช่น ผู้โดยสารต้องการเยอะ Uber จะขึ้นราคาเพื่อให้คนที่ต้องการใช้บริการ Uber จริงๆ เพราะคนขับมีจำกัด เมื่อหมดช่วงเวลาเร่วด่วนก็ปรับราคากลับมาเท่าเดิม ดูเหมือนง่ายเลย แต่มีส่วนผสมในรายละเอียดของ Dynamic Pricing Model อีกมาก เช่น ต้องคาดเดาให้ได้ก่อนเกิดชั่วโมงเร่งด่วนจากนั้นจะมี notification ไปบอกคนขับว่าออกมาขับได้แล้วได้เงินเพิ่มนะ หรือการเตือนผู้โดยสารอย่างไรเพื่อไม่ให้ผู้โดยสารโมโหว่าทำไมขึ้นราคาแพงจังเลย

นอกจากนั้น Uber ยังมีการให้ผู้โดยสารให้คะแนนคนขับ และให้คนขับให้คะแนนผู้โดยสารเพื่อดูพฤติกรรมอีกด้วย นอกจากนั้นยังมีการดูว่าคนขับปฎิเสธผู้โดยสารบ่อยรึเปล่าและอื่นๆอีก ซึ่งระบบ Dynamic Pricing Model ไม่ได้มีแต่ใน Uber นะ โรงแรม สายการบินและอื่นๆ ก็ใช้ระบบนี้กันทั้งนั้น สุดท้าย Uber บอกว่าการปรับราคาตามความต้องการของตลาดนั้นไม่มีผลต่อผู้ใช้มากเท่าไหร่เพราะเมื่อผู้ใช้รู้สึกว่าแพงเกินไปไม่อยากจ่าย ก็จะพบว่าแท๊กซี่ช่วงนั้นก็หายากเช่นกัน (มันเลยแพงไง ก็ชั่วโมงเร่งด่วนหนิ) ทำให้ผู้โดยสารไม่ค่อยติมากเท่าใด

ใครสนใจลองไปอ่านต่อเพิ่มเติมได้นะจาก Reference ข้างล่าง ยังไงคราวหน้าจะเตรียมเนื้อหาให้ดีกว่านี้นะ และจะใส่รูปเพิ่มขึ้นด้วยนะ ยังไงก็ติดตามกันนะ สุดท้ายนี้อยากบอกว่าไม่ได้ค่าโฆษณาจาก Uber แต่อย่างใด ขอบคุณครับ

Evolution of Recommendation Systems

สวัสดีผู้อ่านทุกท่าน รอบนี้ต้องบอกเลยว่าหาเนื้อหามาเขียนไม่ทันอีกแล้ว 555 ขอโทษผู้อ่านด้วย โพสนี้เลยจะแนะนำเรื่องราวของ Recommendation System จริงๆ ก็แปลมาแหละ ลองอ่านๆ กันดูนะครับ

ในปัจจุบันการเลือกซื้อสินค้า เข้าร้านอาหาร และดูภาพยนตร์ ต้องบอกเลยว่าถูกชักจูงจากระบบ Recommendation System (ย่อยสั้นๆ ว่า RS ละกัน) เป็นส่วนมาก RS  เปลี่ยนพฤติกรรมผู้ใช้ไปมาก คอยแนะนำ คอยชักจูง บางทีเรายังไม่รู้เลยว่าเราต้องการอะไร RS อาจจะรู้ความต้องการมากกว่าเราซะอีก

RS คือระบบคัดกรองข้อมูลอัจฉริยะ ซึ่งช่วยลดตัวเลือกที่จะนำแสนอแก่ผู้ใช้ให้ตรงผู้ใช้มากขึ้น และในปัจจุบันระบบส่วนมากมีการนำ RS เข้าไปใช้งาน ผู้อ่านลองคิดดูสิว่าถ้า Netflix ไม่แนะนำภาพยนตร์ Amazon ไม่แนะนำหนังสือประเภทเดียวกัน Facebook หรือ LinkedIn ไม่แนะนำคนที่น่าจะรู้จัก Yahoo ไม่แนะนำข่าวสารที่น่าสนใจให้ เว็ปเหล่านี้คงขาดความน่าสนใจลงไปโขเลยทีเดียว

คราวนี้เรามาดูกันดีกว่าว่า RS มีส่วนประกอบอะไรบ้าง สำหรับข้อมูลหรือเชื้อเพลิงในการขับเคลื่อนระบบ RS นั้นมีอยู่ 2 อย่างด้วยกัน นั่นคือ Explicit interaction และ Implicit interaction โดย Explicit คือ ข้อมูลโดยตรงที่ได้จากผู้ใช้นั่นเอง เช่น เพศ อายุ เป็นต้น และ Implicit คือข้อมูลโดยอ้อมที่เกี่ยวข้องกับผู้ใช้ เช่น ที่อยู่ปัจจุบัน วันเวลา อุปกรณ์ที่ผู้ใช้ใช้งาน เป็นต้น ยกตัวอย่าง เช่น Amazon ใช้ข้อมูลสินค้าเก่าที่เราเคยเข้าไปดู (Explicit) สินค้าที่ผู้ใช้คนอื่นที่ใกล้เคียงกับเราซื้อ (Implicit) วันเวลาที่ผู้ใช้ใช้งาน (Implicit) จากข้อมูลเหล่านี้ ระบบ RS แบ่งออกได้เป็น 3 ประเภทคร่าวๆ ดังนี้

Collaborative Filtering คือระบบ RS ที่ใช้ข้อมูลการกระทำของเราและเพื่อน เพื่อใช้แนะนำการกระทำที่เราน่าจะทำหรือน่าสนใจ แต่ระบบนี้มีปัญหา Cold Start Problem หรือคือการที่ต้องมีข้อมูลเยอะพอสมควรเพื่อเป็นฐานข้อมูลในการแนะนำ และนอกจากนั้นระบบแบบนี้จะแนะนำการกระทำที่เป็นกระแสในช่วงนั้น โดยไม่แนะนำการกระทำนอกกระแส ก็เป็นข้อเสียเปรียบของระบบ RS แบบนี้ก็ว่าได้ ระบบ RS นี้ยกตัวอย่าง เช่น Amazon, Facebook, Twitter, LinkedIn, Spotify, Google News และ Last.fm

Content-Based Filtering (CBF) คือระบบ RS ที่สนใจในวัตถุนั้นมากกว่าการกระทำของผู้ใช้ โดยการแยกแยะปัจจัยของวัตถุนั้นๆ และแนะนำวัตถุที่มีปัจจัยใกล้เคียงกันขึ้นมาให้ ข้อดีของระบบ RS แบบนี้คือการที่ไม่จำเป็นต้องใช้ข้อมูลมหาศาลในการประมวลผล หรือไม่มี Cold Start นั่นเอง แต่ก็มีข้อเสียอยู่ว่าวัตถุที่แนะนำนั้นค่อนข้างเจาะจงมากไปหน่อย ขึ้นอยู่กับการคำนวนความใกล้เคียงของวัตถุนั้นๆ ตัวอย่างเช่น IMDB, Rotten Tomatoes และ Pandora

Hybrid Method คือระบบ RS ที่รวมเอาสองระบบข้างต้นมาทำงานช่วยกัน Netflix คือตัวอย่างของระบบผสมนี้ ระบบแบบผสมนี้ไม่มีขั้นตอนตายตัว แล้วแต่ผู้พัฒนาจะนำไปใช้งานในแนวทางไหน แต่ส่วนมากระบบผสมจะแก้ปัญหาที่เกิดขึ้นในระบบ RS ข้างต้นได้

ต้องยอบรับว่าระบบ RS จะนำผู้ใช้และธุรกิจไปสู่ประสบการณ์ใหม่บนโลกดิจิตอล นอกจากนั้น cloud computing ยังเป็นตัวช่วยที่สำคัญยิ่งที่จะให้ระบบ RS เข้าใกล้จุดสูงสุดคือสามารถแนะนำได้ถูกใจผู้ใช้ทุกคนแตกต่างกันไปและทันเวลา ในปัจจุบันระบบ RS ยังแบ่งผู้ใช้ออกเป็นหลายกลุ่มอยู่ ในอนาคตอันใกล้นี้คงจะเห็นระบบ RS ที่แนะนำเฉพาะบุคคลมากขึ้นและยังตอบสนองแบบทันเวลา ทันอารมณ์ ทันสถานที่ ข้อมูลทุกอย่างเกี่ยวกับผู้ใช้จะถูกนำมาวิเคราะห์และประมวลผลเพื่อความแม่นยำมากขึ้น

ระบบ RS ในปัจจุบันมีการใช้อย่างแพร่หลายในระบบขายของและสื่อสารสนเทศ โดยการแนะนำสินค้าและสื่อให้ถูกกับผู้ใช้มากที่สุดจะทำให้สร้างรายได้ได้เยอะมาก และธุรกิจต่อไปที่จะนำไปใช้คงหนีไม่พ้น ธนาคารและสถาบันการเงินต่างๆ เพื่อตอบสนองความต้องการการใช้เงินของผู้ใช้ให้ทันท่วงที ระบบ RS จะถูกนำมาประยุคเพื่อแนะนำสินค้าและบริการต่างๆ ให้เฉพาะบุคคลมากขึ้นนั่นเอง

มาถึงจุดนี้แล้วผู้อ่านหลายคนคงชอบ บางคนก็กลัวว่ามันจะมากเกินไปหรือเปล่า บอกเลยว่าการจะพัฒนาระบบต่างๆ มีปัจจัยหนึ่งที่ต้องคำนึงถึงและหนีไม่พ้น คือ ความเชื่อใจของผู้ใช้ ผู้พัฒนาจะทำอย่างไรให้ผู้ใช้เชื่อใจได้ว่าปลอดภัยจริงและมีประโยชน์ต่อผู้ใช้จริงๆ ยังคงเป็นคำถามและความท้าทายให้ผู้พัฒนาหาคำตอบต่อไป คงจะมีแต่เวลาเท่านั้นที่จะทำให้ทุกอย่างที่คลุมเครืออยู่นี้กระจ่าง แต่ระบบนี้คงไม่ห่างไกลจากกาลเวลาปัจจุบันมากนักหรอก