Data Analytics & Artificial Intelligence
ในการทำ Data Warehouse สิ่งสำคัญที่จะลำเลียงข้อมูลมาลงเหมืองข้อมูลได้ ก็คือ Data Pipeline ซึ่งส่วนใหญ่จะเป็นข้อมูลที่เป็นลักษณะ Incremental กล่าวคือมี Record เกิดขึ้นใหม่ อาทิ Sale Transactions หรือ Logs ต่าง ๆ ก็จัดการได้ไม่ยากนัก แต่ Challenge ที่มักพบกับข้อมูลที่ไม่ได้เป็น Incremental กล่าวคือข้อมูลที่ไปแก้ใน Record เดิม ๆ อาทิ ราคาหุ้นที่เปลี่ยน, แต้มสมาชิกคงเหลือในบัญชี ที่จำเป็นต้อง sync ระหว่าง Database ต้นทาง และ Data Warehouse ใน Record เดิมเช่นกัน มิเช่นนั้นจะทำให้ Data มีความแตกต่างจนอาจทำให้เกิดความผิดพลาดได้ ซึ่งเราจะแก้ปัญหาเหล่านี้ด้วยกระบวนการ CDC ครับ
Data Analytics & Artificial Intelligence
บทความใน EP2 ที่ผ่านมาจะเป็นการติดตั้ง Oracle เพื่อเตรียมพร้อมให้ Datastream เชื่อมต่อมาครับ โดยในบทความนี้ผู้เขียนจะสาธิตถึงวิธีการสร้าง profile ที่เชื่อมต่อจาก Datastream และสร้าง Streaming Pipeline มาลงยัง BigQuery
Data Analytics & Artificial Intelligence
จากบทความที่แล้วผู้อ่านทุกท่านก็พอมีความเข้าใจมากขึ้นในกระบวนการ CDC รวมถึงขั้นตอนในการทำ data pipeline จาก Oracle มายัง BigQuery กันบ้างแล้ว สำหรับบทความนี้เราจะเริ่มจำลองตัว Oracle ขึ้นมาโดยการเตรียมลง Oracle บน Google Cloud กันครับ
Data Analytics & Artificial Intelligence
ทำความรู้จัก Fivetran ที่เป็นเครื่องมือสำหรับงานย้ายข้อมูลที่ทำงานได้โดยอัตโนมัติ สามารถส่งข้อมูลเข้าออก และข้ามแพลตฟอร์มคลาวด์ได้ โดยเราจะช่วยจัดการงานส่วนที่ใช้เวลานานที่สุดในกระบวนการ ELT ตั้งแต่การสกัดข้อมูล การจัดการข้อมูลที่เปลี่ยนแปลงโครงสร้าง และการแปลงข้อมูล
Data Analytics & Artificial Intelligence
Looker Studio Pro – Business Intelligence ที่ใช่สำหรับมือโปรอย่างคุณLooker Studio Pro – Business Intelligence ที่ใช่สำหรับมือโปรอย่างคุณLooker Studio Pro – Business Intelligence ที่ใช่สำหรับมือโปรอย่างคุณLooker Studio Pro – Business Intelligence ที่ใช่สำหรับมือโปรอย่างคุณ
Data Analytics & Artificial Intelligence
ปัจจุบันการทำ Machine Learning โมเดลมีเครื่องมือหลาย ๆ ตัวที่ช่วยให้เราสร้างโมเดลได้ง่าย ๆ แต่ทว่าการทำโมเดลผู้ใช้ก็จะต้องเข้าใจในเรื่องของ Programing Language ด้วยเช่น R Programing หรือ Python Programing ก็ดี ที่ต้องเข้าใจ Syntax ในการเขียน ซึ่งอาจเป็นข้อจำกัดสำหรับคนที่ไม่ถนัดการเขียนโปรแกรม แต่บน Google Cloud Platform เราไม่จำเป็นต้องมีทักษะเขียนโปรแกรมก็ทำ Machine Learning Model ได้ด้วย BigQuery
Data Analytics & Artificial Intelligence
เทคโนโลยี Generative AI หรือเรียกสั้น ๆ ว่า Gen AI ที่เข้ามาเปลี่ยนโลกทั้งในด้านอุตสาหกรรมต่างๆ การปฏิวัติวิถีชีวิต การทำงาน ตลอดจนการสื่อสารและการโต้ตอบ ซึ่งเป็นตัวช่วยให้เกิดนวัตกรรมล้ำ ๆ ขึ้นมาอย่างง่ายดาย รวมถึงอาชีพ Prompt Engineer ด้วย ที่ทุกธุรกิจพยายามปรับตัวเพื่อให้ทันต่อการเปลี่ยนแปลงของโลกอนาคต ดังนั้นขั้นแรกของการเป็น Prompt Engineer คงหนีไม่พ้นการเขียน Prompt นั่นเอง ซึ่งหากยังไม่รู้จะเริ่มต้นยังไง Blog นี้มีคำตอบ!!
Data Analytics & Artificial Intelligence
หากพูดถึงเทคโนโลยีที่มาแรงที่สุดในเวลานี้คงหนีไม่พ้นเรื่อง Generative AI แน่นอน เพราะเป็นการเขย่าวงการปัญญาประดิษฐ์ที่ AI สามารถโต้ตอบ นึกคิด ใกล้เคียงกับมนุษย์มากยิ่งขึ้น มีการสร้างคำตอบใหม่ ๆ ที่ถูกต้องและใกล้เคียงความเป็นจริงที่สุด ทำให้เกิดความคิดสร้างสรรค์ที่เป็นประโยชน์แก่มนุษยชาติอย่างมาก และในวันนี้พวกเรา Tangerine จะพาทุกท่านไปรู้จักกับ Generative AI บน Google Cloud กัน
Data Analytics & Artificial Intelligence
นับตั้งแต่โลกให้ความสนใจกับ Big Data คงไม่มีใครไม่เคยได้ยินคำว่า Data Lake นี่ไม่ใช่เรื่องใหม่ และมีมานานกว่า 10 ปีแล้ว หากให้ย้อนเวลาพาท่านผู้อ่านกลับไปราว ๆ 20 ปีก่อนที่ Data Lake จะเกิดขึ้น เราคงคุ้นเคยกับคำว่า “การทำเหมืองข้อมูลหรือ Data Mining” เสียมากกว่า นั่นคือยุคแรกที่เราเริ่มขุดเหมืองเพื่อหา Insight กัน
Data Analytics & Artificial Intelligence
ปฎิเสธไม่ได้เลยว่าพระเอกชูโรงของ Google ในกลุ่มงาน Data คือ BigQuery ซึ่งถือว่าเป็นหัวใจสำคัญในการทำงานด้านการวิเคราะห์และปัญญาประดิษฐ์ (Data Anlytics & AI) และเป็นส่วนสำคัญพื้นฐานใน Data Warehouse Modernization Solution และจากงาน Data Cloud & AI Summit เมื่อ 29 มีนาคม 2023 ที่ผ่านมา BigQuery ก็ได้ประกาศออก Editions ใหม่ที่ทำให้การทำงานด้าน Data Cloud ยืดหยุ่นกับโมเดลที่ควบคุมและคาดการณ์ Cost ได้ดียิ่งขึ้นกว่าเดิม
