Data science

Rockset เพิ่งแก้ไขการวิเคราะห์ตามเวลาจริงหรือไม่

บริษัทต่างๆ ได้ผลักดันขอบเขตของการวิเคราะห์แบบเรียลไทม์และเทคโนโลยีใดที่สามารถทำได้เป็นเวลาหลายปี Rockset อ้างว่าได้ฝ่าอุปสรรคที่ขวางกั้นลูกค้าไม่ให้เรียกใช้การสืบค้นข้อมูลแบบ SQL อย่างเต็มรูปแบบบนข้อมูลการสตรีม ฟีเจอร์ใหม่ครั้งใหญ่ที่ Rockset เปิดเผยในวันนี้คือความสามารถแบบโรลอัปใหม่ที่ช่วยให้ลูกค้าสามารถเรียกใช้การรวมบน SQL อย่างต่อเนื่องบนข้อมูลที่สตรีมไปยังฐานข้อมูลผ่าน Apache Kafka, AWS Kinesis หรือจากตัวเชื่อมต่อไปยังฐานข้อมูลที่ใช้งานได้ Venkat Venkataramani ซีอีโอและผู้ร่วมก่อตั้ง Rockset กล่าวว่าฟีเจอร์การโรลอัพและการรวมตัวใหม่เป็นตัวเปลี่ยนเกม ซึ่งนำเสนอฐานข้อมูลการวิเคราะห์เป็นบริการใน AWS Cloud “เพียงแค่ใช้ SQL คุณสามารถขอให้ Rockset รักษาเมตริกจำนวนหนึ่งที่จะอัปเดตเป็นวินาที และ Rocket สามารถทำได้อย่างมีประสิทธิภาพมากโดยไม่ต้องโหลดข้อมูลดิบทั้งหมดแล้วเรียกใช้การวิเคราะห์ใน โหมดแบตช์” Venkataramani กล่าว “เราสามารถทำได้แบบเรียลไทม์ เกือบจะเหมือนกับการจุ่มลงในสตรีมและติดตามตัวชี้วัดทั้งหมดที่คุณสนใจ” Venkataramani ผู้ช่วยพัฒนาที่เก็บคีย์-ค่าหลักของ RocksDB ในขณะจัดการ Facebook โครงสร้างพื้นฐานออนไลน์จาก 2007 ถึง 2015 “ผู้คนกำลังทำงานกับข้อมูลจำนวนมากที่เข้ามา เป็นเทราไบต์ของข้อมูลที่พวกเขาส่งผ่านระบบการสตรีมข้อมูล เช่น Kafka และ Confluund Cloud หรืออะไรที่มีคุณ จากนั้นพวกเขาต้องการการวิเคราะห์ตามเวลาจริงนอกเหนือจากข้อมูล” เขากล่าว ดาตานามิ “วิธีดั้งเดิมคือนำมันเข้าไปใน data lake แล้วทำงานรายชั่วโมงหรืองานกลางคืน” สถาปัตยกรรมของ Rockset อย่างไรก็ตาม นั่นไม่ได้ตัดทอนสำหรับการดำเนินการกับข้อมูลล่าสุด อีกทางหนึ่ง บริษัทต่างๆ สามารถใช้เครื่องมือคำนวณ เช่น Spark Streaming หรือ Flink เพื่อวิเคราะห์ข้อมูลได้ เขากล่าว อย่างไรก็ตาม ระบบเหล่านั้นไม่มีชั้นให้บริการ เช่น ฐานข้อมูล PostgreSQL หรือ MySQL เพื่อให้สามารถตอบคำถามได้ ในทำนองเดียวกัน ข้อเสนอ KSQLdb ของ Confluence (ซึ่งสร้างด้วย RocksDB) ช่วยให้การวิเคราะห์ SQL ทำงานบนข้อมูลการสตรีม เช่น Rockset ได้ แต่ยังขาดเลเยอร์การให้บริการหรือฐานข้อมูลเพื่อให้บริการการสืบค้นข้อมูล บริษัทบางแห่งได้รวมเอาระบบการวิเคราะห์ตามเวลาจริงของตนเองเข้าด้วยกัน แต่โดยทั่วไปแล้วบริษัทเหล่านั้นขาดความสามารถในการปรับขนาดและประสิทธิภาพของระบบที่ได้รับการออกแบบมาตั้งแต่ต้นเพื่อให้บริการนี้ในรูปแบบคลาวด์เนทีฟ Venkataramani กล่าว “ระบบจะดูเหมือนเทปพันท่อที่มีส่วนประกอบต่างกันหลายส่วน” เขากล่าว “มันจะเป็นเหมือนเครื่องจักรของ Rube Goldberg ความสดจะไม่อยู่ที่นั่นและจะไม่เร็วเท่าที่คุณต้องการ” ข้อยกเว้นประการหนึ่งคือข้อมูลบันทึก มีตัวเลือกมากมายที่บริษัทต้องวิเคราะห์ข้อมูลบันทึกในแบบเรียลไทม์ Venkataramani กล่าว แต่น่าเสียดายที่พวกเขาไม่สนับสนุน SQL ซึ่งแม้จะอยู่ในทศวรรษที่หก แต่ก็ยังเป็นภาษากลางของโลกการวิเคราะห์ธุรกิจ Rockset แก้ปัญหาด้วยการสร้างระบบเดียวตั้งแต่เริ่มต้นที่รวมฐานข้อมูลเต็มรูปแบบพร้อมกับความสามารถในการเรียกใช้การสืบค้น SQL บนข้อมูลเหตุการณ์ที่เคลื่อนไหวอย่างรวดเร็ว หลังจากที่แจ้ง Rockset ว่าควรติดตามมิติข้อมูลและคำค้นหาใดในแบบเรียลไทม์ ระบบจะดูแลการโรลอัพนั้น และให้ผู้ใช้สามารถสืบค้นข้อมูลได้เหมือนกับตารางฐานข้อมูลอื่นๆ Venkataramani กล่าว บริษัทนำน้ำหนักทั้งหมดของ ANSI SQL มาสู่กระแสข้อมูล ซึ่งรวมถึงการรวม ฟังก์ชันหน้าต่าง การเรียงลำดับ การรวม และลำดับโดยเขากล่าว มันยังรวมถึงการสนับสนุนองค์ประกอบที่ไม่ใช่ ANSI SQL เช่น ความสามารถในการทำงานกับอาร์เรย์และอ็อบเจ็กต์ที่ซ้อนกันที่อธิบายไว้ใน JSON ความสามารถของ JSON นั้นดี แต่ความสามารถในการเรียกใช้แบบสอบถาม SQL บนข้อมูลเป็นสิ่งที่ผลักดันให้ลูกค้าส่วนใหญ่ก้าวไปข้างหน้า Venkataramani กล่าว Venkat Venkataramani เป็นผู้ร่วมก่อตั้งและซีอีโอของ Rockset “ลูกค้าของเราเกือบทุกคนไม่สามารถสร้างโซลูชันได้อย่างแท้จริงหากไม่มี SQL” เขากล่าว “ถ้าคุณมีตารางอื่นจากสตรีมอื่นหรือจากแหล่งอื่น เช่น DynamoDB หรือ MongoDB ตอนนี้คุณสามารถเข้าร่วมได้โดยใช้ SQL ดังนั้นตอนนี้ คุณสามารถทำการวิเคราะห์ทั้งหมดได้โดยตรง ราวกับว่าเป็นตาราง SQL ที่พิมพ์อย่างสมบูรณ์และจัดทำดัชนีอย่างสมบูรณ์อีกตารางหนึ่งซึ่งเพิ่งสร้างและบำรุงรักษาสำหรับคุณในระบบคลาวด์” ฐานข้อมูล RocksDB เป็นองค์ประกอบสำคัญในระบบวิเคราะห์ของ Rockset แต่ก็ไม่เพียงพอในตัวเองและไม่ใช่องค์ประกอบที่จำเป็น Venkataramani กล่าว องค์ประกอบอื่นๆ เช่น การสนับสนุนสำหรับการพิมพ์แบบไดนามิกที่แข็งแกร่ง การนำเข้าข้อมูลแบบไม่ใช้สคีมา การจัดทำดัชนีแบบหลอมรวม การเพิ่มประสิทธิภาพอนุกรมเวลา การวางแผนการสืบค้น และสถาปัตยกรรมแบบไร้เซิร์ฟเวอร์ของเซิร์ฟเวอร์ ล้วนมีบทบาทในการนำเสนอข้อมูลทั้งหมดตามเดือนสิงหาคม 2020 เอกสารไวท์เปเปอร์เกี่ยวกับการออกแบบของ Rockset นอกเหนือจากคุณลักษณะโรลอัปแล้ว Rockset ยังแนะนำคุณลักษณะใหม่อีก 2 อย่าง ได้แก่ ความสามารถในการใช้ SQL เพื่อแปลงข้อมูลอย่างต่อเนื่องเมื่อนำเข้าข้อมูล และความสามารถในการตั้งค่าการแบ่งพาร์ติชันตามเวลาและนโยบายการเก็บรักษา Rockset คาดหวังให้นักพัฒนาใช้ฟีเจอร์โรลอัพใหม่เพื่อสร้างแดชบอร์ดแบบโต้ตอบแบบเรียลไทม์ที่สะท้อนถึงสถานะปัจจุบันของสตรีมข้อมูลหลายรายการ รวมถึงข้อมูลลูกค้า ข้อมูลอุปกรณ์ และข้อมูลผลิตภัณฑ์ในอีคอมเมิร์ซ โลจิสติกส์ การติดตามการจัดส่ง เกม กระดานผู้นำ ระบบตรวจจับการฉ้อโกง เครื่องมือติดตามสุขภาพและฟิตเนส และกรณีการใช้งานโซเชียลมีเดีย “เรากำลังเร่งการเคลื่อนไหวของผู้คนจากแบทช์เป็นแบบเรียลไทม์” Venkataramani กล่าว “และนี่เป็นงานชิ้นสำคัญมาก เกือบจะเหมือนกับเป็นรากฐานที่สำคัญสำหรับอุตสาหกรรมที่จะสามารถทำการโรลอัพแบบเรียลไทม์นี้ได้ นั่นและ SQL ด้วยการผสมผสานนั้น ทันใดนั้นใครก็ตามสามารถมาหาเราและพูดว่า นี่คืองานแบทช์ที่ฉันมี ฉันต้องการทำให้เป็นเรียลไทม์ และตอนนี้เราสามารถทำสิ่งนั้นเพื่อพวกเขาได้จริงๆ ตั้งแต่ต้นจนจบ” ข้อเสนอการวิเคราะห์ระบบคลาวด์ของ Rockset แยกการประมวลผลและพื้นที่จัดเก็บ ซึ่งช่วยให้ลูกค้าสามารถปรับขนาดทั้งสองอย่างแยกจากกัน ฟีเจอร์โรลอัปใหม่อยู่ในรุ่นเบต้าสาธารณะ และพร้อมให้ใช้งานสำหรับลูกค้าทุกคน รายการที่เกี่ยวข้อง: นักลงทุนยังคงกำหนดเป้าหมายการวิเคราะห์แบบเรียลไทม์ Rockset เชื่อมต่อ Kafka กับ SQL Rockset, SQL Cloud Service, โผล่ออกมาจาก Stealth

  • บ้าน
  • ธุรกิจ
  • วิทยาศาสตร์ข้อมูล
  • การตลาดดิจิทัล

  • ตลาดการค้า
  • Leave a Reply

    Your email address will not be published. Required fields are marked *

    Back to top button