Kinh nghiệm đầu tư vào Crypto cho người mới
Tôi viết bài này để chia sẻ cho những người mới đầu tư cryptocurrency (tiền ảo), gồm cả những người đã và đang sở hữu các đồng coin. Có những nguyên tắc mà tôi đã đúc rút được, là đặc thù riêng của Crypto, có những thứ là nguyên tắc từ đầu tư nói chung cho cổ phiếu, ngoại hối. Vì không có nhiều...
forum.forexitig.com
LPU của Groq AI: Câu trả lời đột phá cho vấn đề GPU của ChatGPT?
admin – 24 Th2, 2024Chip LPU của Groq nổi lên như một giải pháp tiềm năng cho những thách thức mà các nhà phát triển AI dựa vào GPU phải đối mặt, làm dấy lên sự so sánh với ChatGPT.
Công cụ trí tuệ nhân tạo (AI) mới nhất thu hút sự chú ý của công chúng là Groq LPU Inference Engine, công cụ này đã trở thành hiện tượng chỉ sau một đêm trên mạng xã hội sau khi các bài kiểm tra điểm chuẩn công khai của nó được lan truyền rộng rãi, vượt trội so với các mô hình hàng đầu của các công ty Big Tech khác.
Groq, đừng nhầm lẫn với mô hình AI của Elon Musk có tên Grok, trên thực tế, bản thân nó không phải là một mô hình mà là một hệ thống chip mà mô hình có thể chạy qua đó.
Nhóm đằng sau Groq đã phát triển chip AI “được xác định bằng phần mềm” của riêng mình mà họ gọi là đơn vị xử lý ngôn ngữ (LPU), được phát triển cho mục đích suy luận. LPU cho phép Groq tạo ra khoảng 500 token mỗi giây.
Một cách tương đối, mô hình AI ChatGPT-3.5 có sẵn công khai, sử dụng các đơn vị xử lý đồ họa (GPU) khan hiếm và đắt tiền, có thể tạo ra khoảng 40 mã thông báo mỗi giây. Sự so sánh giữa Groq và các hệ thống AI khác đã tràn ngập nền tảng X.
Cointelegraph đã nghe Mark Heaps, Nhà truyền giáo trưởng tại Groq, để hiểu rõ hơn về công cụ này và cách nó có thể biến đổi cách thức hoạt động của các hệ thống AI.
Heaps cho biết, người sáng lập Groq, Jonathan Ross, ban đầu muốn tạo ra một công nghệ hệ thống có thể ngăn AI “bị phân chia giữa người có và người không”.
Vào thời điểm đó, các bộ xử lý tensor (TPU) chỉ được Google cung cấp cho các hệ thống của riêng họ, tuy nhiên, LPU ra đời vì:
Giám đốc điều hành Groq giải thích rằng LPU là một “giải pháp phần cứng được thiết kế ưu tiên phần mềm”, theo đó bản chất của thiết kế giúp đơn giản hóa cách truyền dữ liệu – không chỉ qua chip mà còn từ chip này sang chip khác và xuyên suốt mạng.
Ông nói: “Việc không cần bộ lập lịch, thư viện CUDA, Kernels, v.v., không chỉ cải thiện hiệu suất mà còn cải thiện trải nghiệm của Nhà phát triển.
Một vấn đề hiện tại đang gây khó khăn cho các nhà phát triển trong ngành là sự khan hiếm và giá thành của các GPU mạnh mẽ – chẳng hạn như chip A100 và H100 của Nvidia – cần thiết để chạy các mô hình AI.
Tuy nhiên, Heaps cho biết họ không gặp phải những vấn đề tương tự vì chip của họ được sản xuất bằng silicon 14nm. Ông nói: “Kích thước khuôn này đã được sử dụng trong 10 năm trong thiết kế chip và giá cả rất phải chăng cũng như sẵn có. Con chip tiếp theo của chúng tôi sẽ là 4nm và cũng được sản xuất tại Hoa Kỳ.”
Ông cho biết các hệ thống GPU vẫn có chỗ đứng khi nói về việc triển khai phần cứng ở quy mô nhỏ hơn. Tuy nhiên, việc lựa chọn GPU hay LPU phụ thuộc vào nhiều yếu tố, bao gồm khối lượng công việc và kiểu máy.
Việc sử dụng LPU vẫn được nhiều nhà phát triển lớn trong lĩnh vực này triển khai. Heaps cho biết một số yếu tố dẫn đến điều này, một trong số đó là “sự bùng nổ LLM” tương đối mới trong năm qua.
“Mọi người vẫn muốn có một giải pháp phù hợp cho tất cả như GPU mà họ có thể sử dụng cho cả hoạt động đào tạo và suy luận. Giờ đây, thị trường mới nổi đã buộc mọi người phải tìm ra sự khác biệt và một giải pháp chung sẽ không giúp họ đạt được điều đó.”
Ngoài bản thân sản phẩm, Heaps còn đề cập đến con voi trong phòng – cái tên “Groq”.
Groq được thành lập vào năm 2016 với tên được đăng ký nhãn hiệu ngay sau đó. Tuy nhiên, chatbot Grok của Elon Musk chỉ xuất hiện trên thị trường vào tháng 11 năm 2023 và được công nhận rộng rãi trong không gian AI chỉ sau một thời gian ngắn.
Heaps cho biết đã có những “người hâm mộ Elon” cho rằng họ đã cố gắng “lấy tên” hoặc đó là một loại chiến lược tiếp thị. Tuy nhiên, khi lịch sử của công ty được biết đến, anh ấy nói, “khi đó mọi người [trở nên] im lặng hơn một chút.”
Cách tạo địa chỉ ví Bitcoin trên Remitano đơn giản nhất
Trong quá trình bảo trì và nâng cấp hệ thống nạp rút của sàn. Remitano có những cập nhật quan trọng liên quan đến mạng BTC và địa chỉ ví của bạn trên Remitano. Vui lòng đọc kỹ thông báo này để đảm bảo mọi giao dịch an toàn trên Remitano. Nạp/rút thông qua mạng lưới BTC sẽ hoạt động và điều này...
forum.forexitig.com
LPU của Groq AI: Câu trả lời đột phá cho vấn đề GPU của ChatGPT?
admin – 24 Th2, 2024Chip LPU của Groq nổi lên như một giải pháp tiềm năng cho những thách thức mà các nhà phát triển AI dựa vào GPU phải đối mặt, làm dấy lên sự so sánh với ChatGPT.
Công cụ trí tuệ nhân tạo (AI) mới nhất thu hút sự chú ý của công chúng là Groq LPU Inference Engine, công cụ này đã trở thành hiện tượng chỉ sau một đêm trên mạng xã hội sau khi các bài kiểm tra điểm chuẩn công khai của nó được lan truyền rộng rãi, vượt trội so với các mô hình hàng đầu của các công ty Big Tech khác.
Groq, đừng nhầm lẫn với mô hình AI của Elon Musk có tên Grok, trên thực tế, bản thân nó không phải là một mô hình mà là một hệ thống chip mà mô hình có thể chạy qua đó.
Nhóm đằng sau Groq đã phát triển chip AI “được xác định bằng phần mềm” của riêng mình mà họ gọi là đơn vị xử lý ngôn ngữ (LPU), được phát triển cho mục đích suy luận. LPU cho phép Groq tạo ra khoảng 500 token mỗi giây.
Một cách tương đối, mô hình AI ChatGPT-3.5 có sẵn công khai, sử dụng các đơn vị xử lý đồ họa (GPU) khan hiếm và đắt tiền, có thể tạo ra khoảng 40 mã thông báo mỗi giây. Sự so sánh giữa Groq và các hệ thống AI khác đã tràn ngập nền tảng X.
Cointelegraph đã nghe Mark Heaps, Nhà truyền giáo trưởng tại Groq, để hiểu rõ hơn về công cụ này và cách nó có thể biến đổi cách thức hoạt động của các hệ thống AI.
Heaps cho biết, người sáng lập Groq, Jonathan Ross, ban đầu muốn tạo ra một công nghệ hệ thống có thể ngăn AI “bị phân chia giữa người có và người không”.
Vào thời điểm đó, các bộ xử lý tensor (TPU) chỉ được Google cung cấp cho các hệ thống của riêng họ, tuy nhiên, LPU ra đời vì:
Giám đốc điều hành Groq giải thích rằng LPU là một “giải pháp phần cứng được thiết kế ưu tiên phần mềm”, theo đó bản chất của thiết kế giúp đơn giản hóa cách truyền dữ liệu – không chỉ qua chip mà còn từ chip này sang chip khác và xuyên suốt mạng.
Ông nói: “Việc không cần bộ lập lịch, thư viện CUDA, Kernels, v.v., không chỉ cải thiện hiệu suất mà còn cải thiện trải nghiệm của Nhà phát triển.
Một vấn đề hiện tại đang gây khó khăn cho các nhà phát triển trong ngành là sự khan hiếm và giá thành của các GPU mạnh mẽ – chẳng hạn như chip A100 và H100 của Nvidia – cần thiết để chạy các mô hình AI.
Tuy nhiên, Heaps cho biết họ không gặp phải những vấn đề tương tự vì chip của họ được sản xuất bằng silicon 14nm. Ông nói: “Kích thước khuôn này đã được sử dụng trong 10 năm trong thiết kế chip và giá cả rất phải chăng cũng như sẵn có. Con chip tiếp theo của chúng tôi sẽ là 4nm và cũng được sản xuất tại Hoa Kỳ.”
Ông cho biết các hệ thống GPU vẫn có chỗ đứng khi nói về việc triển khai phần cứng ở quy mô nhỏ hơn. Tuy nhiên, việc lựa chọn GPU hay LPU phụ thuộc vào nhiều yếu tố, bao gồm khối lượng công việc và kiểu máy.
Việc sử dụng LPU vẫn được nhiều nhà phát triển lớn trong lĩnh vực này triển khai. Heaps cho biết một số yếu tố dẫn đến điều này, một trong số đó là “sự bùng nổ LLM” tương đối mới trong năm qua.
“Mọi người vẫn muốn có một giải pháp phù hợp cho tất cả như GPU mà họ có thể sử dụng cho cả hoạt động đào tạo và suy luận. Giờ đây, thị trường mới nổi đã buộc mọi người phải tìm ra sự khác biệt và một giải pháp chung sẽ không giúp họ đạt được điều đó.”
Ngoài bản thân sản phẩm, Heaps còn đề cập đến con voi trong phòng – cái tên “Groq”.
Groq được thành lập vào năm 2016 với tên được đăng ký nhãn hiệu ngay sau đó. Tuy nhiên, chatbot Grok của Elon Musk chỉ xuất hiện trên thị trường vào tháng 11 năm 2023 và được công nhận rộng rãi trong không gian AI chỉ sau một thời gian ngắn.
Heaps cho biết đã có những “người hâm mộ Elon” cho rằng họ đã cố gắng “lấy tên” hoặc đó là một loại chiến lược tiếp thị. Tuy nhiên, khi lịch sử của công ty được biết đến, anh ấy nói, “khi đó mọi người [trở nên] im lặng hơn một chút.”
