Google có sợ ChatGPT3 của OpenAI như truyền thông thế giới nói?

Chắc chắn câu trả lời có, nhưng Google chắc chắn sẽ không bận tâm lắm vì họ đã có đủ nền tảng để cạnh tranh sòng phẳng với ChatGPT3.

Sẽ rất thiếu sót nếu như chúng ta không đề cập đến việc kỹ sư Blake Lemoine đã bị Google sa thải năm 2022 với lý do anh ấy tiết lộ thông tin về mô hình LaMDA (Grant, 2022) - một mô hình mà theo Blake Lemoine nó có tri giác khi nhắc đến ChatGPT3. Vì nó là kỹ thuật cốt lõi để OpenAI tạo ra ChatGPT3 mà trở nên "viral" trong thời gian gần đây. Do đó, Google đủ thông minh để biết ChatGPT3 đang làm gì.

Như đã đề cập bên trên, mô hình LaMDA do Google tạo ra (Cohen, 2022). Nó là "một mô hình ngôn ngữ được đào tạo cho các ứng dụng hộp thoại." (Benvenist, 2023) Để tạo ra LaMDA, các kỹ sư của Google đã dùng gần 3 tỷ tài liệu và gần 1 tỷ hộp thoại để đào tạo và "được tinh chỉnh dựa trên dữ liệu do con người tạo ra để cải thiện chất lượng, độ an toàn, và tính trung thực của văn bản được tạo ra. Nó cũng được thiết kế để học cách gọi hệ thống truy xuất thông tin bên ngoài tương tự như công cụ tìm kiểm Google." (Benvenist, 2023) Theo như tài liệu tham khảo thì LaMDA có thể giải mã 135 tỷ tham số.

ChatGPT’s competitors

Những đối thủ cạnh tranh của ChatGPT | Damien Benveniste/The AiEdge Newsletter

Kế tiếp vào tháng 4 năm 2022, Google đã công bố mô hình PaLM (Chowdhery, 2022). Nó là một mô hình lớn nhất hiện nay với khả năng giải mã 540 tỷ tham số. PaLM có "khả năng mạnh mẽ trong số học và suy luận thông thường." (Benvenist, 2023) Các kỹ sư Google đã đào tạo nó trên "780 tỷ tokens đến từ các cuộc hội thoại đa ngôn ngữ trên mạng xã hội, các trang web đa ngôn ngữ, các kho lưu trữ GitHub hay trang web thông tin đã ngôn ngữ Wikipedia." (Benvenist, 2023)

Theo như những thông tin trên, nếu xét về mặc kỹ thuật, Google sẽ có đủ tiềm năng để cạnh tranh hoàn toàn với ChatGPT3 của OpenAI. Tuy nhiên, nếu xét về quy mô và lợi thế cạnh tranh trong lĩnh vực tìm kiếm thì Google cần phải thận trọng khi mà gần đây Microsoft chính thức công bố cái bắt tay hợp tác với OpenAI trị giá 10 tỷ USD. Theo đó, Microsoft sẽ tích hợp OpenAI vào một số sản phẩm chiến lược của hãng, trong đó có cả việc sử dụng ChatGPT3 vào công cụ tiềm kiếm Bing của họ.

Bên cạnh đó, Google cũng phải đối mặt với PEER - được tạo ra bởi Meta (Schick, 2022). Nó là "một ngôn ngữ được đào tạo để bắt chước quá trình viết. Nó được huấn luyện dựa trên dữ liệu lịch sử sửa đổi của Wikipedia. Nó chuyên dự đoán những chỉnh sửa và giải thích lý do của những chỉnh sửa đó. Nó có khả năng trích dẫn các tài liệu tham khảo để hỗ trợ cho các tuyên bố mà nó tạo ra. PEER cũng có khả năng giải mã tới 11 tỷ tham số." (Benvenist, 2023)

Cũng nói thêm, nếu như chúng ta đem các mô hình ngôn ngữ so sánh với nhau thì chúng ta có thể thấy rằng hầu hết tất cả các mô hình này đều được dựa trên cùng một kiến trúc với một số thay đổi như: Quy mô dữ liệu được dùng để đào tạo, hay tính đặc hiệu của miền dữ liệu được đào tạo để tạo ra các mô hình này. Rõ ràng mỗi một mô hình đều có tính vượt trội trong những nhiệm vụ mà nó đảm nhận khi được tạo ra. Do đó, để nói mô hình nào hơn mô hình nào thì hoàn toàn bất khả thi và có tính khập khiễng, cưỡng ép.

Tài liệu tham khảo

  1. Benvenist, D [Damien Benveniste, PhD]. (2023, Jan 31). I think Microsoft partnering with OpenAI might have been one of the most successful publicity stunts ever! [Post]. LinkedIn. https://www.linkedin.com/posts/damienbenveniste_machinelearning-datascience-artificialintelligence-activity-7025864120314863616-Ryid?
  2. Grant, N. (2022, Jul 23). Google Fires Engineer Who Claims Its A.I. Is Conscious. The New York Times. Retrieved on 2023, Feb 02, from https://www.nytimes.com/2022/07/23/technology/google-engineer-artificial-intelligence.html
  3. Cohen, A. D., Roberts, A., Molina, A., Butryna, A., Jin, A., Kulshreshtha, A., ... & Chen, Z. (2022). LaMDA: Language models for dialog applications. https://arxiv.org/abs/2201.08239
  4. Chowdhery, A., Narang, S., Devlin, J., Bosma, M., Mishra, G., Roberts, A., ... & Fiedel, N. (2022). Palm: Scaling language modeling with pathways. https://arxiv.org/abs/2204.02311
  5. Schick, T., Dwivedi-Yu, J., Jiang, Z., Petroni, F., Lewis, P., Izacard, G., ... & Riedel, S. (2022). PEER: A Collaborative Language Model. https://arxiv.org/abs/2208.11663
  6. Benveniste, D. (2023, Feb, 01). ChatGPT’s competitors. The AiEdge Newsletter. Retrieved on 2023, Feb 02, from https://newsletter.theaiedge.io/i/99483036/chatgpts-competitors
Đăng ngày: 02/02/2023
Tác giả: Tan H. Nguyen
Từ khóa: ChatGPT3, LaMDA, PaLM, PEER, Google, OpenAI

Bình luận