Bước tiến công nghệ mới mang tên Mô hình hóa Ngôn ngữ Thích ứng Tự tin (CALM: Confident Adaptive Language Modeling) có khả năng tăng cường tốc độ của các mô hình ngôn ngữ lớn lên đến ba lần.
 |
| Google CALM công nghệ tăng tốc các mô hình ngôn ngữ lớn như GPT3, LaMDA lên tới 3 lần |
Google CALM là gì?
CALM là viết tắt của Confident Adaptive Language Modeling, đây là một động thái đột phá của Google nhằm tăng tốc các mô hình ngôn ngữ lớn như GPT-3 và LaMDA mà không làm giảm hiệu suất chúng.
Các mô hình ngôn ngữ như T5, LaMDA, GPT-3 và PaLM đã thể hiện kết quả ấn tượng trong nhiều nhiệm vụ liên quan đến ngôn ngữ.
Tuy nhiên, trong quá trình tạo văn bản, hầu hết các mô hình ngôn ngữ tự hồi quy thường sử dụng phương pháp dự đoán từng từ một, giống như cách con người nói và viết. Điều này đòi hỏi mô hình phải hoàn thành việc dự đoán một từ trước khi bắt đầu dự đoán từ tiếp theo, điều này gây khó khăn khi triển khai đồng thời trên nhiều máy tính khác nhau.
CALM được Google giới thiệu năm 2022
Tại hội nghị NeurIPS 2022, Google đã giới thiệu một phương pháp tiên tiến mới có tên là CALM – Confident Adaptive Language Modeling (Mô hình Ngôn ngữ Thích ứng Tự tin) nhằm nâng cao tốc độ tạo văn bản trong các mô hình ngôn ngữ trong quá trình suy luận.
CALM chủ yếu dựa trên ý tưởng rằng một số từ có thể được dự đoán dễ dàng hơn so với các từ khác. Nó tối ưu hóa việc sử dụng tài nguyên tính toán bằng cách tập trung nhiều nguồn lực hơn vào các dự đoán khó khăn hơn, giúp mô hình ngôn ngữ tạo văn bản một cách nhanh chóng mà vẫn duy trì chất lượng cao.
CALM đại diện cho một cách tiếp cận xuất sắc để tăng tốc quá trình tạo văn bản của mô hình ngôn ngữ mà không làm giảm chất lượng của kết quả đầu ra. Điều này được đạt được thông qua việc tự động điều chỉnh lượng tính toán tại mỗi bước tạo văn bản, cho phép mô hình tự tin giảm bớt tính toán khi cần thiết.
Với sự tiến bộ liên tục, chúng tôi tin rằng Google sẽ tích hợp CALM một cách linh hoạt trong kết quả tìm kiếm, đặc biệt là với mô hình GPT3.5 đang thu hút sự chú ý đặc biệt trong ngành.
Nỗ lực của Google để cải thiện chất lượng kết quả tìm kiếm thông qua ứng dụng Trí tuệ Nhân tạo tiên tiến là đáng khen ngợi.
Sau Google MUM và bây giờ là CALM
Bước nhảy vọt lớn nhất từ trước đến nay kể từ lần đầu tiên xảy ra với việc giới thiệu RankBrain và sau đó là BERT vào năm 2019. Sau đó, họ giới thiệu Mô hình Multitask United (MUM) vào năm 2021 và bây giờ là CALM vào năm 2022.
Theo thông báo của Prabhakar Raghavan trong Google I/O 2021, MUM mạnh hơn BERT 1000 lần và có khả năng đa nhiệm, cho phép nó phân tích video, hình ảnh và văn bản trong 75 ngôn ngữ để cung cấp cho người dùng câu trả lời cho các câu hỏi phức tạp. truy vấn tìm kiếm.
Điều này có nghĩa là MUM sẽ kết hợp các khía cạnh khác nhau của truy vấn tìm kiếm và cố gắng hiểu cảm xúc, ngữ cảnh, thực thể và quan trọng nhất là ý định của người dùng để cung cấp câu trả lời thực sự gần với những gì người dùng mong đợi.
Raghavan đã chứng minh sức mạnh của MUM bằng cách thực hiện một truy vấn tìm kiếm phức tạp “ Tôi đã leo núi Adams và bây giờ muốn leo núi Phú Sĩ vào mùa thu tới, tôi nên làm gì khác đi để chuẩn bị?”
Hãy xem video này về cách MUM thực hiện tìm kiếm và cung cấp kết quả vượt trội hơn nhiều so với kết quả mà chúng ta quen thuộc.
Theo Raghavan, MUM có thể tiếp thu kiến thức chuyên sâu về từ này và nó có thể hiểu ngôn ngữ, tạo ra nó và đào tạo đồng thời 75 ngôn ngữ không giống như các mô hình khác chỉ hoạt động một ngôn ngữ tại một thời điểm.
Google vẫn đang thử nghiệm MUM nhưng dự kiến nó sẽ sớm ra khỏi phòng thí nghiệm và trở thành một phần của hệ sinh thái Google Tìm kiếm. Gã khổng lồ công cụ tìm kiếm nên thông báo cho chúng tôi về sự tích hợp của nó như cách nó thông báo triển khai BERT.
CALM sẽ tác động tới kết quả tìm kiếm?
Nhưng trước đó, với tư cách là Quản trị viên web, bạn phải hiểu cách nó có thể tác động đến việc tìm kiếm. Chúng tôi cũng không biết gì nhưng cộng đồng đã đưa ra một vài khả năng.
- Bạn có thể bắt đầu thấy một loại kết quả mới, một dạng cải tiến của Google Answers kết hợp tất cả thông tin hiện có để cung cấp cho người dùng câu trả lời cụ thể mà họ đang tìm kiếm.
- Điều này có thể có nghĩa là sẽ có nhiều kết quả nhấp chuột bằng 0 hơn trên tìm kiếm, đây là điều mà chúng tôi đã chứng kiến.
- Tận dụng dữ liệu có cấu trúc (Structured Data). Google đang lấy tất cả dữ liệu này từ cái mà họ gọi là Sơ đồ tri thức và nó được cung cấp bởi các đánh dấu trong mỗi trang web.
- Nội dung dạng dài (content long-term) sẽ tạo ra một sự cắt giảm lớn bởi vì nếu một nguồn có thể cung cấp một phần lớn thông tin mà người dùng đang tìm kiếm, những trang như vậy sẽ lọt vào top đầu.
- Hãy quên việc nhồi nhét từ khóa. Tập trung nhiều hơn vào content tự nhiên chạm đến điểm đau của khán giả.
- Chúng ta vẫn chưa biết MUM sẽ mạnh đến mức nào. Tuy nhiên, tốt hơn là làm cho content đơn giản và dễ đọc. Nếu nội dung có nhiều biệt ngữ, có khả năng MUM không tìm thấy sự liên quan trong đó.
Cùng với điều này, với tư cách là người làm SEO, bạn cũng phải hiểu cách thức hoạt động của một Mô hình ngôn ngữ khác của LaMDA được giới thiệu vào năm 2021 Google I/O). Mặc dù đây là Mô hình Ngôn ngữ cho Ứng dụng Đối thoại, nhưng nó sẽ có tác động lớn đến tìm kiếm, đặc biệt là tìm kiếm diễn ra thông qua Google Assistants.
LaMDA là viết tắt của Language Model for Dialogue Applications và nó đang thiết lập các tiêu chuẩn mới cho các cuộc hội thoại AI tự nhiên. Nó có thể làm cho các cuộc trò chuyện trở nên tự nhiên bằng cách tìm nạp thông tin từ Sơ đồ tri thức của Google.
Sundar Pichai, Giám đốc điều hành của Google đã xem trước LaMDA, hay “Mô hình ngôn ngữ cho các ứng dụng đối thoại,” tại sự kiện I/O của công ty. Ông cho biết LaMDA được thiết kế để thực hiện một cuộc trò chuyện mở với người dùng mà không lặp lại cùng một thông tin.
LaMDA là một mô hình dựa trên máy biến áp, giống như BERT và MUM. Nó có thể được huấn luyện để đọc các từ, hiểu mối quan hệ giữa các từ trong một câu và dự đoán từ nào có thể xuất hiện tiếp theo.
Google đã nhấn mạnh vào việc huấn luyện nó để đưa ra những câu trả lời hợp lý và cụ thể, thay vì những câu trả lời chung chung hơn.
