Theo The Information, OpenAI có thể đang đối mặt với giới hạn về hiệu suất khi phát triển mô hình AI mới nhất của mình mang tên "Orion." Mặc dù được kỳ vọng sẽ vượt qua GPT-4, Orion hiện chỉ đạt được những cải tiến nhỏ so với các phiên bản tiền nhiệm, đặc biệt là trong các tác vụ mã hóa. Một số nhân viên đã thử nghiệm Orion cho biết, bước tiến giữa GPT-4 và Orion dường như không lớn bằng bước nhảy vọt từ GPT-3 lên GPT-4.
Sự chậm lại này khiến nhiều chuyên gia trong lĩnh vực AI đặt câu hỏi về quy luật mở rộng — lý thuyết cho rằng các mô hình AI sẽ tiếp tục thông minh hơn khi quy mô và dữ liệu được mở rộng. CEO OpenAI, Sam Altman, đã từng ám chỉ rằng "quy luật mở rộng" là yếu tố cốt lõi quyết định AI có thể phát triển thông minh đến mức nào. Tuy nhiên, báo cáo của The Information cho thấy, ngay cả các kỹ sư của OpenAI cũng đang bắt đầu nghi ngờ về những quy tắc này khi chứng kiến một "bức tường hiệu suất" mà AI có thể khó vượt qua.
Quy luật mở rộng có thể đã đạt ngưỡng?
Dữ liệu chất lượng cao và sức mạnh tính toán vốn là hai yếu tố quan trọng giúp nâng cao hiệu suất của các mô hình AI. Tuy nhiên, cả hai yếu tố này đều đang đứng trước những giới hạn vật lý và thực tế. Nguồn dữ liệu chất lượng cao từ văn bản, video và các nghiên cứu hiện có đang dần cạn kiệt, và việc sử dụng dữ liệu tổng hợp do AI tạo ra không hẳn là giải pháp lâu dài. Công ty nghiên cứu Epoch AI dự báo rằng lượng dữ liệu văn bản có thể khai thác sẽ cạn kiệt vào năm 2028, khiến ngành AI phải đối mặt với một thách thức lớn.
Giáo sư Ion Stoica từ Databricks cho rằng AI đang chạm đến "đỉnh hiệu suất" trong các câu hỏi kiến thức chung và cảnh báo rằng dữ liệu thực tế vẫn hữu ích hơn dữ liệu tổng hợp do AI tạo ra. Đồng thời, Sam Altman gần đây đã thừa nhận rằng OpenAI đang gặp khó khăn về tài nguyên tính toán, và phải đưa ra các quyết định khó khăn trong việc phân bổ tài nguyên.
Hiệu suất giảm dần - "Lợi nhuận giảm dần"
Gary Marcus, giáo sư danh dự của Đại học New York, đã nhấn mạnh rằng lĩnh vực AI dường như đang đạt đến giai đoạn "lợi nhuận giảm dần." Marcus lập luận rằng, sau nhiều năm tăng trưởng vượt bậc, các mô hình mới chỉ đạt những cải thiện nhỏ trong hiệu suất, thay vì các bước nhảy lớn như trước. Anh ví sự phát triển này như một sự hội tụ về hiệu suất giữa các mô hình AI thay vì tiếp tục tăng trưởng theo cấp số nhân.
Ilya Sutskever, đồng sáng lập OpenAI, cũng cho rằng hiệu quả của việc mở rộng quy mô đang giảm. Anh nhấn mạnh rằng giờ đây, việc tìm cách "mở rộng quy mô hợp lý" quan trọng hơn bao giờ hết để tránh gặp phải giới hạn.
Orion vẫn còn hy vọng cho bước tiến mới?
Dù đang đối mặt với các giới hạn, Orion vẫn chưa hoàn tất quá trình đào tạo và OpenAI vẫn có thể nâng cao hiệu suất bằng cách áp dụng các cải tiến hậu đào tạo. Tuy nhiên, tốc độ cải tiến chậm này cho thấy rằng các mô hình AI trong tương lai có thể không còn đạt được những bước đột phá lớn như kỳ vọng ban đầu.
Link bài gốc
