Meta推出開源大模型Llama 3

從剛發出的博客來看，Llama 3已幫Meta重奪開源大模型的魁首，并無限接近或者超過GPT、Gemini和Claude等閉源大模型。

這個消息的振奮程度，對于AI圈來說，甚至不亞于所謂的GPT4.5。畢竟，meta 才是真正的那個"OpenAI。有多少大模型的生態，是建立在Llama上的，大家都懂。

這次還是meta的老規矩，雖然寫的是特定條件下商業使用，但是基本等于完全免費商用了。而且這次開源了2個模型，8B和70B。我看網上博客里的評測結果顯示：8B版本優于Mistral 7B和Gemma 7B，70B版本優于Gemini Pro 1.5和Claude 3 Sonnet。

不過Llama 3也存在兩個可提升的點，一個是知識庫時間，一個是上下文長度。知識庫這塊，8B只到2023年3月，70B到了2023年12月。而上下文長度更是只有8K。知識庫的時間還好說，但是這個上下文長度，在現在動不動200k的時代里，屬實是有點不夠了。

不過，瑕不掩瑜，估計接下來學術界做模型訓練相關的實驗大多會切換到Llama 3的8B版本，而等400B版本出來后如果效果接近甚至超過GPT-4，大家在數據標注和評測等難任務上也會逐漸倒向免費的Llama系列。讓子彈再飛一會兒。