AI技術影片：深度學習系列 – BERT 原理與模型架構

Agenda

  1. Transfer learning before BERT
  2. Transfer learning with BERT
  3. BERT – Model (including Transformer)
  4. BERT – Learning (how training is done)
  5. BERT – Inference (how testing and downstream tasks are done)

勘誤：影片中說BERT不能用來做生成的任務是不正確的。以預測[MASK]而言，其實就能逐步生成詞再組合成句子，不過目前所知（2019 June）生成能力最好的是GPT-2。

【講者簡介】 Kota, 柯達 – Head of Machine Learning in Beluga AI

擅長技術：

  1. Customer Data Platform（使用者行為分析、用戶貼標、推薦系統、銷售預測）
  2. 生理聲音事件偵測（SED）
  3. 單據識別（OCR, template matching, fuzzy match)
  4. 對話機器人（Question answering chatbot, NER, Intent detection, Multi-turn dialogue management)
  5. 語音合成（text-to-speech in mandarin）

總結

宇鯨的團隊非常看好大型語言模型這波浪潮，技術上的成熟度已經非常接近可商用，如果你本身已有產業經驗，非常容易就能透過 AI 工具來加速工作事務，甚至開始組建屬於自己企業的解決方案。OpenAI 在 2023/11 有一億個週活躍用戶， AI 工具在未來是必修課，現在不開始嘗試，以後將無法其他企業競爭。若想了解真實落地場景，歡迎找宇鯨聊聊！宇鯨在電商、法律、醫療的 AI 與自動化經驗，一定能讓你建立未來 10 年的競爭優勢！

關於宇鯨

提供全方位的 AI 解決方案：

  • 專案型技術開發合作：用戶與商品貼標、光學文字辨識 OCR、自然語言處理 NLP、音訊分析 SED、語音合成 TTS、產品概念驗證 POC
  • 宇鯨產品：CS Tagging 顧客分群貼標、LegalTech 智能書狀生成
聯絡宇鯨