AI 模型是什麼，什麼是建模 先講我個人的結論： 模型：是應用過往的資料，預測未來尚未發生的或是不存在的事情 建模：則是利用很多大師提出已被驗證過的演算法以及被驗證過的各種神經網路堆疊架構去組合出的一個能解決問題的框架(函數-我其實不太想說函數，免得又複雜的讓人卻步) 我們去看從簡單的Regression、Logistic Regression、SVM、randomForest、lightgbm、XGBoost，一直到複雜的LSTM、GAN、BERT...，這些偉大的模型，真的才是稱的上數據科學家的人，共同發展出來的框架 對於我們一般企業來說，如何用這些既定的模型，如何調參或者拆掉某一些層再訓練，又或者是模型再串模型(machine learning中的pipeline)，這對企業單位的應用可以說是比較實際的問題 ，因為我們不可能像google這樣的公司擁有全世界的龐大資料，也不太可能像google、IBM等公司有用不完的運算資源以及AI科學家(這些人其實太頂尖，也不是真的很多) 我的另一個看法是目前較成熟的AI，主要還是針對一些特定的問題 ，例如：二分類、多分類、影像辦識、語音辨識，而通常解決多分類的模型不太可能解決語音辨識的問題， 很多的問題(我的問題是猜大樂透下期會出那些號碼似乎還沒有好的模型啊:))其實都是用問題去找模型 ，這世界上模型愈來愈多，有沒有一種模型是當我輸入問題，模型就可以告訴我最適合的模型是什麼，並且可以自動調參，據說有人在做這檔事 我只是把走了這麼大一圈的路才得出的結論分享給大家，當然這一圈也沒白走，希望更多的人參與，才會有進步 kaggle上有很多的問題及範例，當大家有這些概念後，可以去看看，我常看有些人為了學AI，學了很深的網路爬文技巧，如果你是要預測股價，或許ok，但是要理解一下 特徵工程 做法，如果不是可以先從kaggle裡面有沒有跟你類似的問題，大家在上面提供的solution作法，這樣學起來比較快 有空的時候可以看一下古典統計、線性代數、導數、偏微分或者上上台大李宏毅教授的線上課程，時不時補充一下數理概念會更好 另外對資料庫概念最好要有摸過，知道什麼是key值，什麼是group by，什麼是join 所謂好的模型，其實就是了...
#AI #python 在公司應用的心得(一)：AI 大概念
#AI #python 在公司應用的心得(一)：AI 大概念
如果要把#AI 用好，是用好而不是學好，AI可以做的事還不少，大家可能都知道#影像辨識，下圍棋...，但不是所有公司都需要下圍棋吧，因此#企業 在#用AI 要如何用，資料怎麼導入，導入哪些欄位，套什麼模型，怎樣驗證，#收益如何 #量化 須具備什麼條件?
看了很多人問了很多問題，很多人是在網路上爬東爬西，十分辛苦
老實說：先講結論
以我在#零售業 #保險 的經驗
1. #資料庫 ： 資料庫使用經驗很重要，#MSSQL、#Oracle，什麼資料庫都好，至少要懂得#join的觀念及用法，懂NOSQL更好
2. 程式的基本概念：#function函數的使用方式，物件建立與叫用，當然if else應該都要知道
3. #數理統計：
這是大家普遍認為最難的，我是企管畢業的，當然之前讀過理工的東西，AI其實要簡單用也可以很簡單用，不過基本概念還是要具備，有那些呢? #古典統計 翻一下，至少要知道#中位數、 #平均數、 #四分位數、 #T檢定、 #ARIMA 的定義，可以不用太深入了解如何推導，知道用途就好了
#微積分，尤其是#微分 和 #偏微分，沒時間就先了解上面說的這二部分
#線性代數，如果要學 #機器學習(machine learning) 或許還好，但如果要學好 #深度學習(deep learning)，這部分要多去了解，尤其是 #矩陣，因為深度學習通常都是在一個高維的空間中求最佳解，很多模型被建立出來，像xgboost，LSTM BERT...，不見得每一個模型每家公司都可以用，重點重點重點，重要的事說三次，公司 #要解決什麼問題? #要解決什麼問題? #要解決什麼問題?， 基本上只要 #了解模型原理及用法 ，搭配對公司問題理解的程度，你就可以運用的很好
我有一次到外部演講，用了一張圖，如下：
你可以說，這是一個過程，事實上很多人不知道整個過程，學起來不知為何而戰，為誰而戰
再來我認為很重要的一部分，你對公司的#商業模式 清楚嗎? 你知道公司裡有那些資料嗎? 公司內的資料有多少有用卻沈睡的資料嗎?，我想用下面一張圖跟各位分享一下：
一張圖表達一切
數據要能被預測，當然是愈多愈好，但也不是一開業到現在都放進來，二、三年或許就很好用了，畢竟人的行為會隨時間改變
數據科學家是要真的能提升公司的業績
下面是一張簡圖，大家參考，或許各位可以參考一下
最後希望大家也多了解BI的應用，像是TABLEAU、POWER BI、qlikview，對於學習AI也有不少的幫助
之後我會陸續分享一些其他...
敬請期待
這個網誌中的熱門文章
AI 模型是什麼，什麼是建模 先講我個人的結論： 模型：是應用過往的資料，預測未來尚未發生的或是不存在的事情 建模：則是利用很多大師提出已被驗證過的演算法以及被驗證過的各種神經網路堆疊架構去組合出的一個能解決問題的框架(函數-我其實不太想說函數，免得又複雜的讓人卻步) 我們去看從簡單的Regression、Logistic Regression、SVM、randomForest、lightgbm、XGBoost，一直到複雜的LSTM、GAN、BERT...，這些偉大的模型，真的才是稱的上數據科學家的人，共同發展出來的框架 對於我們一般企業來說，如何用這些既定的模型，如何調參或者拆掉某一些層再訓練，又或者是模型再串模型(machine learning中的pipeline)，這對企業單位的應用可以說是比較實際的問題 ，因為我們不可能像google這樣的公司擁有全世界的龐大資料，也不太可能像google、IBM等公司有用不完的運算資源以及AI科學家(這些人其實太頂尖，也不是真的很多) 我的另一個看法是目前較成熟的AI，主要還是針對一些特定的問題 ，例如：二分類、多分類、影像辦識、語音辨識，而通常解決多分類的模型不太可能解決語音辨識的問題， 很多的問題(我的問題是猜大樂透下期會出那些號碼似乎還沒有好的模型啊:))其實都是用問題去找模型 ，這世界上模型愈來愈多，有沒有一種模型是當我輸入問題，模型就可以告訴我最適合的模型是什麼，並且可以自動調參，據說有人在做這檔事 我只是把走了這麼大一圈的路才得出的結論分享給大家，當然這一圈也沒白走，希望更多的人參與，才會有進步 kaggle上有很多的問題及範例，當大家有這些概念後，可以去看看，我常看有些人為了學AI，學了很深的網路爬文技巧，如果你是要預測股價，或許ok，但是要理解一下 特徵工程 做法，如果不是可以先從kaggle裡面有沒有跟你類似的問題，大家在上面提供的solution作法，這樣學起來比較快 有空的時候可以看一下古典統計、線性代數、導數、偏微分或者上上台大李宏毅教授的線上課程，時不時補充一下數理概念會更好 另外對資料庫概念最好要有摸過，知道什麼是key值，什麼是group by，什麼是join 所謂好的模型，其實就是了...
#AI #python 在公司應用的心得(二)：#心態 很重要
#AI #python 在公司應用的心得(二)：#心態 很重要 今天來談談公司為何 #導入AI 應用困難重重或是會失敗??? 另外 分享AI 成功導入的作法!!! 以下的說法都是在零售百貨業的看法，不影射任何一家公司---免責聲明 誰是公司公司導入系統應用的決策者呢?，這個問題很難說，有可能MIS主管說了算，有時候是總經理 那各部門在導入AI應用時會扮演何種角色呢? MIS： 有時候必須說一下，當一位MIS的主管，除了要全盤掌握公司的企業流程，不管是軟體架構或是硬體架構，更重要的是融入企業文化及商業流程中，而且溝通能力十分重要，基本上要能向上溝通或是所謂向上管理，另外橫向溝通也必須具備，但不是交際，基本上必須站在老闆的思維，自然在說服公司總經理或董事長上就比較容易 行銷/會員： 我想行銷主管/會員主管或團隊是主要的靈魂人物吧，在行銷團隊中總有一套標準，如何規劃下年年度檔期，主題是什麼，製作物上刊，找那些廠商參與快閃，進場佈置與 撤場，之後檢討一下業績，周而復始，有時搭配一下線上雙十一或雙十二，有時也會玩一下618，廣宣也就是利用社群、EDM，線上也就是自己操盤要不就是找廣告公司代操投放，說起來該有的都有了，但是上面談了這麼多，真正的關鍵，這些數據有被系統化的整理及歸納嗎?，如果有，真的我認為已經有進入AI應用的本錢了，如果沒有就需要開始整理了，畢竟AI應用也就是在一定有數量(先不說正確)的數據下，利用模型找出(探索)規則，做出預測 下面講一個簡單的應用例子 例如：假設一份紙本DM成本10元，要是全灑100萬會員，光是不算郵遞費，就要1000萬元的製作成本，假設只有1%轉換率，也就是有1萬個會員看了DM來消費，平均客單價3000元，帶來的業績也就是3000萬，如果毛利30%(假設說法，事實上百貨商場毛利有另外的算法)，也就是900萬，似乎並沒有賺??，這還不包括其間員工的薪水或是外製設計的費用 換個角度來看，如果灑30萬(假設AI預測的量)的會員，在所有條件不變下，帶來7000個(2.3%)看DM來消費的會員，平均客單價一樣是3000元，業績也就是2100萬，毛利630萬，花300萬DM成本，帶來630萬毛利，扣除300萬，還有330萬收入 上面說的也就是一種應用概念，AI可以告訴我們大概每個消費者對於DM的預測...
留言
張貼留言