The Inference Cost Of Search Disruption – Large Language Model Cost Analysis
這篇估算了搜尋引擎改用語言模型的成本，可惜最後重點部份要求付費看不到。以下是我個人意見。
傳統的搜尋，其成本幾乎可說是固定的，誰的效率最高就賺最多毛利。但語言模型不一樣，誰用更高代價訓練、誰更快隨時更新模型、誰再收集更多即時資訊，總結出更完整豐富成果。所有這些的額外的加工可以不斷疊加上去，成本是無上限的。競爭多激烈，成本就可以越墊越高。
我認為，微軟只要利用其他業務的利潤，把搜尋打成賠本生意就可以贏了。Google 不跟著玩，就只能坐等市佔率流失等死。要跟著玩，成本增加，廣告收入還可能減少，也是撐著看何時賠到倒。
目前的 ChatGPT 也是靠微軟 Azure 運作，微軟若要把運算資源移給 Bing 用，OpenAI 也沒辦法說第二句話。推測 OpenAI 就是要將免費的 ChatGPT 佔有率讓給 Bing，讓 Bing 跟 Google 拼，自己的營運成本則可以降低。ChatGPT Plus 則是讓 OpenAI 可以保持最先進的利器。付費，因此不會太多人用，成本低。但願意付費使用的人，自然會有更高的要求及更重要的意見。
架构师 (2023 年 2 月)
雲服務廠商看來是最後的贏家，哪邊賺錢就把資源給哪邊用，幾乎沒有風險。就好像房東只要坐等收房租就好，風險都在房客 (指店/辦)，房客付不起就換一個。
The Generative AI Race Has a Dirty Secret
輸家則是地球…因為 AI 消耗的電力、廢熱、排碳更高，更加不環保…
我新買的電競筆電 (只為了它的 GPU)，全速運轉時的風扇噪音，機體及變壓器的燙手，令人印象深刻。我很怕它提早掛掉，新機燒機不久就還是中止了。很難想像資料中心裡最高效能又高密度的 GPU 堆疊，24 小時全速運轉的情景。一顆 GPU 能可靠運作幾年???
ChrisTorng 