subtitle
  文章分类
算法技术 6 工具 1 求职 1 读书笔记 6 系统设计 4 工程技术 4 linux 1 面试 2 面试 1 章总结 6 账号挖掘 1 商品簇 1 概念标签 1 编程语言 4 vim 1 大模型 1 考点 1 算法库 4 学习 1 leetcode 1 文章速读 1 舆情 1
面试必问-Attention为什么要除以$\sqrt{d}$ 面试必问-Attention为什么要除以$\sqrt{d}$
问题： Attention计算中为什么要除以$\sqrt{d}$?标准答案为了避免当d的值较大时，点积结果变得过大。如果不进行这样的缩放处理，过大的点积值会使softmax函数的结果趋向于极端值，进而导致梯度消失的问题，影响模型训练的效果。
2024-11-28 面试 大模型
原创 面试 大模型
leetcode-逐行讲解-链表反转 leetcode-逐行讲解-链表反转
leetcode-逐行讲解-链表反转题目 https://leetcode.cn/problems/UHnkqh/description/def reverseList(head: ListNode) -> ListNode: #判
2023-09-24 面试 leetcode
原创 leetcode