LLMs 测试集 中 数据泄露 问题篇

来自： AiGC面试宝典

• LLMs 测试集 中 数据泄露 问题篇

• 一、什么是 LLMs 测试集数据泄露 问题？
• 二、如何解决 LLMs 测试集数据泄露 问题？
• 三、是否可以 避开训练集来处理 LLMs 测试集数据泄露 问题？• 3.1 如何 判断 网络上是否有原题？• 3.2 如何 判断答案是否存在？• 3.3 性能差异对比
• 四、常见测试集有多少比例的数据泄露？
• 致谢

大模型（LLMs）进阶面

来自： AiGC面试宝典

• 大模型（LLMs）进阶面

• 一、什么是生成式大模型？二、大模型是怎么让生成的文本丰富而不单调的呢？

• 三、LLMs 复读机问题

MOE（Mixture-of-Experts）篇

来自： AiGC面试宝典

• MOE（Mixture-of-Experts）篇

• 一、为什么需要 MOE（Mixture-of-Experts）？
• 二、MOE（Mixture-of-Experts）的思路是什么样的？
• 三、介绍一下 MOE（Mixture-of-Experts）分布式并行策略？• 3.1 MOE $^+$ 数据并行?• 3.2 MOE $^+$ 模型并行?
• 四、MoE大模型具备哪些优势？
• 五、MoE大模型具备哪些缺点？
• 六、MoE为什么可以实现更大模型参数、更低训练成本？
• 七、MoE如何解决训练稳定性问题？
• 八、MoE如何解决Fine-Tuning过程中的过拟合问题？
• 致谢

扫码 查看更

• 大模型蒸馏篇

一、知识蒸馏和无监督样本训练？二、 对知识蒸馏知道多少，有哪些改进用到了？• 三、谈一下对模型量化的了解？• 四、模型压缩和加速的方法有哪些？• 五、你了解的知识蒸馏模型有哪些？

LLMs 浮点数篇

来自： AiGC面试宝典

扫码 查看更

• LLMs 浮点数篇

一、fp32和fp16的区别，混合精度的原理二、 半精度是什么？• 三、半精度的理论原理是什么？

自定义 CUDA 函数的轻量级包装器 —— bitsandbytes篇

来自： AiGC面试宝典

• 自定义 CUDA 函数的轻量级包装器 —— bitsandbytes篇

一、什么是 bitsandbytes?如何才能使用 bitsandbytes？三、 如何使用 bitsandbytes？• 致谢

大模型（LLMs）软硬件配置面

来自： AiGC面试宝典

扫码 查看更

1 建议的软件环境是什么？

python环境建议3.9，因为fastchat[4]等比较好的开源项目需要3.9及以上。
cuda环境越高越好， $\mathsf{c}\mathsf{+}\mathsf{+}$ 版本建议直接装9.1.0以上。

Token及模型参数准备篇

来自： AiGC面试宝典

1. 预训练数据 Token 重复 是否影响 模型性能？

• 多轮epoch的训练会降低模型性能；
• 更大规模的数据集会缓解重复epochs对模型性能下降的影响；
• 提高数据集的质量也无法挽救重复训练带来的过拟合；
• 小计算量模型的过拟合趋势与大计算量的差不多；
• 多样的训练目标不一定减轻多Epoch的性能下降；
• Dropout是一个被大语言模型忽视的正则技术，虽然慢，但是可以降低多epochs的影响；
• 在训练过程中逐渐使用dropout是有效的策略；

扫码 查看更

• 多模态常见面试篇

一、 最近关注的论文，多模态视觉大模型(CLIP,DALLE)？
二、 blip2的架构，优势和之前多模态模型的区别？
• 三、多模态融合后，怎样知道最终结果受哪种模态影响更大？
• 四、多模态中常见的SOTA模型有哪些？
• 五、介绍一下stable diffusion的原理？

NLP Trick 篇

来自： AiGC面试宝典

扫码 查看更

• NLP Trick 篇

一、怎么处理类别不平衡？二、有了解其他模型去尝试解决长度限制的方案吗？

一、怎么处理类别不平衡？

类别不平衡问题可以通过过采样、欠采样、生成新样本、集成学习等方法来解决。过采样方法包括随机过采样、SMOTE等；欠采样方法包括随机欠采样、Tomek Links等；生成新样本方法包括GAN、VAE等；集成学习方法包括Bagging、Boosting等。