New Trend of GPT: GPT Memory

OpenAI正在用ChatGPT测试Memory功能。让ChatGPT记住所有聊天中讨论过的事情，这样用户就在新的对话中就不必重复信息，并使ChatGPT在新的对话可以更有针对性地回复用户。

OpenAI允许用户来控制ChatGPT的Memory功能，例如用户可以明确地让ChatGPT记住一些东西，并问它记住了什么，或者通过对话或设置让GPT忘记一些事情，当然，用户也可以完全关闭Memory功能。

本周，他们将向一小部分免费用户和付费用户推出ChatGPT，以测试使用效果。OpenAI宣称将很快推出更广泛分享的计划。

2024年9月5日更新：Memory现在可供ChatGPT Free、Plus、Team 和 Enterprise 用户使用。基于早期测试的反馈，ChatGPT 现在可以用户知道 Memory 何时更新。当更新发生时，用户也可以更容易地访问所有记忆：只要将光标悬停在“记忆更新”上，然后单击“管理记忆”，用户就可以查看 ChatGPT 从对话中拾取的所有内容或忘记任何不需要的 Memory。用户仍然可以在设置中随时访问 Memory。

How memory works

当你与ChatGPT聊天时，你可以要求它记住一些特定的东西，或者让它自己拾取细节。使用得越多，ChatGPT的内存就会越好，随着时间的推移，您会开始注意到这种改进。例如:

你已经解释过，你更喜欢在会议记录的底部总结标题、要点和行动项目。ChatGPT会记住这一点，并以这种方式回顾会议。

你告诉ChatGPT你在附近开了一家咖啡店。当为庆祝新地点的社交帖子集思广益时，ChatGPT知道从哪里开始。

你提到你有个蹒跚学步的孩子，她喜欢水母。当你让ChatGPT帮她制作生日贺卡时，它会建议你画一只戴着派对帽的水母。

作为一名有25名学生的幼儿园老师，您更喜欢50分钟的课程和后续活动。ChatGPT在帮助您制定课程计划时记住了这一点。

You’re in control

ChatGPT的新内存功能使得机器人能够记住与用户的对话历史以及个性化需求。这意味着，ChatGPT不仅能够记住用户的偏好、常见问题，甚至还能够追踪长期项目的进展，使得每次与用户的对话都更加连贯和有上下文。

内存的作用

• 个性化：ChatGPT可以记住用户的偏好，并在后续对话中自动调整其回应方式。
• 提升效率：通过记住用户常问的问题，ChatGPT能够更快速地提供帮助。
• 多轮对话：机器人能够持续跟进长期项目或任务，避免用户重复输入相同的信息。

目前，这一内存功能正在逐步推出，OpenAI承诺将严格保护用户隐私。用户可以随时查看、修改或删除ChatGPT的记忆内容，以确保数据的透明性和安全性。

用户控制

除了内存功能外，OpenAI还加强了用户对ChatGPT行为的控制能力。用户现在可以通过设置控制选项，调整ChatGPT在不同情境下的反应方式。例如，用户可以指定ChatGPT的回答风格、语气、或对某些话题的处理方式。

控制选项的特点

• 个性化调整：用户可以根据自己的需求调整机器人响应的语气和内容。
• 敏感话题处理：通过控制选项，用户可以指导ChatGPT在处理敏感问题时采取更谨慎或更开放的态度。
• 行为定制：用户可以指定ChatGPT在特定场景下如何反应，从而提高机器人的适应性和实用性。

更新的目的

OpenAI推出这些更新的主要目的是提升ChatGPT的个性化体验和实用性。通过引入内存功能，ChatGPT能够提供更连贯的对话体验，而通过用户控制选项，用户可以更精确地定制机器人的行为，从而实现更加符合需求的交互。

这些改进旨在让ChatGPT不仅仅是一个对话工具，更是一个能够理解和适应用户需求的智能助手。

未来展望

OpenAI表示，未来将继续优化这些功能，增加更多控制选项，以满足不同用户的需求。同时，OpenAI承诺内存功能的开发始终以用户隐私和数据安全为核心，确保新功能的推出符合最高的安全标准。

总的来说，OpenAI通过不断创新，使得ChatGPT不仅是一个对话工具，更是一个能够提供个性化、高质量交互体验的智能助手。

近期GPT 推出了一个测试模型： GPT4o-with Canvas 。Canvas 使用了全新的界面，可用于与 ChatGPT 合作编写，甚至多文件的编码项目，而不仅仅是简单的聊天。

使用过程中，Canvas 会在一个单独的窗口中打开，让用户和 ChatGPT 合作完成一个项目。这个早期测试版引入了一种全新的合作方式 — 不仅仅是通过对话，还可以直接通过code或者文案来和GPT进行交互。

Canvas 是使用 GPT-4o 构建的，在测试版中可以在模型选择器中手动选择。但仅有 ChatGPT Plus 和 Team 用户可以访问 Canvas。企业版和教育版用户将于下周（2024.10.10）获得访问权限。之后 OpenAI 还会计划在测试版结束后向所有 ChatGPT Free 用户提供 Canvas。

0x02 Why GPT Canvas

作为GPT深度用户，我基本每天都会使用 ChatGPT 来获取代码方面的帮助，包括从0到1编写脚本，以及优化、解释和注释我的代码。但在使用过程中，聊天界面虽然易于说明需求，但当您想要处理需要编辑和修订的项目时，它会受到限制，还经常因为代码量过大而导致过大的token消耗。现在 Canvas 为这类工作提供了一个新界面。

有了 Canvas ，ChatGPT 可以很好地理解代码和需求的不同。而且可以突出显示特定部分，以准确表明您希望 ChatGPT 关注的内容。就像文字编辑或code reviewer一样，它可以针对整个项目提供高相关度的反馈和建议。

此外，在之前的使用过程中，用户可以在 Canvas 中控制项目，也一个编辑器中同时生成多个文件。用户还可以直接编辑文本或代码。同时支持快捷方式菜单，可以让 ChatGPT 调整书写长度、调试代码以及​​快速执行其他有用的操作，甚至还可以使用 roll back 按钮恢复先前生成的版本。

0x03 How to GPT Canvas

当 ChatGPT 检测到 Canvas 可能有用的场景时，它会自动打开。用户还可以在提示中包含“使用 Canvas”以打开 Canvas 并使用它来处理现有项目。

在使用 Canvas 进行书写的时候，Canvas 页面支持下面的快捷方式：

• 建议编辑： ChatGPT 提供内联建议和反馈。
• 调整长度：编辑文档长度以使其更短或更长。
• 改变书写水平：调整书写水平，从幼儿园到研究生院。
• 规范润色：检查语法、清晰度和一致性。
• 添加表情符号：添加相关表情符号以强调和着色。

在使用 Canvas 进行coding的时候，Canvas 页面支持下面的快捷方式：

• 审查代码： ChatGPT 提供内联建议来改进您的代码。
• 添加日志：插入打印语句以帮助您调试和理解代码。
• 添加注释：在代码中添加注释，使其更容易理解。
• 修复错误：检测并重写有问题的代码以解决错误。
• 语言移植：将您的代码翻译成 JavaScript、TypeScript、Python、Java、C++ 或 PHP。

0x04 Deep Dive on Canvas

除了本身的功能介绍外，官方发布着重聊到的一件事就是他们是如何训练新模型 GPT-4o with Canvas （相比于原生 Prompt GPT-4o）来变成一个更加智能的内容合作者。他们着重提到了下面三个优化项目。

When to trigger Canvas

官方提到产品设计过程中的一个关键挑战是确定何时触发 Canvas 页面。他们教会模型打开 Canvas 页面来处理诸如“写一篇关于咖啡豆历史的博客文章”之类的提示，同时避免过度触发一般问答任务，例如“帮我做一道新的晚餐菜谱”。对于 Writing 任务，他们优先改进了“正确的触发器”（以“正确的非触发器”为代价），与带有提示指令的基线零样本 GPT-4o 相比，成功率达到了 83%。

但值得注意的是，此类基线的质量对所使用的特定提示高度敏感。使用不同的提示，基线可能仍然表现不佳，但表现方式不同。例如，在编码和写作任务中表现不准确，导致错误分布不同，并导致表现不佳。对于编码，OpenAI 故意让模型偏向于触发，以避免打扰使用代码功能的高级用户。他们也将根据用户反馈继续完善这一点。

For writing and coding tasks, we improved correctly triggering the canvas decision boundary, reaching 83% and 94% respectively compared to a baseline zero-shot GPT-4o with prompted instructions.

How to Avoid Rewriting

官方在发布中提到的第二个挑战则是在触发 Canvas 后如何调整模型的编辑行为。具体来说，就是决定何时进行有针对性的编辑，而不是重写整个内容。他们有意训练模型在用户通过提示词明确给出要编辑的部分时，优先执行有针对性的编辑，否则倾向于重写。而且后续随着模型的完善，这种行为会不断进行优化。在使用过程中，这样的优化确实大大加快了生成速度和代码变更的准确度。

For writing and coding tasks, we prioritized improving canvas targeted edits. GPT-4o with canvas performs better than a baseline prompted GPT-4o by 18%.

How to make Comments more Accurate

而官方提到的最后一个挑战，是以往模型训练过程中，生成高质量评论往往需要细致的迭代。与前两种情况不同，前两种情况很容易使用自动评估结合部分人工审核来评估效果，但以自动化方式衡量 Comment 质量则很具有挑战性。因此，他们使用了人工评估来分析 Comment 的质量和准确性。OpenAI 在集成 Canvas 模型在准确率和质量上均优于零样本 GPT-4o，前者高出 30%，后者高出 16%，这表明与带有详细说明的零样本提示相比，合成训练显著提高了响应质量和行为。

Human evaluations assessed canvas comment quality and accuracy functionality. Our canvas model outperforms the zero-shot GPT-4o with prompted instructions by 30% in accuracy and 16% in quality.

最后，在我个人实际使用过程中，GPT-4o with Canvas 确实感觉也会在用户发送内容理解上更加“聪明”。同时对于我要求修改的部分确实也可以更加精准地定位和修改。

0x05 A Little Comment

作为各类 AI 产品的资深使用用户，从 copilot 到 Notion AI，热点的文本和代码创作类 AI 我基本都使用过。这方面一直都是业界热点，同时也是最能直接提升生产力的领域。但是不同的使用场景和产品形态，严重地导致了不同 AI 发挥效能的大小。在这一领域中 AI 模型的好坏，已经不再是产品的唯一决定因素。

而结合我之前的使用体验，现在如果拿 Canvas 和 先前的 copilot 以及 Notion AI 做个对比的话，在代码生成方面，OpenAI公司本身强悍的模型能力赋予了 Canvas 比 copilot 更强大的代码生成能力和分析能力（copilot在提示词理解方面，感觉是差点意思）。而文本生成方面，虽然 Notion AI 对提示词理解和内容生成方面基本满足我的要求，但是各式各样的功能限制，和付费限制，让 Notion AI 的使用成本（操作复杂度和价格）方面都显得有些让人不爽。

但 Canvas 其实也有劣势，那就是因为没有与既有产品（例如vscode）的绑定，其中很多操作并不是那么顺畅的。举例来说，在 copilot 对代码的修改中，真的是可以通过右键做到代码块级别的重写和注释，而在 Canvas 即使不需要进行通篇重写时，也会从头逐行扫描代码（ Canvas中通常是包括很多文件的 ），直至找到需要修改的代码块。结合 GPT4o 接近瞬间的反应速度，导致 Canvas 中修改代码块的时间都花在了代码逐行扫描上。这种产品设计上的缺陷或许应该是 Canvas 在下一个阶段着重打磨和关注的事情，或许也是他们是否真的能抢占相关市场的关键。