跨模态情绪分析引擎

情绪是每次客户对话中的隐藏变量。一个礼貌打字的沮丧客户即将升级。一个声音颤抖的焦虑来电者需要立即关注。情绪分析引擎检测文本或语音单独无法揭示的内容 — 通过同时分析两个通道并随时间关联其信号。

1. 问题：单模态盲区

当前情绪分析工具存在一个根本性限制：一次只分析一种模态。

• 纯文本工具（IBM Watson NLU、Google Cloud NL）从文字中检测情感但遗漏声音线索 — 客户用紧张的声音说”没事”会被识别为正面
• 纯语音工具（Cogito、Beyond Verbal）检测声音模式但遗漏文本上下文 — 一个平静地提出的技术问题可能有沮丧的文本历史
• 没有工具 能将两种模态融合到带有升级追踪的连续会话状态中

情绪分析引擎是首个将文本和语音作为并行信号通道处理、实时关联并产生统一会话状态的产品。

2. 文本情绪架构

评分模型

文本情绪评分使用多特征方法而非单一 ML 模型，确保透明性和校准可控：

输出契约

@dataclass(frozen=True)
class TextEmotionScores:
    frustration: float    # 0.0 - 1.0
    confusion: float      # 0.0 - 1.0
    urgency: float        # 0.0 - 1.0
    calm: float           # 0.0 - 1.0
    dominant_emotion: str  # 最高得分维度
    confidence: float     # 分类置信度

3. 语音情绪架构

声学特征提取

语音情绪分析从音频帧中提取声学特征开始：

语音情绪评分

@dataclass(frozen=True)
class VoiceEmotionScores:
    agitation: float       # 0.0 - 1.0
    stress: float          # 0.0 - 1.0
    calm: float            # 0.0 - 1.0
    hesitation: float      # 0.0 - 1.0
    dominant_emotion: str
    confidence: float

4. 情绪持续追踪

单次情绪评分是快照。情绪追踪器将其转换为连续时间线：

原因码

每个情绪事件都携带原因码以确保可审计：

• TEXT_FRUSTRATION_SPIKE — 沮丧度跳升 > 0.2
• VOICE_HIGH_ENERGY — 语音能量超过激动阈值
• TEXT_NEUTRAL — 文本分析未显示强烈情绪
• VOICE_PITCH_RISE — 音高变化表明压力增加

5. 证据包

证据包将所有会话数据打包供事后审查：

6. 实现指标